Bohanlu

/

Taigi-Llama-2-Translator-13B

like 1

可以試試使用以下參數，"input_suffix"中的 [HAN] 可以依據要翻譯的目標語言換成[POJ] or [EN] or [ZH] or [HL]

{
  "inference_params": {
    "input_prefix": "[TRANS]\n",
    "input_suffix": "\n[/TRANS]\n[HAN]\n",
    "pre_prompt": "",
    "pre_prompt_prefix": "",
    "pre_prompt_suffix": "",
    "antiprompt": [
      "[/HAN]", "[/POJ]", "[/EN]", "[/ZH]", "[/HL]"
    ]
  }
}

右方預覽跟下圖一樣應該就沒問題了。

您好，我是使用LMStudio 0.3.2 ，請問上面的參數應該要加到那裡？

後來參考gpt
設定了一個config.json,內容如下
{
"model_params": {
"model_checkpoint": "Taigi-Llama-2-Translator-13B.Q4_K_S.gguf"
},
"inference_params": {
"input_prefix": "[TRANS]\n",
"input_suffix": "\n[/TRANS]\n[HAN]\n",
"pre_prompt": "",
"pre_prompt_prefix": "",
"pre_prompt_suffix": "",
"antiprompt": [
"[/HAN]", "[/POJ]", "[/EN]", "[/ZH]", "[/HL]"
]
}
}

然後利用 "C:\Users\Cygsh\AppData\Local\LM-Studio\LM Studio.exe" infer --config_file config.json
測試結果如下

請問操作是錯的嗎？或是哪邊需要調整？ 這個模型對於在教台語的老師非常有幫助，謝謝！

我剛下載了同個版本的LM Studio，介面確實差蠻多的，以下提供兩種方式：

1. 如下設定prompt template，但當要翻譯成不同語言的時候要再回來改這一塊 "[HAN]" 的部分

提供句子可以得到漢字翻譯

2. 不設定 prompt template (stop string 還是要提供)

所有prompt該有的格式都自己手動在User輸入中提供，如下。(務必記得最後一行的換行符號)

[TRANS]
{source_sentence}
[/TRANS]
[{target_language}]

以上，供參考。很開心這個模型可以對你有幫助 😊

另外提醒兩點，這個模型不支援多輪交互，所以使用lm studio時建議都先清空歷史對話。
再來是我沒有測過這個GGUF量化模型的表現，通常量化過的模型表現會差一些。