如何fine-tune模型以適應特定任務
#3
by
yz380270834
- opened
您好，首先非常感謝TAIDE團隊開源此模型，
我想要詢問如果要fine-tune此模型，
是否可以用meta llama提供的微調方式，
來微調TAIDE-LX-7B模型呢?
再次感謝，靜候回復!
您好，
請參考：
https://huggingface.co/learn/nlp-course/zh-TW/chapter3/1?fw=pt
- 準備訓練資料
- 微調(預訓練)模型
Best regards.
ZoneTwelve
changed discussion status to
closed
taide模型有自己的tokenizer嗎?還是可以沿用llama3 的 tokenizer?
taide模型有自己的tokenizer嗎?還是可以沿用llama3 的 tokenizer?
taide看來是使用自己的tokenizer，大小為56K，目前沒有資料釋出，但似乎是延用llama 2的tokenizer，感覺也像是sentencepiece訓練出來的。
您好，
taide/TAIDE-LX-7B 是基於 llama-2 模型訓練。
llama-3 版本請參考：https://huggingface.co/taide/Llama3-TAIDE-LX-8B-Chat-Alpha1
Best Regards.
感謝您的回覆，謝謝。
您好，
我查 看taide llama 3的模型，發現和llama 2的taide使用不同的tokenizer詞表，taide llama 2看來是使用自行訓練的擴充詞表。但taide llama 3使用的是和llama3一樣的詞表128K的，所以taide llama 3版本並沒有自己訓練tokenizer並擴充詞表，這樣如何做continuous pretraining? 還是taide llama3只有做sft及rlhf？謝謝
您好，
關於 CP 模型的釋出，敬請等候，謝謝您。
Regards.