对话模型问题

#2
by Parkerlambert123 - opened

tokenizer_config.json 可以增加对话模板,chat_template,方便 vllm 部署后,请求采用 messages 方式

"chat_template": "{% for message in messages %}{% if message['role'] == 'system' %}{{ message['content'] + '\n'}}{% elif message['role'] == 'assistant' %}{{ 'Assistant: ' + message['content'] + '\n' }}{% else %}{{ 'User: ' + message['content'] + '\n' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ 'Assistant: ' }}{% endif %}"

OpenBuddy org

最好每个Assistant的历史消息后面能够加上eos,有的模型如果不加会导致新的输出也没有eos,从而开始自问自答。

可以试试我们的GrandSage框架,它做了对话模板的拼接。

Parkerlambert123 changed discussion status to closed

Sign up or log in to comment