add special_tokens_map.json.
#17
by
Baicai003
- opened
便于一些第三方库读取支持。
感谢PR！
由于Qwen-7B系列模型在训练时并未涉及bos、eos等特殊token，这样设定可能会给不了解情况的小伙伴带来更多误解，造成第三方库似乎已经支持Qwen-7B的假象。其它第三方库即便能够读取这些特殊token，也无法保证能正确遵循Qwen-7B-Chat格式进行生成。在不知情的情况下，误用添加的特殊token还可能触发未知行为。
同时，我们已在GitHub中提供了关于tokenization的说明。欢迎查阅！
jklj077
changed pull request status to
closed