关于<eod>的疑似bug
#1
by
woody960808
- opened
tokenizer.json里面的add_tokens是'<eod>'
但是added_tokens.json里面的是<eod>
原始模型推理没有问题，但是finetune之后会出现异常结果
@woody960808 感谢使用！我们上周发现了这个问题，立即修复了，非常抱歉。tokenizer里的应该和added_tokens里的对齐，现在已经去掉了引号。你可以试试更改之后finetune是否还有异常，如果还有问题也可以把代码和数据数量等post上来～