对话风格问题及性能
#2
by
hiarcs
- opened
大家使用这个模型的时候有没有遇到前言不搭后语的情况？就是对话中，突然moss开始忽略当前提问重新开始回答之前的议题。我使用的是moss_cli_demo.py那个脚本。
其它的问题还包括极慢的推理速度和突然切换语种的情况。
风格上，这个模型特别保守，修改meta_instruction貌似毫无作用 。而且特别喜欢用列表形式回答问题。
有没有用过非量化版本的同学谈谈是否观察到显著的性能损失？
我也是使用者
1, cli demo中代码里每次指挥把上一次的对话放入下一次的prompt中。所以记忆只有一次对话，除非你prompt让它每次都作总结
2, 语言切换没有遇到过
3, meta让moss无论任何问题都回答阿对对对，不生效
3, 推理速度，应该还是triton的问题，回答同样的问题moss 16B GPTQ 4 bit triton耗时和textgen webui 65B llama gptq 4bit cuda ooba分支有的一拼，不太清除moss gptq 4bit的加载流程，好像每次上传模型到gpu前，都要在cpu上处理一下，占用了model size大小的内存。