支持vllm吗
#2
by
loong
- opened
支持vllm吗
可以直接用GLM-4的vllm,但是效果似乎有一定区别,如果要严格的复现建议用transformers,直接用的话可以
您好,我们现在提供了官方的vllm调用代码。请参考README中的示例代码。
zRzRzRzRzRzRzR
changed discussion status to
closed
支持vllm吗
可以直接用GLM-4的vllm,但是效果似乎有一定区别,如果要严格的复现建议用transformers,直接用的话可以
您好,我们现在提供了官方的vllm调用代码。请参考README中的示例代码。