支持vllm吗

#2
by loong - opened

支持vllm吗

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org

可以直接用GLM-4的vllm,但是效果似乎有一定区别,如果要严格的复现建议用transformers,直接用的话可以

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org

您好,我们现在提供了官方的vllm调用代码。请参考README中的示例代码。

zRzRzRzRzRzRzR changed discussion status to closed

Sign up or log in to comment