不知道下载哪些内容
#18
by
qcnace
- opened
我想要将模型下载到本地。请问files and versions所有文件都要下载到本地才可以用吗。
of course.
如果想简单测试一下，可以下载这个版本 https://huggingface.co/RichardErkhov/mistralai_-_Mistral-Large-Instruct-2407-gguf/tree/main/Q2_K
然后用llama.cpp运行。
在线测试可以试试这个
https://build.nvidia.com/mistralai/mistral-large-2-instruct
or
https://github.com/marketplace/models/azureml-mistral/Mistral-large-2407