有多个gguf文件组成的模型，如何用ollama运行？
#1
by
litifeng
- opened
比如此仓库下的q8模型由4个文件组成：qwen2.5-14b-instruct-q8_0-00001-of-00004.gguf，qwen2.5-14b-instruct-q8_0-00002-of-00004.gguf，qwen2.5-14b-instruct-q8_0-00003-of-00004.gguf，qwen2.5-14b-instruct-q8_0-00004-of-00004.gguf。
这时，如何填写 ollama 的Modelfile文件呢？我查阅ollama的官方文档，只找到有 1 个 gguf 文件的，可以用 FROM 指定，但是多个gguf文件组成的模型，该如何指定，请教了，谢谢。
you can merge them first as in step 3 in the modelcard/readme.
you can also follow this issue for updates on Ollama support for multi-part GGUF models.