tokyotech-llm-Swallow-7b-instruct-v0.1-gguf

tokyotech-llmさんが公開しているSwallow-7b-instruct-v0.1のggufフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

他のモデル

mistral
mmnga/tokyotech-llm-Swallow-MS-7b-instruct-v0.1-gguf
mmnga/tokyotech-llm-Swallow-7b-plus-hf-gguf
mmnga/tokyotech-llm-Swallow-MS-7b-v0.1-gguf
mmnga/tokyotech-llm-Swallow-MX-8x7b-NVE-v0.1-gguf

llama2
mmnga/tokyotech-llm-Swallow-7b-instruct-v0.1-gguf
mmnga/tokyotech-llm-Swallow-13b-instruct-v0.1-gguf
mmnga/tokyotech-llm-Swallow-70b-instruct-v0.1-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'tokyotech-llm-Swallow-7b-instruct-v0.1-Q4_0.gguf' -n 128 -p '[INST]<<SYS>\nあなたは誠実で優秀な日本人のアシスタントです。\n<</SYS>>\n\n東京工業大学の主なキャンパスについて教えてください[/INST]'