japanese-stablelm-2-instruct-1_6b-gguf
stabilityaiさんが公開しているjapanese-stablelm-2-instruct-1_6bのggufフォーマット変換版です。
imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。
license
ご使用の前に利用規約を必ずご確認の上、同意した場合のみご利用になれます。 ご使用される際は利用規約に同意したものとみなされます。
Please be sure to read this before using it, and you can use it only if you agree to it. By using this service, you are deemed to have agreed to the terms of use.
また、商用利用の際には、メンバーシップへの登録が必要です。
Please note: For commercial use, please refer to https://stability.ai/membership
convert
元モデルをダウンロード後、tokenization_arcade100k.pyを修正する必要があります。 修正箇所は、def __init__の最後に下記を追加します
self.special_tokens = self.tokenizer._special_tokens
変換用スクリプトはこちら
Usage
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'japanese-stablelm-2-instruct-1_6b-Q4_0.gguf' -n 128 -p 'こんにちわ'
- Downloads last month
- 812