dahara1
/

gemma-2-9b-it-gguf-japanese-imatrix

@@ -6,11 +6,17 @@ tags:
 ## 更新履歴 update history
 2024/07/20
 llama.cppに不具合[llama : fix pre-tokenization of non-special added tokens #8228](https://github.com/ggerganov/llama.cpp/pull/8228)が見つかり、Gemma2モデルは再変換が必要になり対応しました。HTMLタグの処理などが不正確になっていたとの事です。
 A bug was found in llama.cpp [llama: fix pre-tokenization of non-special added tokens #8228](https://github.com/ggerganov/llama.cpp/pull/8228), and the Gemma2 model needed to be reconverted. The problem was that HTML tags were not being processed correctly.
 単純に再変換するのは面白みがなかったので4bit以上の版は更に精度向上するという説もあるoutput tensorとembeddingをf16にするタイプの変換をしてみました。
 Simply reconverting it was not interesting, so I tried converting the output tensor and embedding to f16, which is said to have even greater accuracy in versions of 4 bits or more.
 念の為、4bit版は従来の変換とf16タイプの変換の両方をアップロードしてあります。
@@ -18,12 +24,12 @@ Just to be on the safe side, I have uploaded both the 4-bit conventional convers
 再変換時に、gemma-2-9b版のみ重要度行列(iMatrix)に日本語データを更に追加しています。
 During reconversion, additional Japanese data was added to the importance matrix (iMatrix) for gemma-2-9b only.
 ## 本モデルについて about this model.
-gemma-2-9b-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。日本語対応能力が多めに保持されている事を期待していますが確かめる事はまだ出来ていません
-This is a quantized gguf version of gemma-2-9b-it using an importance matrix (iMatrix) that contains many Japanese words. I hope it retains more Japanese support, but I can't be sure yet.
 ## 使い方(How to use.)

 ## 更新履歴 update history
+2024/09/23
+・8月8日にgemma-2-9b-itのToeknizerが更新されていたので作り直し(連続するタブの処理などわずかな変更が発生しているようです)
+・AVX512 BF16に対応したPCでBF16化処理を実施(特定の場面で微妙に性能が向上しているかもしれません)
+・iMatrixファイルに更に日本語データを追加([imatrix-jpn-test](https://huggingface.co/dahara1/imatrix-jpn-test)で検証を実施)
+<details>
+<summary>過去の更新履歴</summary>
 2024/07/20
 llama.cppに不具合[llama : fix pre-tokenization of non-special added tokens #8228](https://github.com/ggerganov/llama.cpp/pull/8228)が見つかり、Gemma2モデルは再変換が必要になり対応しました。HTMLタグの処理などが不正確になっていたとの事です。
 A bug was found in llama.cpp [llama: fix pre-tokenization of non-special added tokens #8228](https://github.com/ggerganov/llama.cpp/pull/8228), and the Gemma2 model needed to be reconverted. The problem was that HTML tags were not being processed correctly.
 単純に再変換するのは面白みがなかったので4bit以上の版は更に精度向上するという説もあるoutput tensorとembeddingをf16にするタイプの変換をしてみました。
 Simply reconverting it was not interesting, so I tried converting the output tensor and embedding to f16, which is said to have even greater accuracy in versions of 4 bits or more.
 念の為、4bit版は従来の変換とf16タイプの変換の両方をアップロードしてあります。
 再変換時に、gemma-2-9b版のみ重要度行列(iMatrix)に日本語データを更に追加しています。
 During reconversion, additional Japanese data was added to the importance matrix (iMatrix) for gemma-2-9b only.
+<details>
 ## 本モデルについて about this model.
+gemma-2-9b-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。日本語対応能力が多めに保持されている事を期待しています
+This is a quantized gguf version of gemma-2-9b-it using an importance matrix (iMatrix) that contains many Japanese words. I hope it retains more Japanese support.
 ## 使い方(How to use.)