Update README.md
Browse files
README.md
CHANGED
|
@@ -23,9 +23,9 @@ GalTransl-7B-v1模型是SakuraLLM社区的新成员，由sakuraumi和xd2333共
|
|
| 23 |
|
| 24 |
| 量化等级 | 说明 |
|
| 25 |
| ---- | ---- |
|
|
|
|
| 26 |
| Q4_K | 小的质量损失（6G显存推荐）|
|
| 27 |
-
|
|
| 28 |
-
| Q5_K | 很小的质量损失（6G/8G显存推荐） |
|
| 29 |
| Q6_k | 细小的质量损失（8G及以上显存推荐） |
|
| 30 |
|
| 31 |
本地部署参考：
|
|
|
|
| 23 |
|
| 24 |
| 量化等级 | 说明 |
|
| 25 |
| ---- | ---- |
|
| 26 |
+
| IQ4_XS | 小的质量损失，占用更小，但速度比Q4_K慢（6G显存推荐） |
|
| 27 |
| Q4_K | 小的质量损失（6G显存推荐）|
|
| 28 |
+
| Q5_K | 很小的质量损失（6G/8G显存推荐，6G显存可能需要减小窗口大小'-c'） |
|
|
|
|
| 29 |
| Q6_k | 细小的质量损失（8G及以上显存推荐） |
|
| 30 |
|
| 31 |
本地部署参考：
|