|
--- |
|
license: apache-2.0 |
|
language: |
|
- ja |
|
tags: |
|
- mistral |
|
- mixtral |
|
- not-for-all-audiences |
|
- nsfw |
|
base_model: |
|
- NTQAI/chatntq-ja-7b-v1.0 |
|
- stabilityai/japanese-stablelm-instruct-gamma-7b |
|
- Elizezen/Antler-7B |
|
- Elizezen/Hameln-japanese-mistral-7B |
|
--- |
|
|
|
**[4.0bpw](https://huggingface.co/rioshiina/LightChatAssistant-4x7B-exl2/tree/4.0bpw)** |
|
**[6.0bpw](https://huggingface.co/rioshiina/LightChatAssistant-4x7B-exl2/tree/6.0bpw)** |
|
**[8.0bpw](https://huggingface.co/rioshiina/LightChatAssistant-4x7B-exl2/tree/8.0bpw)** |
|
|
|
これは、[Aratako](https://huggingface.co/Aratako)さんの[LightChatAssistant-4x7B](https://huggingface.co/Aratako/LightChatAssistant-4x7B)モデルをexl2量子化したものです。 |
|
Q4 cacheモードによる、32kのContextSize対応、4.0bpw量子化でVRAM16GBでフルロード可能です。 |
|
|
