File size: 825 Bytes
8a21e78 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
---
license: apache-2.0
language:
- ja
tags:
- mistral
- mixtral
- not-for-all-audiences
- nsfw
base_model:
- NTQAI/chatntq-ja-7b-v1.0
- stabilityai/japanese-stablelm-instruct-gamma-7b
- Elizezen/Antler-7B
- Elizezen/Hameln-japanese-mistral-7B
---
**[4.0bpw](https://huggingface.co/rioshiina/LightChatAssistant-4x7B-exl2/tree/4.0bpw)**
**[6.0bpw](https://huggingface.co/rioshiina/LightChatAssistant-4x7B-exl2/tree/6.0bpw)**
**[8.0bpw](https://huggingface.co/rioshiina/LightChatAssistant-4x7B-exl2/tree/8.0bpw)**
これは、[Aratako](https://huggingface.co/Aratako)さんの[LightChatAssistant-4x7B](https://huggingface.co/Aratako/LightChatAssistant-4x7B)モデルをexl2量子化したものです。
Q4 cacheモードによる、32kのContextSize対応、4.0bpw量子化でVRAM16GBでフルロード可能です。
|