README.md

metadata

license: apache-2.0
language:
  - ja
tags:
  - mistral
  - mixtral
  - not-for-all-audiences
  - nsfw
base_model:
  - NTQAI/chatntq-ja-7b-v1.0
  - stabilityai/japanese-stablelm-instruct-gamma-7b
  - Elizezen/Antler-7B
  - Elizezen/Hameln-japanese-mistral-7B

4.0bpw
6.0bpw
8.0bpw

これは、AratakoさんのLightChatAssistant-4x7Bモデルをexl2量子化したものです。
Q4 cacheモードによる、32kのContextSize対応、4.0bpw量子化でVRAM16GBでフルロード可能です。