Edit model card

原始模型:Sakura-13B-LNovel-v0.11pre1

4Bit AWQ量化,未测试,不建议使用。

采用未安装flash_attn的环境进行量化

Intel-XPU测试用,该量化模型可能不适合所有人。

Downloads last month
2
Safetensors
Model size
2.69B params
Tensor type
I32
·
BF16
·
FP16
·
Inference Examples
Inference API (serverless) does not yet support model repos that contain custom code.