Hugging Face's logo

TheBloke
/
Mistral-7B-OpenOrca-GPTQ

Text Generation
Transformers
Safetensors
English
mistral
conversational
text-generation-inference
4-bit precision
gptq
Model card Files Community
10

Some weights of the model checkpoint at TheBloke/Mistral-7B-OpenOrca-GPTQ were not used when initializing MistralForCausalLM

#1
by eelang - opened
Discussion
eelang

Can somebody help how to solve this?

Some weights of the model checkpoint at TheBloke/Mistral-7B-OpenOrca-GPTQ were not used when initializing MistralForCausalLM: ['model.layers.26.self_attn.o_proj.qzeros', 'model.layers.19.self_attn.v_proj.g_idx', 'model.layers.22.self_attn.v_proj.bias', 'model.layers.5.mlp.down_proj.qzeros', 'model.layers.8.mlp.down_proj.bias', 'model.layers.29.mlp.up_proj.scales', 'model.layers.8.self_attn.o_proj.qzeros', 'model.layers.10.self_attn.k_proj.scales', 'model.layers.3.self_attn.o_proj.qzeros', 'model.layers.4.mlp.gate_proj.qzeros', 'model.layers.28.self_attn.k_proj.scales', 'model.layers.8.mlp.down_proj.qzeros', 'model.layers.19.mlp.down_proj.qzeros', 'model.layers.13.self_attn.k_proj.qweight', 'model.layers.0.mlp.down_proj.qweight', 'model.layers.3.self_attn.o_proj.scales', 'model.layers.18.mlp.down_proj.qzeros', 'model.layers.3.self_attn.k_proj.qweight', 'model.layers.13.self_attn.k_proj.scales', 'model.layers.10.self_attn.v_proj.qweight', 'model.layers.11.mlp.down_proj.qzeros', 'model.layers.18.mlp.up_proj.bias', 'model.layers.19.self_attn.o_proj.qweight', 'model.layers.30.mlp.up_proj.qzeros', 'model.layers.1.mlp.up_proj.qweight', 'model.layers.21.self_attn.k_proj.qweight', 'model.layers.24.self_attn.q_proj.scales', 'model.layers.16.mlp.gate_proj.qzeros', 'model.layers.0.mlp.gate_proj.qweight', 'model.layers.25.mlp.down_proj.qzeros', 'model.layers.16.self_attn.v_proj.scales', 'model.layers.23.mlp.down_proj.scales', 'model.layers.23.mlp.up_proj.qzeros', 'model.layers.8.mlp.up_proj.bias', 'model.layers.8.self_attn.k_proj.scales', 'model.layers.26.mlp.up_proj.qzeros', 'model.layers.25.mlp.gate_proj.g_idx', 'model.layers.7.self_attn.o_proj.scales', 'model.layers.2.mlp.down_proj.qweight', 'model.layers.17.mlp.gate_proj.g_idx', 'model.layers.13.mlp.down_proj.qzeros', 'model.layers.25.self_attn.o_proj.qzeros', 'model.layers.5.self_attn.v_proj.bias', 'model.layers.28.mlp.up_proj.g_idx', 'model.layers.7.mlp.down_proj.qweight', 'model.layers.29.mlp.down_proj.qweight', 'model.layers.2.mlp.up_proj.scales', 'model.layers.23.mlp.down_proj.qweight', 'model.layers.19.self_attn.q_proj.bias', 'model.layers.9.self_attn.q_proj.g_idx', 'model.layers.0.mlp.up_proj.qweight', 'model.layers.3.mlp.gate_proj.scales', 'model.layers.19.self_attn.k_proj.qzeros', 'model.layers.16.mlp.down_proj.qzeros', 'model.layers.2.mlp.gate_proj.bias', 'model.layers.4.self_attn.k_proj.qweight', 'model.layers.14.mlp.down_proj.bias', 'model.layers.5.mlp.up_proj.qweight', 'model.layers.26.self_attn.q_proj.qzeros', 'model.layers.0.self_attn.q_proj.g_idx', 'model.layers.15.mlp.gate_proj.scales', 'model.layers.7.self_attn.q_proj.g_idx', 'model.layers.3.self_attn.q_proj.scales', 'model.layers.0.mlp.gate_proj.qzeros', 'model.layers.21.mlp.down_proj.g_idx', 'model.layers.31.self_attn.k_proj.scales', 'model.layers.5.self_attn.o_proj.qzeros', 'model.layers.10.self_attn.k_proj.bias', 'model.layers.21.mlp.up_proj.scales', 'model.layers.26.mlp.down_proj.scales', 'model.layers.23.self_attn.k_proj.scales', 'model.layers.29.self_attn.o_proj.g_idx', 'model.layers.0.self_attn.o_proj.g_idx', 'model.layers.8.mlp.up_proj.qzeros', 'model.layers.5.mlp.gate_proj.qweight', 'model.layers.18.self_attn.v_proj.g_idx', 'model.layers.27.self_attn.o_proj.g_idx', 'model.layers.4.self_attn.o_proj.qzeros', 'model.layers.16.mlp.gate_proj.g_idx', 'model.layers.2.mlp.down_proj.qzeros', 'model.layers.27.self_attn.o_proj.scales', 'model.layers.14.self_attn.o_proj.qzeros', 'model.layers.9.mlp.gate_proj.qweight', 'model.layers.26.self_attn.o_proj.qweight', 'model.layers.29.mlp.gate_proj.bias', 'model.layers.7.mlp.gate_proj.g_idx', 'model.layers.15.mlp.gate_proj.qweight', 'model.layers.17.self_attn.q_proj.bias', 'model.layers.2.mlp.up_proj.g_idx', 'model.layers.24.self_attn.v_proj.bias', 'model.layers.9.self_attn.o_proj.qzeros', 'model.layers.14.self_attn.o_proj.qweight', 'model.layers.12.self_attn.o_proj.qzeros', 'model.layers.2.mlp.down_proj.bias', 'model.layers.18.self_attn.q_proj.qweight', 'model.layers.10.mlp.gate_proj.qzeros', 'model.layers.0.self_attn.q_proj.bias', 'model.layers.22.mlp.down_proj.qzeros', 'model.layers.9.self_attn.k_proj.qweight', 'model.layers.2.self_attn.o_proj.bias', 'model.layers.2.self_attn.q_proj.bias', 'model.layers.4.mlp.down_proj.g_idx', 'model.layers.16.self_attn.o_proj.g_idx', 'model.layers.24.self_attn.k_proj.g_idx', 'model.layers.0.mlp.up_proj.bias', 'model.layers.16.self_attn.q_proj.scales', 'model.layers.23.self_attn.v_proj.g_idx', 'model.layers.21.self_attn.k_proj.g_idx', 'model.layers.26.mlp.up_proj.bias', 'model.layers.17.mlp.down_proj.scales', 'model.layers.5.self_attn.q_proj.qweight', 'model.layers.8.self_attn.k_proj.qzeros', 'model.layers.1.mlp.down_proj.qzeros', 'model.layers.27.self_attn.k_proj.g_idx', 'model.layers.4.self_attn.o_proj.scales', 'model.layers.30.self_attn.k_proj.scales', 'model.layers.4.mlp.up_proj.scales', 'model.layers.29.self_attn.q_proj.bias', 'model.layers.16.self_attn.o_proj.qzeros', 'model.layers.30.mlp.gate_proj.bias', 'model.layers.10.mlp.up_proj.scales', 'model.layers.1.self_attn.v_proj.bias', 'model.layers.1.self_attn.q_proj.qweight', 'model.layers.7.self_attn.k_proj.qzeros', 'model.layers.7.self_attn.k_proj.g_idx', 'model.layers.31.mlp.gate_proj.bias', 'model.layers.18.self_attn.k_proj.g_idx', 'model.layers.28.self_attn.k_proj.qweight', 'model.layers.11.mlp.up_proj.qzeros', 'model.layers.3.self_attn.q_proj.bias', 'model.layers.31.mlp.down_proj.g_idx', 'model.layers.2.mlp.gate_proj.qzeros', 'model.layers.22.self_attn.q_proj.g_idx', 'model.layers.29.self_attn.v_proj.qzeros', 'model.layers.28.self_attn.k_proj.g_idx', 'model.layers.12.mlp.down_proj.qweight', 'model.layers.30.self_attn.v_proj.qweight', 'model.layers.9.self_attn.q_proj.scales', 'model.layers.22.mlp.up_proj.qzeros', 'model.layers.24.self_attn.v_proj.qzeros', 'model.layers.17.mlp.down_proj.qweight', 'model.layers.8.self_attn.q_proj.bias', 'model.layers.11.self_attn.v_proj.g_idx', 'model.layers.5.mlp.down_proj.qweight', 'model.layers.0.self_attn.q_proj.scales', 'model.layers.1.self_attn.k_proj.qweight', 'model.layers.15.self_attn.k_proj.scales', 'model.layers.24.self_attn.v_proj.g_idx', 'model.layers.14.mlp.gate_proj.qzeros', 'model.layers.25.self_attn.o_proj.qweight', 'model.layers.22.mlp.down_proj.bias', 'model.layers.1.self_attn.k_proj.qzeros', 'model.layers.15.self_attn.v_proj.g_idx', 'model.layers.10.self_attn.v_proj.scales', 'model.layers.20.mlp.up_proj.g_idx', 'model.layers.21.mlp.gate_proj.qweight', 'model.layers.25.mlp.gate_proj.scales', 'model.layers.10.self_attn.k_proj.qweight', 'model.layers.11.self_attn.q_proj.bias', 'model.layers.6.mlp.up_proj.bias', 'model.layers.10.self_attn.q_proj.qzeros', 'model.layers.21.self_attn.o_proj.qweight', 'model.layers.13.self_attn.o_proj.qzeros', 'model.layers.16.self_attn.k_proj.qweight', 'model.layers.28.self_attn.v_proj.g_idx', 'model.layers.31.mlp.up_proj.qweight', 'model.layers.27.mlp.gate_proj.g_idx', 'model.layers.11.self_attn.o_proj.bias', 'model.layers.28.self_attn.v_proj.qzeros', 'model.layers.13.self_attn.v_proj.qzeros', 'model.layers.4.mlp.gate_proj.scales', 'model.layers.11.self_attn.q_proj.scales', 'model.layers.6.mlp.gate_proj.bias', 'model.layers.13.self_attn.o_proj.g_idx', 'model.layers.15.mlp.down_proj.qzeros', 'model.layers.19.self_attn.q_proj.qweight', 'model.layers.20.self_attn.k_proj.qzeros', 'model.layers.25.self_attn.v_proj.qzeros', 'model.layers.6.self_attn.q_proj.qweight', 'model.layers.12.self_attn.v_proj.g_idx', 'model.layers.16.mlp.up_proj.qzeros', 'model.layers.17.mlp.down_proj.g_idx', 'model.layers.13.mlp.up_proj.scales', 'model.layers.3.mlp.gate_proj.qweight', 'model.layers.10.self_attn.o_proj.qweight', 'model.layers.20.self_attn.v_proj.bias', 'model.layers.12.mlp.gate_proj.bias', 'model.layers.29.mlp.up_proj.qweight', 'model.layers.9.self_attn.k_proj.bias', 'model.layers.2.self_attn.q_proj.g_idx', 'model.layers.26.mlp.gate_proj.scales', 'model.layers.14.mlp.up_proj.qzeros', 'model.layers.21.mlp.up_proj.qzeros', 'model.layers.11.self_attn.k_proj.scales', 'model.layers.26.self_attn.k_proj.g_idx', 'model.layers.20.mlp.gate_proj.qzeros', 'model.layers.12.self_attn.o_proj.scales', 'model.layers.20.self_attn.q_proj.bias', 'model.layers.21.mlp.down_proj.qweight', 'model.layers.22.mlp.up_proj.g_idx', 'model.layers.6.self_attn.v_proj.qzeros', 'model.layers.27.self_attn.v_proj.g_idx', 'model.layers.25.mlp.gate_proj.bias', 'model.layers.19.self_attn.o_proj.g_idx', 'model.layers.30.self_attn.o_proj.g_idx', 'model.layers.28.self_attn.o_proj.qzeros', 'model.layers.15.mlp.up_proj.bias', 'model.layers.18.mlp.up_proj.qweight', 'model.layers.3.mlp.down_proj.qzeros', 'model.layers.1.self_attn.o_proj.scales', 'model.layers.19.self_attn.k_proj.qweight', 'model.layers.26.mlp.gate_proj.bias', 'model.layers.15.mlp.up_proj.g_idx', 'model.layers.30.self_attn.k_proj.bias', 'model.layers.25.self_attn.v_proj.qweight', 'model.layers.29.self_attn.o_proj.qweight', 'model.layers.6.self_attn.k_proj.bias', 'model.layers.21.mlp.down_proj.scales', 'model.layers.15.mlp.up_proj.qzeros', 'model.layers.22.mlp.up_proj.qweight', 'model.layers.3.self_attn.k_proj.bias', 'model.layers.17.self_attn.v_proj.qzeros', 'model.layers.31.self_attn.v_proj.g_idx', 'model.layers.18.self_attn.q_proj.g_idx', 'model.layers.15.mlp.down_proj.bias', 'model.layers.2.mlp.gate_proj.g_idx', 'model.layers.8.mlp.gate_proj.qweight', 'model.layers.13.self_attn.o_proj.scales', 'model.layers.1.mlp.up_proj.qzeros', 'model.layers.31.mlp.gate_proj.scales', 'model.layers.2.self_attn.v_proj.qweight', 'model.layers.8.self_attn.v_proj.scales', 'model.layers.27.self_attn.k_proj.qweight', 'model.layers.15.self_attn.v_proj.qweight', 'model.layers.19.self_attn.v_proj.scales', 'model.layers.6.self_attn.v_proj.bias', 'model.layers.13.self_attn.v_proj.bias', 'model.layers.10.self_attn.v_proj.qzeros', 'model.layers.22.self_attn.q_proj.bias', 'model.layers.12.mlp.gate_proj.qweight', 'model.layers.18.mlp.gate_proj.qzeros', 'model.layers.28.mlp.up_proj.qzeros', 'model.layers.2.self_attn.q_proj.qzeros', 'model.layers.2.self_attn.k_proj.g_idx', 'model.layers.30.self_attn.q_proj.qweight', 'model.layers.1.self_attn.k_proj.g_idx', 'model.layers.11.self_attn.o_proj.g_idx', 'model.layers.25.mlp.down_proj.g_idx', 'model.layers.1.self_attn.v_proj.qzeros', 'model.layers.9.mlp.up_proj.g_idx', 'model.layers.14.self_attn.o_proj.bias', 'model.layers.7.self_attn.v_proj.qzeros', 'model.layers.10.mlp.down_proj.g_idx', 'model.layers.12.mlp.down_proj.g_idx', 'model.layers.7.self_attn.o_proj.bias', 'model.layers.17.self_attn.v_proj.scales', 'model.layers.4.mlp.down_proj.qweight', 'model.layers.15.self_attn.o_proj.qweight', 'model.layers.16.mlp.gate_proj.bias', 'model.layers.21.self_attn.q_proj.qzeros', 'model.layers.6.self_attn.q_proj.bias', 'model.layers.20.mlp.down_proj.qzeros', 'model.layers.8.self_attn.o_proj.bias', 'model.layers.12.self_attn.v_proj.bias', 'model.layers.13.mlp.gate_proj.scales', 'model.layers.15.self_attn.q_proj.qweight', 'model.layers.24.mlp.down_proj.g_idx', 'model.layers.20.self_attn.q_proj.g_idx', 'model.layers.0.self_attn.v_proj.qweight', 'model.layers.28.self_attn.q_proj.qzeros', 'model.layers.31.mlp.gate_proj.qweight', 'model.layers.9.mlp.up_proj.bias', 'model.layers.13.self_attn.q_proj.scales', 'model.layers.3.mlp.up_proj.bias', 'model.layers.23.self_attn.q_proj.qzeros', 'model.layers.25.self_attn.k_proj.g_idx', 'model.layers.9.self_attn.q_proj.qweight', 'model.layers.17.mlp.up_proj.qweight', 'model.layers.6.self_attn.o_proj.scales', 'model.layers.6.self_attn.o_proj.qzeros', 'model.layers.9.self_attn.o_proj.scales', 'model.layers.9.self_attn.v_proj.bias', 'model.layers.28.self_attn.v_proj.qweight', 'model.layers.2.mlp.up_proj.qweight', 'model.layers.12.self_attn.v_proj.scales', 'model.layers.15.mlp.gate_proj.g_idx', 'model.layers.25.mlp.up_proj.scales', 'model.layers.13.self_attn.v_proj.g_idx', 'model.layers.12.self_attn.o_proj.g_idx', 'model.layers.24.self_attn.k_proj.qzeros', 'model.layers.29.self_attn.v_proj.g_idx', 'model.layers.3.self_attn.o_proj.g_idx', 'model.layers.8.self_attn.q_proj.qzeros', 'model.layers.4.self_attn.v_proj.qzeros', 'model.layers.4.mlp.gate_proj.qweight', 'model.layers.20.mlp.down_proj.scales', 'model.layers.14.mlp.gate_proj.g_idx', 'model.layers.16.mlp.down_proj.g_idx', 'model.layers.23.mlp.gate_proj.scales', 'model.layers.17.self_attn.k_proj.scales', 'model.layers.13.mlp.down_proj.qweight', 'model.layers.23.self_attn.k_proj.qweight', 'model.layers.27.mlp.gate_proj.qweight', 'model.layers.30.self_attn.o_proj.bias', 'model.layers.11.self_attn.o_proj.qweight', 'model.layers.26.self_attn.q_proj.scales', 'model.layers.30.self_attn.v_proj.g_idx', 'model.layers.5.self_attn.v_proj.qzeros', 'model.layers.28.mlp.gate_proj.scales', 'model.layers.22.mlp.gate_proj.scales', 'model.layers.21.self_attn.q_proj.qweight', 'model.layers.26.self_attn.k_proj.bias', 'model.layers.17.self_attn.o_proj.qzeros', 'model.layers.2.self_attn.o_proj.g_idx', 'model.layers.8.mlp.gate_proj.qzeros', 'model.layers.9.mlp.down_proj.qzeros', 'model.layers.24.mlp.gate_proj.qweight', 'model.layers.4.self_attn.q_proj.scales', 'model.layers.13.mlp.gate_proj.qweight', 'model.layers.23.mlp.up_proj.bias', 'model.layers.12.mlp.up_proj.g_idx', 'model.layers.13.mlp.down_proj.bias', 'model.layers.20.self_attn.k_proj.scales', 'model.layers.24.self_attn.k_proj.bias', 'model.layers.4.self_attn.v_proj.g_idx', 'model.layers.7.mlp.up_proj.g_idx', 'model.layers.12.self_attn.q_proj.g_idx', 'model.layers.27.self_attn.q_proj.qweight', 'model.layers.0.self_attn.o_proj.qzeros', 'model.layers.14.self_attn.v_proj.g_idx', 'model.layers.15.self_attn.v_proj.bias', 'model.layers.15.self_attn.v_proj.qzeros', 'model.layers.23.mlp.up_proj.g_idx', 'model.layers.26.self_attn.q_proj.g_idx', 'model.layers.14.mlp.up_proj.scales', 'model.layers.25.mlp.up_proj.g_idx', 'model.layers.4.mlp.gate_proj.g_idx', 'model.layers.14.mlp.gate_proj.bias', 'model.layers.16.mlp.gate_proj.qweight', 'model.layers.27.mlp.up_proj.bias', 'model.layers.13.mlp.up_proj.qzeros', 'model.layers.23.self_attn.v_proj.scales', 'model.layers.23.self_attn.q_proj.qweight', 'model.layers.8.mlp.down_proj.qweight', 'model.layers.21.self_attn.k_proj.qzeros', 'model.layers.29.mlp.up_proj.g_idx', 'model.layers.11.mlp.up_proj.g_idx', 'model.layers.1.self_attn.q_proj.bias', 'model.layers.3.mlp.down_proj.qweight', 'model.layers.27.mlp.down_proj.bias', 'model.layers.31.self_attn.o_proj.scales', 'model.layers.29.mlp.down_proj.bias', 'model.layers.14.mlp.down_proj.qweight', 'model.layers.16.self_attn.o_proj.bias', 'model.layers.21.mlp.gate_proj.g_idx', 'model.layers.4.mlp.up_proj.g_idx', 'model.layers.25.self_attn.k_proj.qzeros', 'model.layers.0.mlp.up_proj.scales', 'model.layers.26.self_attn.k_proj.qzeros', 'model.layers.25.self_attn.o_proj.bias', 'model.layers.20.self_attn.o_proj.g_idx', 'model.layers.7.self_attn.q_proj.scales', 'model.layers.29.mlp.down_proj.g_idx', 'model.layers.18.mlp.down_proj.bias', 'model.layers.5.self_attn.k_proj.qweight', 'model.layers.5.self_attn.v_proj.g_idx', 'model.layers.5.self_attn.k_proj.qzeros', 'model.layers.31.mlp.gate_proj.g_idx', 'model.layers.30.mlp.up_proj.qweight', 'model.layers.26.mlp.up_proj.qweight', 'model.layers.19.mlp.gate_proj.qzeros', 'model.layers.31.mlp.up_proj.bias', 'model.layers.24.self_attn.v_proj.qweight', 'model.layers.7.self_attn.q_proj.bias', 'model.layers.6.mlp.down_proj.bias', 'model.layers.8.self_attn.v_proj.bias', 'model.layers.29.mlp.up_proj.qzeros', 'model.layers.1.mlp.gate_proj.scales', 'model.layers.13.mlp.down_proj.g_idx', 'model.layers.28.mlp.gate_proj.bias', 'model.layers.7.mlp.up_proj.scales', 'model.layers.24.self_attn.k_proj.scales', 'model.layers.3.mlp.down_proj.scales', 'model.layers.31.self_attn.q_proj.bias', 'model.layers.18.self_attn.k_proj.scales', 'model.layers.4.self_attn.o_proj.bias', 'model.layers.17.self_attn.k_proj.qweight', 'model.layers.2.mlp.down_proj.g_idx', 'model.layers.4.mlp.up_proj.qzeros', 'model.layers.6.mlp.down_proj.qzeros', 'model.layers.24.mlp.gate_proj.g_idx', 'model.layers.26.self_attn.q_proj.qweight', 'model.layers.14.self_attn.v_proj.bias', 'model.layers.31.self_attn.v_proj.qweight', 'model.layers.15.self_attn.q_proj.bias', 'model.layers.12.self_attn.k_proj.bias', 'model.layers.26.self_attn.v_proj.bias', 'model.layers.31.mlp.down_proj.qzeros', 'model.layers.19.mlp.down_proj.bias', 'model.layers.30.self_attn.k_proj.qweight', 'model.layers.10.mlp.gate_proj.qweight', 'model.layers.15.self_attn.q_proj.g_idx', 'model.layers.12.mlp.down_proj.bias', 'model.layers.23.mlp.gate_proj.qzeros', 'model.layers.17.mlp.up_proj.qzeros', 'model.layers.23.self_attn.k_proj.bias', 'model.layers.31.self_attn.k_proj.qzeros', 'model.layers.17.mlp.up_proj.bias', 'model.layers.11.mlp.gate_proj.g_idx', 'model.layers.15.self_attn.o_proj.bias', 'model.layers.31.self_attn.o_proj.qzeros', 'model.layers.1.self_attn.v_proj.scales', 'model.layers.8.self_attn.v_proj.qzeros', 'model.layers.0.self_attn.k_proj.g_idx', 'model.layers.1.mlp.gate_proj.bias', 'model.layers.31.self_attn.q_proj.qweight', 'model.layers.7.self_attn.o_proj.qweight', 'model.layers.16.self_attn.q_proj.qweight', 'model.layers.29.self_attn.o_proj.bias', 'model.layers.13.mlp.gate_proj.bias', 'model.layers.9.self_attn.v_proj.qweight', 'model.layers.17.self_attn.k_proj.qzeros', 'model.layers.30.mlp.down_proj.scales', 'model.layers.9.self_attn.k_proj.g_idx', 'model.layers.17.self_attn.o_proj.g_idx', 'model.layers.21.mlp.up_proj.qweight', 'model.layers.30.self_attn.q_proj.scales', 'model.layers.6.mlp.gate_proj.g_idx', 'model.layers.13.self_attn.v_proj.scales', 'model.layers.19.self_attn.v_proj.bias', 'model.layers.2.self_attn.o_proj.qzeros', 'model.layers.10.mlp.gate_proj.scales', 'model.layers.15.self_attn.k_proj.g_idx', 'model.layers.16.self_attn.v_proj.g_idx', 'model.layers.17.mlp.up_proj.g_idx', 'model.layers.12.mlp.gate_proj.scales', 'model.layers.20.self_attn.v_proj.qzeros', 'model.layers.8.self_attn.q_proj.scales', 'model.layers.1.self_attn.q_proj.g_idx', 'model.layers.24.self_attn.v_proj.scales', 'model.layers.24.self_attn.o_proj.g_idx', 'model.layers.4.mlp.down_proj.qzeros', 'model.layers.27.self_attn.v_proj.qzeros', 'model.layers.4.self_attn.o_proj.qweight', 'model.layers.28.mlp.down_proj.qweight', 'model.layers.19.self_attn.q_proj.qzeros', 'model.layers.26.self_attn.v_proj.scales', 'model.layers.6.self_attn.v_proj.qweight', 'model.layers.10.self_attn.q_proj.scales', 'model.layers.14.self_attn.k_proj.scales', 'model.layers.27.mlp.up_proj.qweight', 'model.layers.16.self_attn.v_proj.qweight', 'model.layers.0.mlp.down_proj.qzeros', 'model.layers.31.self_attn.k_proj.bias', 'model.layers.20.mlp.down_proj.g_idx', 'model.layers.22.self_attn.k_proj.bias', 'model.layers.9.self_attn.k_proj.scales', 'model.layers.21.self_attn.o_proj.g_idx', 'model.layers.8.self_attn.q_proj.g_idx', 'model.layers.20.self_attn.q_proj.scales', 'model.layers.1.mlp.up_proj.scales', 'model.layers.12.mlp.up_proj.bias', 'model.layers.11.self_attn.k_proj.qzeros', 'model.layers.16.self_attn.k_proj.bias', 'model.layers.19.mlp.up_proj.bias', 'model.layers.29.mlp.gate_proj.g_idx', 'model.layers.29.mlp.down_proj.qzeros', 'model.layers.5.self_attn.o_proj.scales', 'model.layers.5.self_attn.v_proj.qweight', 'model.layers.24.mlp.gate_proj.bias', 'model.layers.22.self_attn.o_proj.scales', 'model.layers.21.self_attn.o_proj.qzeros', 'model.layers.26.mlp.gate_proj.g_idx', 'model.layers.28.self_attn.q_proj.bias', 'model.layers.20.mlp.down_proj.qweight', 'model.layers.11.mlp.down_proj.scales', 'model.layers.31.self_attn.q_proj.g_idx', 'model.layers.4.self_attn.o_proj.g_idx', 'model.layers.2.mlp.gate_proj.scales', 'model.layers.19.mlp.down_proj.qweight', 'model.layers.2.self_attn.o_proj.qweight', 'model.layers.26.mlp.down_proj.g_idx', 'model.layers.18.self_attn.v_proj.qzeros', 'model.layers.11.self_attn.k_proj.qweight', 'model.layers.20.mlp.up_proj.qweight', 'model.layers.17.mlp.gate_proj.qweight', 'model.layers.8.mlp.gate_proj.g_idx', 'model.layers.21.self_attn.q_proj.scales', 'model.layers.1.mlp.down_proj.qweight', 'model.layers.6.self_attn.k_proj.g_idx', 'model.layers.5.self_attn.q_proj.scales', 'model.layers.21.self_attn.q_proj.bias', 'model.layers.1.self_attn.q_proj.scales', 'model.layers.7.self_attn.v_proj.bias', 'model.layers.8.mlp.gate_proj.bias', 'model.layers.25.self_attn.q_proj.bias', 'model.layers.8.mlp.up_proj.g_idx', 'model.layers.30.self_attn.q_proj.bias', 'model.layers.10.mlp.gate_proj.g_idx', 'model.layers.12.mlp.down_proj.scales', 'model.layers.21.mlp.gate_proj.qzeros', 'model.layers.14.self_attn.q_proj.qzeros', 'model.layers.8.mlp.up_proj.qweight', 'model.layers.23.self_attn.o_proj.g_idx', 'model.layers.16.self_attn.k_proj.qzeros', 'model.layers.1.mlp.down_proj.g_idx', 'model.layers.17.self_attn.q_proj.qweight', 'model.layers.11.mlp.up_proj.qweight', 'model.layers.18.self_attn.q_proj.bias', 'model.layers.7.self_attn.v_proj.scales', 'model.layers.3.mlp.up_proj.scales', 'model.layers.13.self_attn.q_proj.qweight', 'model.layers.8.mlp.down_proj.scales', 'model.layers.27.mlp.down_proj.qweight', 'model.layers.6.mlp.gate_proj.scales', 'model.layers.27.self_attn.v_proj.bias', 'model.layers.13.self_attn.k_proj.g_idx', 'model.layers.26.mlp.down_proj.qweight', 'model.layers.10.self_attn.o_proj.qzeros', 'model.layers.16.self_attn.o_proj.scales', 'model.layers.18.mlp.gate_proj.g_idx', 'model.layers.22.mlp.gate_proj.qzeros', 'model.layers.15.self_attn.o_proj.qzeros', 'model.layers.4.self_attn.q_proj.qzeros', 'model.layers.12.self_attn.o_proj.bias', 'model.layers.20.mlp.down_proj.bias', 'model.layers.30.mlp.up_proj.scales', 'model.layers.11.self_attn.q_proj.g_idx', 'model.layers.2.self_attn.q_proj.qweight', 'model.layers.28.self_attn.v_proj.bias', 'model.layers.30.mlp.down_proj.qweight', 'model.layers.18.self_attn.k_proj.qzeros', 'model.layers.17.self_attn.v_proj.bias', 'model.layers.15.mlp.down_proj.g_idx', 'model.layers.15.mlp.up_proj.scales', 'model.layers.2.mlp.up_proj.bias', 'model.layers.4.self_attn.v_proj.bias', 'model.layers.22.self_attn.v_proj.scales', 'model.layers.9.self_attn.o_proj.g_idx', 'model.layers.31.mlp.down_proj.qweight', 'model.layers.5.self_attn.q_proj.bias', 'model.layers.22.self_attn.o_proj.qweight', 'model.layers.25.self_attn.v_proj.g_idx', 'model.layers.16.self_attn.k_proj.scales', 'model.layers.9.mlp.down_proj.g_idx', 'model.layers.9.self_attn.k_proj.qzeros', 'model.layers.24.mlp.down_proj.qweight', 'model.layers.30.self_attn.k_proj.g_idx', 'model.layers.0.self_attn.v_proj.g_idx', 'model.layers.22.self_attn.o_proj.qzeros', 'model.layers.4.mlp.up_proj.bias', 'model.layers.6.self_attn.k_proj.scales', 'model.layers.10.self_attn.k_proj.qzeros', 'model.layers.11.mlp.up_proj.scales', 'model.layers.15.self_attn.q_proj.scales', 'model.layers.25.mlp.up_proj.bias', 'model.layers.21.mlp.gate_proj.bias', 'model.layers.14.self_attn.k_proj.bias', 'model.layers.24.mlp.up_proj.g_idx', 'model.layers.2.self_attn.v_proj.scales', 'model.layers.12.self_attn.o_proj.qweight', 'model.layers.22.self_attn.v_proj.g_idx', 'model.layers.26.self_attn.o_proj.bias', 'model.layers.0.mlp.down_proj.bias', 'model.layers.12.self_attn.k_proj.g_idx', 'model.layers.18.mlp.gate_proj.qweight', 'model.layers.1.mlp.up_proj.g_idx', 'model.layers.16.self_attn.o_proj.qweight', 'model.layers.31.mlp.down_proj.bias', 'model.layers.9.mlp.gate_proj.qzeros', 'model.layers.9.mlp.gate_proj.scales', 'model.layers.28.mlp.up_proj.scales', 'model.layers.7.mlp.gate_proj.scales', 'model.layers.27.self_attn.v_proj.scales', 'model.layers.10.mlp.up_proj.qweight', 'model.layers.13.mlp.down_proj.scales', 'model.layers.28.self_attn.q_proj.qweight', 'model.layers.19.mlp.gate_proj.qweight', 'model.layers.27.mlp.down_proj.scales', 'model.layers.30.self_attn.v_proj.qzeros', 'model.layers.10.mlp.down_proj.qzeros', 'model.layers.31.mlp.up_proj.g_idx', 'model.layers.27.self_attn.k_proj.qzeros', 'model.layers.4.mlp.down_proj.scales', 'model.layers.17.self_attn.q_proj.g_idx', 'model.layers.9.self_attn.v_proj.scales', 'model.layers.17.self_attn.k_proj.bias', 'model.layers.25.mlp.down_proj.scales', 'model.layers.12.mlp.up_proj.qweight', 'model.layers.11.mlp.gate_proj.qweight', 'model.layers.7.mlp.down_proj.g_idx', 'model.layers.24.self_attn.o_proj.qweight', 'model.layers.19.mlp.gate_proj.bias', 'model.layers.25.self_attn.q_proj.g_idx', 'model.layers.26.self_attn.k_proj.scales', 'model.layers.30.mlp.gate_proj.scales', 'model.layers.23.mlp.down_proj.g_idx', 'model.layers.0.mlp.down_proj.scales', 'model.layers.12.self_attn.q_proj.qzeros', 'model.layers.8.self_attn.q_proj.qweight', 'model.layers.3.self_attn.q_proj.qweight', 'model.layers.25.mlp.gate_proj.qweight', 'model.layers.28.self_attn.o_proj.g_idx', 'model.layers.22.self_attn.q_proj.scales', 'model.layers.17.mlp.gate_proj.bias', 'model.layers.7.self_attn.q_proj.qweight', 'model.layers.3.self_attn.o_proj.qweight', 'model.layers.6.self_attn.k_proj.qweight', 'model.layers.6.self_attn.q_proj.g_idx', 'model.layers.25.self_attn.k_proj.scales', 'model.layers.29.mlp.gate_proj.qweight', 'model.layers.20.self_attn.o_proj.bias', 'model.layers.23.mlp.up_proj.scales', 'model.layers.2.self_attn.o_proj.scales', 'model.layers.11.self_attn.k_proj.g_idx', 'model.layers.22.self_attn.k_proj.qweight', 'model.layers.22.self_attn.o_proj.g_idx', 'model.layers.29.self_attn.k_proj.bias', 'model.layers.9.mlp.gate_proj.bias', 'model.layers.25.self_attn.k_proj.qweight', 'model.layers.15.mlp.gate_proj.qzeros', 'model.layers.28.mlp.up_proj.qweight', 'model.layers.26.self_attn.q_proj.bias', 'model.layers.26.mlp.gate_proj.qweight', 'model.layers.14.mlp.down_proj.qzeros', 'model.layers.18.mlp.down_proj.scales', 'model.layers.9.mlp.up_proj.scales', 'model.layers.0.mlp.up_proj.qzeros', 'model.layers.27.mlp.up_proj.g_idx', 'model.layers.31.mlp.up_proj.qzeros', 'model.layers.10.mlp.down_proj.scales', 'model.layers.4.self_attn.q_proj.bias', 'model.layers.5.mlp.gate_proj.scales', 'model.layers.1.mlp.down_proj.scales', 'model.layers.20.mlp.gate_proj.scales', 'model.layers.3.self_attn.q_proj.g_idx', 'model.layers.12.mlp.up_proj.qzeros', 'model.layers.17.self_attn.o_proj.qweight', 'model.layers.21.self_attn.v_proj.qzeros', 'model.layers.10.self_attn.q_proj.g_idx', 'model.layers.19.self_attn.o_proj.scales', 'model.layers.23.self_attn.k_proj.g_idx', 'model.layers.20.self_attn.o_proj.qzeros', 'model.layers.5.mlp.gate_proj.qzeros', 'model.layers.30.mlp.down_proj.g_idx', 'model.layers.11.self_attn.q_proj.qzeros', 'model.layers.30.mlp.gate_proj.qzeros', 'model.layers.23.mlp.gate_proj.qweight', 'model.layers.15.mlp.down_proj.scales', 'model.layers.20.self_attn.v_proj.qweight', 'model.layers.19.self_attn.o_proj.qzeros', 'model.layers.23.self_attn.o_proj.qzeros', 'model.layers.9.mlp.down_proj.qweight', 'model.layers.23.self_attn.k_proj.qzeros', 'model.layers.20.mlp.gate_proj.g_idx', 'model.layers.23.self_attn.v_proj.qweight', 'model.layers.27.mlp.down_proj.g_idx', 'model.layers.4.self_attn.k_proj.g_idx', 'model.layers.1.self_attn.o_proj.qweight', 'model.layers.7.mlp.gate_proj.qzeros', 'model.layers.7.self_attn.q_proj.qzeros', 'model.layers.15.mlp.up_proj.qweight', 'model.layers.22.mlp.up_proj.scales', 'model.layers.26.self_attn.o_proj.scales', 'model.layers.20.self_attn.k_proj.g_idx', 'model.layers.10.mlp.up_proj.bias', 'model.layers.27.mlp.gate_proj.scales', 'model.layers.15.self_attn.k_proj.bias', 'model.layers.13.self_attn.o_proj.bias', 'model.layers.11.self_attn.v_proj.scales', 'model.layers.14.self_attn.k_proj.qzeros', 'model.layers.11.mlp.gate_proj.bias', 'model.layers.24.mlp.down_proj.scales', 'model.layers.3.self_attn.o_proj.bias', 'model.layers.23.self_attn.o_proj.bias', 'model.layers.7.mlp.up_proj.qzeros', 'model.layers.26.mlp.gate_proj.qzeros', 'model.layers.5.mlp.up_proj.qzeros', 'model.layers.8.self_attn.v_proj.g_idx', 'model.layers.2.self_attn.q_proj.scales', 'model.layers.5.mlp.gate_proj.bias', 'model.layers.6.self_attn.v_proj.scales', 'model.layers.25.mlp.up_proj.qzeros', 'model.layers.6.self_attn.q_proj.qzeros', 'model.layers.16.mlp.up_proj.g_idx', 'model.layers.7.mlp.up_proj.qweight', 'model.layers.30.mlp.gate_proj.qweight', 'model.layers.10.mlp.up_proj.g_idx', 'model.layers.21.mlp.up_proj.g_idx', 'model.layers.9.mlp.gate_proj.g_idx', 'model.layers.4.mlp.up_proj.qweight', 'model.layers.26.mlp.up_proj.g_idx', 'model.layers.28.mlp.down_proj.bias', 'model.layers.25.self_attn.v_proj.bias', 'model.layers.28.mlp.gate_proj.qzeros', 'model.layers.0.mlp.gate_proj.scales', 'model.layers.19.mlp.down_proj.g_idx', 'model.layers.30.mlp.down_proj.bias', 'model.layers.0.self_attn.o_proj.scales', 'model.layers.2.mlp.up_proj.qzeros', 'model.layers.18.self_attn.o_proj.qzeros', 'model.layers.3.self_attn.v_proj.bias', 'model.layers.14.self_attn.o_proj.scales', 'model.layers.26.self_attn.v_proj.qzeros', 'model.layers.23.self_attn.q_proj.g_idx', 'model.layers.13.mlp.up_proj.qweight', 'model.layers.6.mlp.down_proj.scales', 'model.layers.6.self_attn.v_proj.g_idx', 'model.layers.3.mlp.up_proj.qweight', 'model.layers.3.mlp.up_proj.qzeros', 'model.layers.11.mlp.gate_proj.qzeros', 'model.layers.7.mlp.gate_proj.bias', 'model.layers.27.self_attn.q_proj.qzeros', 'model.layers.31.mlp.down_proj.scales', 'model.layers.18.self_attn.k_proj.qweight', 'model.layers.3.self_attn.k_proj.g_idx', 'model.layers.20.self_attn.q_proj.qzeros', 'model.layers.25.self_attn.q_proj.scales', 'model.layers.9.mlp.up_proj.qweight', 'model.layers.18.mlp.up_proj.qzeros', 'model.layers.13.mlp.up_proj.g_idx', 'model.layers.3.mlp.gate_proj.qzeros', 'model.layers.7.self_attn.v_proj.qweight', 'model.layers.18.self_attn.v_proj.bias', 'model.layers.25.self_attn.o_proj.scales', 'model.layers.19.self_attn.q_proj.scales', 'model.layers.14.self_attn.q_proj.qweight', 'model.layers.23.self_attn.q_proj.scales', 'model.layers.14.self_attn.k_proj.qweight', 'model.layers.11.self_attn.k_proj.bias', 'model.layers.3.mlp.down_proj.bias', 'model.layers.5.mlp.up_proj.g_idx', 'model.layers.9.self_attn.q_proj.bias', 'model.layers.0.self_attn.o_proj.qweight', 'model.layers.20.self_attn.q_proj.qweight', 'model.layers.31.self_attn.o_proj.g_idx', 'model.layers.21.mlp.up_proj.bias', 'model.layers.19.mlp.gate_proj.g_idx', 'model.layers.4.mlp.down_proj.bias', 'model.layers.15.self_attn.o_proj.g_idx', 'model.layers.19.self_attn.v_proj.qzeros', 'model.layers.24.mlp.down_proj.bias', 'model.layers.28.self_attn.q_proj.scales', 'model.layers.29.self_attn.q_proj.g_idx', 'model.layers.0.self_attn.k_proj.bias', 'model.layers.11.self_attn.v_proj.bias', 'model.layers.30.self_attn.q_proj.qzeros', 'model.layers.8.self_attn.o_proj.scales', 'model.layers.5.self_attn.k_proj.bias', 'model.layers.6.self_attn.k_proj.qzeros', 'model.layers.24.self_attn.k_proj.qweight', 'model.layers.18.mlp.up_proj.g_idx', 'model.layers.9.mlp.down_proj.bias', 'model.layers.18.self_attn.o_proj.bias', 'model.layers.28.self_attn.k_proj.bias', 'model.layers.6.self_attn.o_proj.bias', 'model.layers.2.self_attn.v_proj.bias', 'model.layers.23.mlp.down_proj.qzeros', 'model.layers.24.mlp.up_proj.scales', 'model.layers.17.mlp.down_proj.qzeros', 'model.layers.30.mlp.down_proj.qzeros', 'model.layers.30.self_attn.k_proj.qzeros', 'model.layers.30.mlp.up_proj.g_idx', 'model.layers.8.self_attn.o_proj.qweight', 'model.layers.11.mlp.down_proj.g_idx', 'model.layers.12.mlp.up_proj.scales', 'model.layers.5.mlp.down_proj.bias', 'model.layers.1.mlp.down_proj.bias', 'model.layers.7.self_attn.o_proj.qzeros', 'model.layers.16.self_attn.q_proj.g_idx', 'model.layers.10.self_attn.q_proj.qweight', 'model.layers.10.mlp.down_proj.bias', 'model.layers.8.mlp.down_proj.g_idx', 'model.layers.16.mlp.up_proj.scales', 'model.layers.13.mlp.gate_proj.g_idx', 'model.layers.20.self_attn.k_proj.qweight', 'model.layers.5.self_attn.o_proj.qweight', 'model.layers.9.self_attn.o_proj.bias', 'model.layers.10.self_attn.v_proj.bias', 'model.layers.29.self_attn.q_proj.qzeros', 'model.layers.23.mlp.gate_proj.g_idx', 'model.layers.26.mlp.up_proj.scales', 'model.layers.14.mlp.gate_proj.scales', 'model.layers.7.mlp.down_proj.bias', 'model.layers.2.self_attn.v_proj.g_idx', 'model.layers.21.self_attn.v_proj.g_idx', 'model.layers.28.self_attn.o_proj.bias', 'model.layers.22.self_attn.k_proj.qzeros', 'model.layers.6.self_attn.q_proj.scales', 'model.layers.8.self_attn.k_proj.bias', 'model.layers.0.self_attn.v_proj.bias', 'model.layers.13.self_attn.k_proj.bias', 'model.layers.9.mlp.down_proj.scales', 'model.layers.28.mlp.down_proj.scales', 'model.layers.27.self_attn.q_proj.g_idx', 'model.layers.7.self_attn.k_proj.bias', 'model.layers.27.self_attn.q_proj.bias', 'model.layers.7.self_attn.k_proj.scales', 'model.layers.22.mlp.down_proj.qweight', 'model.layers.22.self_attn.k_proj.g_idx', 'model.layers.25.self_attn.q_proj.qweight', 'model.layers.20.self_attn.v_proj.g_idx', 'model.layers.24.mlp.up_proj.qzeros', 'model.layers.30.self_attn.v_proj.bias', 'model.layers.1.self_attn.v_proj.qweight', 'model.layers.29.self_attn.v_proj.qweight', 'model.layers.18.mlp.down_proj.g_idx', 'model.layers.21.self_attn.v_proj.bias', 'model.layers.0.mlp.gate_proj.g_idx', 'model.layers.13.self_attn.k_proj.qzeros', 'model.layers.27.self_attn.v_proj.qweight', 'model.layers.13.self_attn.o_proj.qweight', 'model.layers.22.self_attn.k_proj.scales', 'model.layers.3.self_attn.v_proj.qzeros', 'model.layers.15.self_attn.o_proj.scales', 'model.layers.21.self_attn.k_proj.bias', 'model.layers.5.mlp.down_proj.g_idx', 'model.layers.1.mlp.gate_proj.g_idx', 'model.layers.24.self_attn.o_proj.scales', 'model.layers.1.self_attn.o_proj.qzeros', 'model.layers.18.mlp.up_proj.scales', 'model.layers.21.self_attn.q_proj.g_idx', 'model.layers.10.mlp.up_proj.qzeros', 'model.layers.24.mlp.gate_proj.scales', 'model.layers.10.self_attn.q_proj.bias', 'model.layers.9.self_attn.o_proj.qweight', 'model.layers.11.mlp.up_proj.bias', 'model.layers.8.self_attn.v_proj.qweight', 'model.layers.0.self_attn.k_proj.qweight', 'model.layers.19.self_attn.o_proj.bias', 'model.layers.3.mlp.up_proj.g_idx', 'model.layers.3.self_attn.v_proj.scales', 'model.layers.20.self_attn.k_proj.bias', 'model.layers.24.self_attn.o_proj.qzeros', 'model.layers.15.self_attn.q_proj.qzeros', 'model.layers.29.mlp.gate_proj.qzeros', 'model.layers.4.self_attn.k_proj.scales', 'model.layers.8.self_attn.k_proj.qweight', 'model.layers.1.mlp.gate_proj.qweight', 'model.layers.10.self_attn.v_proj.g_idx', 'model.layers.29.self_attn.k_proj.qzeros', 'model.layers.2.self_attn.k_proj.qzeros', 'model.layers.6.mlp.up_proj.qzeros', 'model.layers.14.mlp.down_proj.scales', 'model.layers.12.mlp.gate_proj.g_idx', 'model.layers.6.self_attn.o_proj.qweight', 'model.layers.2.mlp.down_proj.scales', 'model.layers.6.self_attn.o_proj.g_idx', 'model.layers.14.self_attn.k_proj.g_idx', 'model.layers.25.self_attn.q_proj.qzeros', 'model.layers.28.mlp.up_proj.bias', 'model.layers.0.self_attn.k_proj.scales', 'model.layers.27.mlp.up_proj.scales', 'model.layers.1.self_attn.o_proj.bias', 'model.layers.16.self_attn.v_proj.qzeros', 'model.layers.24.self_attn.q_proj.g_idx', 'model.layers.11.self_attn.v_proj.qweight', 'model.layers.18.self_attn.q_proj.qzeros', 'model.layers.29.self_attn.v_proj.bias', 'model.layers.12.self_attn.q_proj.bias', 'model.layers.9.self_attn.q_proj.qzeros', 'model.layers.5.self_attn.k_proj.g_idx', 'model.layers.22.mlp.gate_proj.g_idx', 'model.layers.23.self_attn.v_proj.bias', 'model.layers.25.self_attn.k_proj.bias', 'model.layers.13.mlp.up_proj.bias', 'model.layers.4.self_attn.k_proj.bias', 'model.layers.28.self_attn.k_proj.qzeros', 'model.layers.27.self_attn.k_proj.scales', 'model.layers.28.self_attn.v_proj.scales', 'model.layers.7.mlp.up_proj.bias', 'model.layers.14.mlp.up_proj.qweight', 'model.layers.29.self_attn.k_proj.g_idx', 'model.layers.20.mlp.up_proj.scales', 'model.layers.7.mlp.down_proj.scales', 'model.layers.29.self_attn.k_proj.qweight', 'model.layers.19.mlp.up_proj.scales', 'model.layers.14.self_attn.v_proj.qweight', 'model.layers.27.mlp.gate_proj.bias', 'model.layers.13.self_attn.q_proj.qzeros', 'model.layers.26.mlp.down_proj.qzeros', 'model.layers.24.mlp.gate_proj.qzeros', 'model.layers.15.self_attn.v_proj.scales', 'model.layers.22.mlp.gate_proj.bias', 'model.layers.18.self_attn.v_proj.qweight', 'model.layers.5.self_attn.v_proj.scales', 'model.layers.18.self_attn.o_proj.scales', 'model.layers.9.self_attn.v_proj.qzeros', 'model.layers.23.mlp.down_proj.bias', 'model.layers.23.self_attn.v_proj.qzeros', 'model.layers.25.self_attn.v_proj.scales', 'model.layers.3.mlp.gate_proj.g_idx', 'model.layers.23.self_attn.q_proj.bias', 'model.layers.22.mlp.gate_proj.qweight', 'model.layers.29.mlp.down_proj.scales', 'model.layers.27.self_attn.o_proj.bias', 'model.layers.23.mlp.up_proj.qweight', 'model.layers.7.mlp.gate_proj.qweight', 'model.layers.22.self_attn.q_proj.qzeros', 'model.layers.25.mlp.down_proj.bias', 'model.layers.29.mlp.up_proj.bias', 'model.layers.11.self_attn.o_proj.qzeros', 'model.layers.5.mlp.down_proj.scales', 'model.layers.5.self_attn.k_proj.scales', 'model.layers.3.mlp.down_proj.g_idx', 'model.layers.12.self_attn.k_proj.qzeros', 'model.layers.31.self_attn.q_proj.qzeros', 'model.layers.24.self_attn.q_proj.bias', 'model.layers.24.mlp.down_proj.qzeros', 'model.layers.21.self_attn.o_proj.bias', 'model.layers.27.mlp.down_proj.qzeros', 'model.layers.31.self_attn.k_proj.qweight', 'model.layers.12.self_attn.v_proj.qweight', 'model.layers.23.self_attn.o_proj.scales', 'model.layers.16.mlp.down_proj.bias', 'model.layers.10.self_attn.o_proj.scales', 'model.layers.4.self_attn.q_proj.qweight', 'model.layers.19.self_attn.k_proj.bias', 'model.layers.31.self_attn.o_proj.bias', 'model.layers.5.self_attn.q_proj.g_idx', 'model.layers.0.mlp.down_proj.g_idx', 'model.layers.31.mlp.up_proj.scales', 'model.layers.9.self_attn.v_proj.g_idx', 'model.layers.6.mlp.gate_proj.qweight', 'model.layers.27.mlp.up_proj.qzeros', 'model.layers.27.self_attn.o_proj.qzeros', 'model.layers.2.self_attn.k_proj.bias', 'model.layers.29.self_attn.o_proj.qzeros', 'model.layers.20.self_attn.o_proj.scales', 'model.layers.29.self_attn.k_proj.scales', 'model.layers.22.mlp.down_proj.scales', 'model.layers.31.self_attn.v_proj.scales', 'model.layers.25.mlp.gate_proj.qzeros', 'model.layers.12.self_attn.k_proj.scales', 'model.layers.14.mlp.down_proj.g_idx', 'model.layers.6.mlp.down_proj.qweight', 'model.layers.11.mlp.gate_proj.scales', 'model.layers.28.mlp.down_proj.qzeros', 'model.layers.1.mlp.gate_proj.qzeros', 'model.layers.26.self_attn.k_proj.qweight', 'model.layers.18.mlp.down_proj.qweight', 'model.layers.13.self_attn.q_proj.g_idx', 'model.layers.31.self_attn.o_proj.qweight', 'model.layers.16.self_attn.q_proj.bias', 'model.layers.7.mlp.down_proj.qzeros', 'model.layers.8.mlp.up_proj.scales', 'model.layers.21.mlp.gate_proj.scales', 'model.layers.31.mlp.gate_proj.qzeros', 'model.layers.3.self_attn.q_proj.qzeros', 'model.layers.14.mlp.gate_proj.qweight', 'model.layers.19.self_attn.k_proj.g_idx', 'model.layers.10.mlp.gate_proj.bias', 'model.layers.10.self_attn.o_proj.g_idx', 'model.layers.30.self_attn.v_proj.scales', 'model.layers.30.self_attn.q_proj.g_idx', 'model.layers.15.mlp.down_proj.qweight', 'model.layers.3.mlp.gate_proj.bias', 'model.layers.0.self_attn.k_proj.qzeros', 'model.layers.0.self_attn.v_proj.qzeros', 'model.layers.15.self_attn.k_proj.qweight', 'model.layers.6.mlp.up_proj.scales', 'model.layers.1.self_attn.o_proj.g_idx', 'model.layers.14.mlp.up_proj.g_idx', 'model.layers.5.self_attn.q_proj.qzeros', 'model.layers.21.self_attn.k_proj.scales', 'model.layers.17.self_attn.q_proj.qzeros', 'model.layers.29.self_attn.q_proj.qweight', 'model.layers.16.mlp.down_proj.scales', 'model.layers.4.mlp.gate_proj.bias', 'model.layers.21.self_attn.v_proj.qweight', 'model.layers.24.mlp.up_proj.qweight', 'model.layers.28.self_attn.o_proj.qweight', 'model.layers.8.mlp.gate_proj.scales', 'model.layers.22.mlp.down_proj.g_idx', 'model.layers.6.mlp.down_proj.g_idx', 'model.layers.1.mlp.up_proj.bias', 'model.layers.23.mlp.gate_proj.bias', 'model.layers.15.self_attn.k_proj.qzeros', 'model.layers.14.mlp.up_proj.bias', 'model.layers.1.self_attn.v_proj.g_idx', 'model.layers.25.mlp.down_proj.qweight', 'model.layers.16.mlp.gate_proj.scales', 'model.layers.20.self_attn.o_proj.qweight', 'model.layers.19.self_attn.q_proj.g_idx', 'model.layers.17.mlp.gate_proj.qzeros', 'model.layers.24.self_attn.o_proj.bias', 'model.layers.22.self_attn.o_proj.bias', 'model.layers.28.mlp.gate_proj.g_idx', 'model.layers.28.mlp.down_proj.g_idx', 'model.layers.13.mlp.gate_proj.qzeros', 'model.layers.18.mlp.gate_proj.scales', 'model.layers.5.mlp.up_proj.bias', 'model.layers.20.mlp.gate_proj.bias', 'model.layers.30.self_attn.o_proj.qweight', 'model.layers.7.self_attn.k_proj.qweight', 'model.layers.15.mlp.gate_proj.bias', 'model.layers.19.self_attn.v_proj.qweight', 'model.layers.28.mlp.gate_proj.qweight', 'model.layers.16.mlp.up_proj.qweight', 'model.layers.4.self_attn.v_proj.qweight', 'model.layers.0.mlp.up_proj.g_idx', 'model.layers.6.mlp.up_proj.g_idx', 'model.layers.28.self_attn.o_proj.scales', 'model.layers.3.self_attn.k_proj.scales', 'model.layers.5.mlp.up_proj.scales', 'model.layers.14.self_attn.o_proj.g_idx', 'model.layers.21.self_attn.v_proj.scales', 'model.layers.19.mlp.up_proj.qzeros', 'model.layers.12.self_attn.k_proj.qweight', 'model.layers.6.mlp.up_proj.qweight', 'model.layers.11.self_attn.v_proj.qzeros', 'model.layers.12.self_attn.v_proj.qzeros', 'model.layers.11.mlp.down_proj.qweight', 'model.layers.16.mlp.up_proj.bias', 'model.layers.13.self_attn.v_proj.qweight', 'model.layers.1.self_attn.q_proj.qzeros', 'model.layers.12.self_attn.q_proj.scales', 'model.layers.12.mlp.gate_proj.qzeros', 'model.layers.14.self_attn.q_proj.g_idx', 'model.layers.23.self_attn.o_proj.qweight', 'model.layers.13.self_attn.q_proj.bias', 'model.layers.19.mlp.up_proj.qweight', 'model.layers.30.mlp.gate_proj.g_idx', 'model.layers.9.mlp.up_proj.qzeros', 'model.layers.24.mlp.up_proj.bias', 'model.layers.22.self_attn.v_proj.qweight', 'model.layers.2.self_attn.k_proj.scales', 'model.layers.11.self_attn.o_proj.scales', 'model.layers.6.mlp.gate_proj.qzeros', 'model.layers.25.mlp.up_proj.qweight', 'model.layers.11.self_attn.q_proj.qweight', 'model.layers.24.self_attn.q_proj.qzeros', 'model.layers.21.mlp.down_proj.bias', 'model.layers.19.mlp.up_proj.g_idx', 'model.layers.17.self_attn.q_proj.scales', 'model.layers.14.self_attn.v_proj.scales', 'model.layers.16.self_attn.q_proj.qzeros', 'model.layers.17.mlp.up_proj.scales', 'model.layers.2.mlp.gate_proj.qweight', 'model.layers.22.self_attn.v_proj.qzeros', 'model.layers.8.self_attn.k_proj.g_idx', 'model.layers.20.mlp.up_proj.qzeros', 'model.layers.22.mlp.up_proj.bias', 'model.layers.21.mlp.down_proj.qzeros', 'model.layers.26.mlp.down_proj.bias', 'model.layers.27.self_attn.q_proj.scales', 'model.layers.3.self_attn.v_proj.qweight', 'model.layers.12.self_attn.q_proj.qweight', 'model.layers.30.self_attn.o_proj.scales', 'model.layers.20.mlp.gate_proj.qweight', 'model.layers.16.self_attn.v_proj.bias', 'model.layers.0.self_attn.o_proj.bias', 'model.layers.20.self_attn.v_proj.scales', 'model.layers.27.self_attn.k_proj.bias', 'model.layers.1.self_attn.k_proj.bias', 'model.layers.14.self_attn.q_proj.scales', 'model.layers.0.mlp.gate_proj.bias', 'model.layers.26.self_attn.v_proj.g_idx', 'model.layers.17.self_attn.o_proj.scales', 'model.layers.0.self_attn.q_proj.qweight', 'model.layers.5.self_attn.o_proj.bias', 'model.layers.2.self_attn.k_proj.qweight', 'model.layers.4.self_attn.q_proj.g_idx', 'model.layers.31.self_attn.q_proj.scales', 'model.layers.3.self_attn.v_proj.g_idx', 'model.layers.2.self_attn.v_proj.qzeros', 'model.layers.27.mlp.gate_proj.qzeros', 'model.layers.29.self_attn.q_proj.scales', 'model.layers.30.self_attn.o_proj.qzeros', 'model.layers.19.mlp.gate_proj.scales', 'model.layers.16.mlp.down_proj.qweight', 'model.layers.1.self_attn.k_proj.scales', 'model.layers.30.mlp.up_proj.bias', 'model.layers.4.self_attn.k_proj.qzeros', 'model.layers.26.self_attn.o_proj.g_idx', 'model.layers.17.self_attn.v_proj.g_idx', 'model.layers.26.self_attn.v_proj.qweight', 'model.layers.7.self_attn.v_proj.g_idx', 'model.layers.31.self_attn.v_proj.bias', 'model.layers.19.mlp.down_proj.scales', 'model.layers.24.self_attn.q_proj.qweight', 'model.layers.12.mlp.down_proj.qzeros', 'model.layers.20.mlp.up_proj.bias', 'model.layers.17.mlp.down_proj.bias', 'model.layers.17.self_attn.v_proj.qweight', 'model.layers.29.self_attn.o_proj.scales', 'model.layers.11.mlp.down_proj.bias', 'model.layers.14.self_attn.v_proj.qzeros', 'model.layers.22.self_attn.q_proj.qweight', 'model.layers.10.self_attn.o_proj.bias', 'model.layers.10.self_attn.k_proj.g_idx', 'model.layers.16.self_attn.k_proj.g_idx', 'model.layers.0.self_attn.q_proj.qzeros', 'model.layers.17.self_attn.k_proj.g_idx', 'model.layers.31.self_attn.v_proj.qzeros', 'model.layers.5.self_attn.o_proj.g_idx', 'model.layers.3.self_attn.k_proj.qzeros', 'model.layers.0.self_attn.v_proj.scales', 'model.layers.18.self_attn.o_proj.g_idx', 'model.layers.18.self_attn.k_proj.bias', 'model.layers.17.mlp.gate_proj.scales', 'model.layers.14.self_attn.q_proj.bias', 'model.layers.19.self_attn.k_proj.scales', 'model.layers.7.self_attn.o_proj.g_idx', 'model.layers.31.self_attn.k_proj.g_idx', 'model.layers.5.mlp.gate_proj.g_idx', 'model.layers.17.self_attn.o_proj.bias', 'model.layers.18.self_attn.v_proj.scales', 'model.layers.28.self_attn.q_proj.g_idx', 'model.layers.18.self_attn.q_proj.scales', 'model.layers.29.self_attn.v_proj.scales', 'model.layers.29.mlp.gate_proj.scales', 'model.layers.10.mlp.down_proj.qweight', 'model.layers.18.mlp.gate_proj.bias', 'model.layers.27.self_attn.o_proj.qweight', 'model.layers.18.self_attn.o_proj.qweight', 'model.layers.4.self_attn.v_proj.scales', 'model.layers.8.self_attn.o_proj.g_idx', 'model.layers.25.self_attn.o_proj.g_idx', 'model.layers.21.self_attn.o_proj.scales']

  • This IS expected if you are initializing MistralForCausalLM from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).
  • This IS NOT expected if you are initializing MistralForCausalLM from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).
    Some weights of MistralForCausalLM were not initialized from the model checkpoint at TheBloke/Mistral-7B-OpenOrca-GPTQ and are newly initialized: ['model.layers.16.self_attn.v_proj.weight', 'model.layers.10.self_attn.o_proj.weight', 'model.layers.29.mlp.up_proj.weight', 'model.layers.2.mlp.down_proj.weight', 'model.layers.6.self_attn.k_proj.weight', 'model.layers.2.self_attn.v_proj.weight', 'model.layers.30.self_attn.q_proj.weight', 'model.layers.20.mlp.down_proj.weight', 'model.layers.31.self_attn.q_proj.weight', 'model.layers.0.self_attn.o_proj.weight', 'model.layers.12.self_attn.v_proj.weight', 'model.layers.3.mlp.gate_proj.weight', 'model.layers.12.self_attn.k_proj.weight', 'model.layers.20.self_attn.o_proj.weight', 'model.layers.20.self_attn.q_proj.weight', 'model.layers.7.mlp.down_proj.weight', 'model.layers.29.self_attn.q_proj.weight', 'model.layers.28.mlp.gate_proj.weight', 'model.layers.23.mlp.gate_proj.weight', 'model.layers.19.mlp.gate_proj.weight', 'model.layers.24.self_attn.k_proj.weight', 'model.layers.4.mlp.down_proj.weight', 'model.layers.20.mlp.up_proj.weight', 'model.layers.11.self_attn.q_proj.weight', 'model.layers.21.mlp.down_proj.weight', 'model.layers.30.self_attn.v_proj.weight', 'model.layers.30.self_attn.o_proj.weight', 'model.layers.8.self_attn.v_proj.weight', 'model.layers.16.mlp.up_proj.weight', 'model.layers.5.self_attn.q_proj.weight', 'model.layers.1.mlp.gate_proj.weight', 'model.layers.24.self_attn.q_proj.weight', 'model.layers.28.self_attn.v_proj.weight', 'model.layers.11.self_attn.v_proj.weight', 'model.layers.7.mlp.up_proj.weight', 'model.layers.31.self_attn.o_proj.weight', 'model.layers.3.mlp.up_proj.weight', 'model.layers.1.self_attn.v_proj.weight', 'model.layers.0.self_attn.v_proj.weight', 'model.layers.13.self_attn.q_proj.weight', 'model.layers.16.self_attn.k_proj.weight', 'model.layers.18.self_attn.o_proj.weight', 'model.layers.19.self_attn.k_proj.weight', 'model.layers.13.self_attn.o_proj.weight', 'model.layers.4.self_attn.o_proj.weight', 'model.layers.3.self_attn.v_proj.weight', 'model.layers.22.self_attn.v_proj.weight', 'model.layers.17.self_attn.o_proj.weight', 'model.layers.6.self_attn.v_proj.weight', 'model.layers.4.self_attn.k_proj.weight', 'model.layers.17.self_attn.v_proj.weight', 'model.layers.20.self_attn.k_proj.weight', 'model.layers.27.mlp.down_proj.weight', 'model.layers.8.mlp.gate_proj.weight', 'model.layers.4.mlp.gate_proj.weight', 'model.layers.23.self_attn.k_proj.weight', 'model.layers.16.self_attn.q_proj.weight', 'model.layers.9.mlp.up_proj.weight', 'model.layers.22.mlp.up_proj.weight', 'model.layers.2.self_attn.k_proj.weight', 'model.layers.10.self_attn.k_proj.weight', 'model.layers.5.mlp.gate_proj.weight', 'model.layers.9.self_attn.q_proj.weight', 'model.layers.30.mlp.up_proj.weight', 'model.layers.8.mlp.up_proj.weight', 'model.layers.24.self_attn.v_proj.weight', 'model.layers.10.mlp.gate_proj.weight', 'model.layers.9.self_attn.k_proj.weight', 'model.layers.31.mlp.gate_proj.weight', 'model.layers.29.self_attn.o_proj.weight', 'model.layers.24.mlp.gate_proj.weight', 'model.layers.9.mlp.gate_proj.weight', 'model.layers.27.mlp.gate_proj.weight', 'model.layers.15.self_attn.v_proj.weight', 'model.layers.15.self_attn.o_proj.weight', 'model.layers.25.self_attn.o_proj.weight', 'model.layers.17.mlp.down_proj.weight', 'model.layers.26.self_attn.q_proj.weight', 'model.layers.27.self_attn.k_proj.weight', 'model.layers.28.mlp.up_proj.weight', 'model.layers.14.mlp.gate_proj.weight', 'model.layers.5.self_attn.o_proj.weight', 'model.layers.21.mlp.gate_proj.weight', 'model.layers.14.self_attn.k_proj.weight', 'model.layers.21.self_attn.k_proj.weight', 'model.layers.22.mlp.gate_proj.weight', 'model.layers.7.self_attn.q_proj.weight', 'model.layers.11.self_attn.k_proj.weight', 'model.layers.1.mlp.down_proj.weight', 'model.layers.15.self_attn.k_proj.weight', 'model.layers.16.self_attn.o_proj.weight', 'model.layers.23.mlp.up_proj.weight', 'model.layers.14.self_attn.q_proj.weight', 'model.layers.26.mlp.down_proj.weight', 'model.layers.28.mlp.down_proj.weight', 'model.layers.2.mlp.up_proj.weight', 'model.layers.12.mlp.down_proj.weight', 'model.layers.0.mlp.up_proj.weight', 'model.layers.11.mlp.down_proj.weight', 'model.layers.22.self_attn.o_proj.weight', 'model.layers.31.self_attn.v_proj.weight', 'model.layers.28.self_attn.q_proj.weight', 'model.layers.25.mlp.up_proj.weight', 'model.layers.26.self_attn.o_proj.weight', 'model.layers.14.mlp.down_proj.weight', 'model.layers.3.self_attn.k_proj.weight', 'model.layers.5.mlp.down_proj.weight', 'model.layers.23.self_attn.v_proj.weight', 'model.layers.25.mlp.down_proj.weight', 'model.layers.30.mlp.gate_proj.weight', 'model.layers.9.self_attn.v_proj.weight', 'model.layers.10.self_attn.q_proj.weight', 'model.layers.0.mlp.gate_proj.weight', 'model.layers.1.self_attn.k_proj.weight', 'model.layers.8.self_attn.k_proj.weight', 'model.layers.5.self_attn.v_proj.weight', 'model.layers.6.mlp.gate_proj.weight', 'model.layers.17.mlp.gate_proj.weight', 'model.layers.23.mlp.down_proj.weight', 'model.layers.4.self_attn.q_proj.weight', 'model.layers.9.mlp.down_proj.weight', 'model.layers.11.self_attn.o_proj.weight', 'model.layers.20.mlp.gate_proj.weight', 'model.layers.15.self_attn.q_proj.weight', 'model.layers.13.self_attn.v_proj.weight', 'model.layers.12.mlp.up_proj.weight', 'model.layers.24.self_attn.o_proj.weight', 'model.layers.16.mlp.gate_proj.weight', 'model.layers.17.self_attn.q_proj.weight', 'model.layers.25.self_attn.v_proj.weight', 'model.layers.13.mlp.down_proj.weight', 'model.layers.18.self_attn.k_proj.weight', 'model.layers.23.self_attn.q_proj.weight', 'model.layers.7.self_attn.k_proj.weight', 'model.layers.17.mlp.up_proj.weight', 'model.layers.0.self_attn.k_proj.weight', 'model.layers.0.mlp.down_proj.weight', 'model.layers.25.self_attn.q_proj.weight', 'model.layers.26.self_attn.v_proj.weight', 'model.layers.31.self_attn.k_proj.weight', 'model.layers.26.mlp.up_proj.weight', 'model.layers.14.self_attn.v_proj.weight', 'model.layers.12.self_attn.o_proj.weight', 'model.layers.24.mlp.up_proj.weight', 'model.layers.7.self_attn.v_proj.weight', 'model.layers.29.mlp.down_proj.weight', 'model.layers.27.self_attn.o_proj.weight', 'model.layers.7.mlp.gate_proj.weight', 'model.layers.19.self_attn.q_proj.weight', 'model.layers.10.self_attn.v_proj.weight', 'model.layers.6.mlp.up_proj.weight', 'model.layers.19.self_attn.o_proj.weight', 'model.layers.25.mlp.gate_proj.weight', 'model.layers.3.self_attn.q_proj.weight', 'model.layers.21.mlp.up_proj.weight', 'model.layers.10.mlp.down_proj.weight', 'model.layers.29.self_attn.k_proj.weight', 'model.layers.13.self_attn.k_proj.weight', 'model.layers.8.self_attn.q_proj.weight', 'model.layers.13.mlp.up_proj.weight', 'model.layers.18.mlp.down_proj.weight', 'model.layers.19.self_attn.v_proj.weight', 'model.layers.24.mlp.down_proj.weight', 'model.layers.28.self_attn.k_proj.weight', 'model.layers.4.self_attn.v_proj.weight', 'model.layers.2.self_attn.q_proj.weight', 'model.layers.8.mlp.down_proj.weight', 'model.layers.30.self_attn.k_proj.weight', 'model.layers.22.mlp.down_proj.weight', 'model.layers.1.self_attn.o_proj.weight', 'model.layers.21.self_attn.o_proj.weight', 'model.layers.31.mlp.down_proj.weight', 'model.layers.14.self_attn.o_proj.weight', 'model.layers.5.self_attn.k_proj.weight', 'model.layers.26.self_attn.k_proj.weight', 'model.layers.27.mlp.up_proj.weight', 'model.layers.18.mlp.gate_proj.weight', 'model.layers.11.mlp.up_proj.weight', 'model.layers.4.mlp.up_proj.weight', 'model.layers.8.self_attn.o_proj.weight', 'model.layers.22.self_attn.q_proj.weight', 'model.layers.30.mlp.down_proj.weight', 'model.layers.3.mlp.down_proj.weight', 'model.layers.12.self_attn.q_proj.weight', 'model.layers.12.mlp.gate_proj.weight', 'model.layers.26.mlp.gate_proj.weight', 'model.layers.7.self_attn.o_proj.weight', 'model.layers.11.mlp.gate_proj.weight', 'model.layers.28.self_attn.o_proj.weight', 'model.layers.19.mlp.down_proj.weight', 'model.layers.18.mlp.up_proj.weight', 'model.layers.15.mlp.up_proj.weight', 'model.layers.1.self_attn.q_proj.weight', 'model.layers.14.mlp.up_proj.weight', 'model.layers.15.mlp.gate_proj.weight', 'model.layers.27.self_attn.v_proj.weight', 'model.layers.21.self_attn.v_proj.weight', 'model.layers.6.self_attn.o_proj.weight', 'model.layers.31.mlp.up_proj.weight', 'model.layers.23.self_attn.o_proj.weight', 'model.layers.17.self_attn.k_proj.weight', 'model.layers.19.mlp.up_proj.weight', 'model.layers.5.mlp.up_proj.weight', 'model.layers.21.self_attn.q_proj.weight', 'model.layers.27.self_attn.q_proj.weight', 'model.layers.25.self_attn.k_proj.weight', 'model.layers.6.self_attn.q_proj.weight', 'model.layers.18.self_attn.v_proj.weight', 'model.layers.0.self_attn.q_proj.weight', 'model.layers.29.self_attn.v_proj.weight', 'model.layers.2.mlp.gate_proj.weight', 'model.layers.3.self_attn.o_proj.weight', 'model.layers.22.self_attn.k_proj.weight', 'model.layers.13.mlp.gate_proj.weight', 'model.layers.9.self_attn.o_proj.weight', 'model.layers.15.mlp.down_proj.weight', 'model.layers.2.self_attn.o_proj.weight', 'model.layers.18.self_attn.q_proj.weight', 'model.layers.29.mlp.gate_proj.weight', 'model.layers.1.mlp.up_proj.weight', 'model.layers.6.mlp.down_proj.weight', 'model.layers.20.self_attn.v_proj.weight', 'model.layers.16.mlp.down_proj.weight', 'model.layers.10.mlp.up_proj.weight']
    You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
    Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
    The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's attention_mask to obtain reliable results.
    Setting pad_token_id to eos_token_id:32000 for open-end generation.
DesmondChoy

I'm also seeing this error when I use the model with AutoModelForCausalLM.from_pretrained().

TheBloke
 Owner

sorry I think this is an issue with the config, checking now

TheBloke
 Owner

Please try again, that issue should now be fixed

DesmondChoy

Thank you @TheBloke , works without errors now!

Sign up or log in to comment