Upload model Llama-2-7b-hf-v4-k4096-0-woft

config.json

@@ -39,7 +39,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.0.mlp.gate_proj": {
@@ -63,7 +63,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.0.mlp.up_proj": {
@@ -87,7 +87,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.0.self_attn.k_proj": {
@@ -111,7 +111,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.0.self_attn.o_proj": {
@@ -135,7 +135,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.0.self_attn.q_proj": {
@@ -159,7 +159,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.0.self_attn.v_proj": {
@@ -183,7 +183,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.1.mlp.down_proj": {
@@ -207,7 +207,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.1.mlp.gate_proj": {
@@ -231,7 +231,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.1.mlp.up_proj": {
@@ -255,7 +255,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.1.self_attn.k_proj": {
@@ -279,7 +279,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.1.self_attn.o_proj": {
@@ -303,7 +303,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.1.self_attn.q_proj": {
@@ -327,7 +327,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.1.self_attn.v_proj": {
@@ -351,7 +351,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.10.mlp.down_proj": {
@@ -375,7 +375,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.10.mlp.gate_proj": {
@@ -399,7 +399,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.10.mlp.up_proj": {
@@ -423,7 +423,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.10.self_attn.k_proj": {
@@ -447,7 +447,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.10.self_attn.o_proj": {
@@ -471,7 +471,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.10.self_attn.q_proj": {
@@ -495,7 +495,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.10.self_attn.v_proj": {
@@ -519,7 +519,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.11.mlp.down_proj": {
@@ -543,7 +543,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.11.mlp.gate_proj": {
@@ -567,7 +567,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.11.mlp.up_proj": {
@@ -591,7 +591,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.11.self_attn.k_proj": {
@@ -615,7 +615,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.11.self_attn.o_proj": {
@@ -639,7 +639,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.11.self_attn.q_proj": {
@@ -663,7 +663,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.11.self_attn.v_proj": {
@@ -687,7 +687,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.12.mlp.down_proj": {
@@ -711,7 +711,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.12.mlp.gate_proj": {
@@ -735,7 +735,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.12.mlp.up_proj": {
@@ -759,7 +759,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.12.self_attn.k_proj": {
@@ -783,7 +783,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.12.self_attn.o_proj": {
@@ -807,7 +807,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.12.self_attn.q_proj": {
@@ -831,7 +831,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.12.self_attn.v_proj": {
@@ -855,7 +855,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.13.mlp.down_proj": {
@@ -879,7 +879,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.13.mlp.gate_proj": {
@@ -903,7 +903,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.13.mlp.up_proj": {
@@ -927,7 +927,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.13.self_attn.k_proj": {
@@ -951,7 +951,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.13.self_attn.o_proj": {
@@ -975,7 +975,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.13.self_attn.q_proj": {
@@ -999,7 +999,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.13.self_attn.v_proj": {
@@ -1023,7 +1023,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.14.mlp.down_proj": {
@@ -1047,7 +1047,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.14.mlp.gate_proj": {
@@ -1071,7 +1071,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.14.mlp.up_proj": {
@@ -1095,7 +1095,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.14.self_attn.k_proj": {
@@ -1119,7 +1119,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.14.self_attn.o_proj": {
@@ -1143,7 +1143,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.14.self_attn.q_proj": {
@@ -1167,7 +1167,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.14.self_attn.v_proj": {
@@ -1191,7 +1191,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.15.mlp.down_proj": {
@@ -1215,7 +1215,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.15.mlp.gate_proj": {
@@ -1239,7 +1239,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.15.mlp.up_proj": {
@@ -1263,7 +1263,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.15.self_attn.k_proj": {
@@ -1287,7 +1287,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.15.self_attn.o_proj": {
@@ -1311,7 +1311,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.15.self_attn.q_proj": {
@@ -1335,7 +1335,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.15.self_attn.v_proj": {
@@ -1359,7 +1359,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.16.mlp.down_proj": {
@@ -1383,7 +1383,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.16.mlp.gate_proj": {
@@ -1407,7 +1407,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.16.mlp.up_proj": {
@@ -1431,7 +1431,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.16.self_attn.k_proj": {
@@ -1455,7 +1455,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.16.self_attn.o_proj": {
@@ -1479,7 +1479,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.16.self_attn.q_proj": {
@@ -1503,7 +1503,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.16.self_attn.v_proj": {
@@ -1527,7 +1527,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.17.mlp.down_proj": {
@@ -1551,7 +1551,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.17.mlp.gate_proj": {
@@ -1575,7 +1575,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.17.mlp.up_proj": {
@@ -1599,7 +1599,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.17.self_attn.k_proj": {
@@ -1623,7 +1623,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.17.self_attn.o_proj": {
@@ -1647,7 +1647,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.17.self_attn.q_proj": {
@@ -1671,7 +1671,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.17.self_attn.v_proj": {
@@ -1695,7 +1695,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.18.mlp.down_proj": {
@@ -1719,7 +1719,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.18.mlp.gate_proj": {
@@ -1743,7 +1743,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.18.mlp.up_proj": {
@@ -1767,7 +1767,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.18.self_attn.k_proj": {
@@ -1791,7 +1791,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.18.self_attn.o_proj": {
@@ -1815,7 +1815,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.18.self_attn.q_proj": {
@@ -1839,7 +1839,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.18.self_attn.v_proj": {
@@ -1863,7 +1863,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.19.mlp.down_proj": {
@@ -1887,7 +1887,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.19.mlp.gate_proj": {
@@ -1911,7 +1911,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.19.mlp.up_proj": {
@@ -1935,7 +1935,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.19.self_attn.k_proj": {
@@ -1959,7 +1959,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.19.self_attn.o_proj": {
@@ -1983,7 +1983,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.19.self_attn.q_proj": {
@@ -2007,7 +2007,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.19.self_attn.v_proj": {
@@ -2031,7 +2031,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.2.mlp.down_proj": {
@@ -2055,7 +2055,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.2.mlp.gate_proj": {
@@ -2079,7 +2079,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.2.mlp.up_proj": {
@@ -2103,7 +2103,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.2.self_attn.k_proj": {
@@ -2127,7 +2127,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.2.self_attn.o_proj": {
@@ -2151,7 +2151,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.2.self_attn.q_proj": {
@@ -2175,7 +2175,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.2.self_attn.v_proj": {
@@ -2199,7 +2199,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.20.mlp.down_proj": {
@@ -2223,7 +2223,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.20.mlp.gate_proj": {
@@ -2247,7 +2247,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.20.mlp.up_proj": {
@@ -2271,7 +2271,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.20.self_attn.k_proj": {
@@ -2295,7 +2295,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.20.self_attn.o_proj": {
@@ -2319,7 +2319,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.20.self_attn.q_proj": {
@@ -2343,7 +2343,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.20.self_attn.v_proj": {
@@ -2367,7 +2367,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.21.mlp.down_proj": {
@@ -2391,7 +2391,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.21.mlp.gate_proj": {
@@ -2415,7 +2415,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.21.mlp.up_proj": {
@@ -2439,7 +2439,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.21.self_attn.k_proj": {
@@ -2463,7 +2463,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.21.self_attn.o_proj": {
@@ -2487,7 +2487,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.21.self_attn.q_proj": {
@@ -2511,7 +2511,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.21.self_attn.v_proj": {
@@ -2535,7 +2535,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.22.mlp.down_proj": {
@@ -2559,7 +2559,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.22.mlp.gate_proj": {
@@ -2583,7 +2583,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.22.mlp.up_proj": {
@@ -2607,7 +2607,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.22.self_attn.k_proj": {
@@ -2631,7 +2631,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.22.self_attn.o_proj": {
@@ -2655,7 +2655,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.22.self_attn.q_proj": {
@@ -2679,7 +2679,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.22.self_attn.v_proj": {
@@ -2703,7 +2703,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.23.mlp.down_proj": {
@@ -2727,7 +2727,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.23.mlp.gate_proj": {
@@ -2751,7 +2751,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.23.mlp.up_proj": {
@@ -2775,7 +2775,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.23.self_attn.k_proj": {
@@ -2799,7 +2799,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.23.self_attn.o_proj": {
@@ -2823,7 +2823,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.23.self_attn.q_proj": {
@@ -2847,7 +2847,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.23.self_attn.v_proj": {
@@ -2871,7 +2871,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.24.mlp.down_proj": {
@@ -2895,7 +2895,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.24.mlp.gate_proj": {
@@ -2919,7 +2919,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.24.mlp.up_proj": {
@@ -2943,7 +2943,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.24.self_attn.k_proj": {
@@ -2967,7 +2967,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.24.self_attn.o_proj": {
@@ -2991,7 +2991,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.24.self_attn.q_proj": {
@@ -3015,7 +3015,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.24.self_attn.v_proj": {
@@ -3039,7 +3039,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.25.mlp.down_proj": {
@@ -3063,7 +3063,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.25.mlp.gate_proj": {
@@ -3087,7 +3087,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.25.mlp.up_proj": {
@@ -3111,7 +3111,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.25.self_attn.k_proj": {
@@ -3135,7 +3135,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.25.self_attn.o_proj": {
@@ -3159,7 +3159,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.25.self_attn.q_proj": {
@@ -3183,7 +3183,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.25.self_attn.v_proj": {
@@ -3207,7 +3207,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.26.mlp.down_proj": {
@@ -3231,7 +3231,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.26.mlp.gate_proj": {
@@ -3255,7 +3255,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.26.mlp.up_proj": {
@@ -3279,7 +3279,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.26.self_attn.k_proj": {
@@ -3303,7 +3303,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.26.self_attn.o_proj": {
@@ -3327,7 +3327,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.26.self_attn.q_proj": {
@@ -3351,7 +3351,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.26.self_attn.v_proj": {
@@ -3375,7 +3375,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.27.mlp.down_proj": {
@@ -3399,7 +3399,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.27.mlp.gate_proj": {
@@ -3423,7 +3423,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.27.mlp.up_proj": {
@@ -3447,7 +3447,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.27.self_attn.k_proj": {
@@ -3471,7 +3471,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.27.self_attn.o_proj": {
@@ -3495,7 +3495,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.27.self_attn.q_proj": {
@@ -3519,7 +3519,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.27.self_attn.v_proj": {
@@ -3543,7 +3543,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.28.mlp.down_proj": {
@@ -3567,7 +3567,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.28.mlp.gate_proj": {
@@ -3591,7 +3591,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.28.mlp.up_proj": {
@@ -3615,7 +3615,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.28.self_attn.k_proj": {
@@ -3639,7 +3639,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.28.self_attn.o_proj": {
@@ -3663,7 +3663,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.28.self_attn.q_proj": {
@@ -3687,7 +3687,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.28.self_attn.v_proj": {
@@ -3711,7 +3711,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.29.mlp.down_proj": {
@@ -3735,7 +3735,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.29.mlp.gate_proj": {
@@ -3759,7 +3759,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.29.mlp.up_proj": {
@@ -3783,7 +3783,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.29.self_attn.k_proj": {
@@ -3807,7 +3807,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.29.self_attn.o_proj": {
@@ -3831,7 +3831,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.29.self_attn.q_proj": {
@@ -3855,7 +3855,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.29.self_attn.v_proj": {
@@ -3879,7 +3879,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.3.mlp.down_proj": {
@@ -3903,7 +3903,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.3.mlp.gate_proj": {
@@ -3927,7 +3927,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.3.mlp.up_proj": {
@@ -3951,7 +3951,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.3.self_attn.k_proj": {
@@ -3975,7 +3975,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.3.self_attn.o_proj": {
@@ -3999,7 +3999,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.3.self_attn.q_proj": {
@@ -4023,7 +4023,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.3.self_attn.v_proj": {
@@ -4047,7 +4047,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.30.mlp.down_proj": {
@@ -4071,7 +4071,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.30.mlp.gate_proj": {
@@ -4095,7 +4095,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.30.mlp.up_proj": {
@@ -4119,7 +4119,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.30.self_attn.k_proj": {
@@ -4143,7 +4143,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.30.self_attn.o_proj": {
@@ -4167,7 +4167,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.30.self_attn.q_proj": {
@@ -4191,7 +4191,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.30.self_attn.v_proj": {
@@ -4215,7 +4215,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.31.mlp.down_proj": {
@@ -4239,7 +4239,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.31.mlp.gate_proj": {
@@ -4263,7 +4263,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.31.mlp.up_proj": {
@@ -4287,7 +4287,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.31.self_attn.k_proj": {
@@ -4311,7 +4311,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.31.self_attn.o_proj": {
@@ -4335,7 +4335,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.31.self_attn.q_proj": {
@@ -4359,7 +4359,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.31.self_attn.v_proj": {
@@ -4383,7 +4383,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.4.mlp.down_proj": {
@@ -4407,7 +4407,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.4.mlp.gate_proj": {
@@ -4431,7 +4431,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.4.mlp.up_proj": {
@@ -4455,7 +4455,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.4.self_attn.k_proj": {
@@ -4479,7 +4479,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.4.self_attn.o_proj": {
@@ -4503,7 +4503,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.4.self_attn.q_proj": {
@@ -4527,7 +4527,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.4.self_attn.v_proj": {
@@ -4551,7 +4551,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.5.mlp.down_proj": {
@@ -4575,7 +4575,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.5.mlp.gate_proj": {
@@ -4599,7 +4599,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.5.mlp.up_proj": {
@@ -4623,7 +4623,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.5.self_attn.k_proj": {
@@ -4647,7 +4647,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.5.self_attn.o_proj": {
@@ -4671,7 +4671,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.5.self_attn.q_proj": {
@@ -4695,7 +4695,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.5.self_attn.v_proj": {
@@ -4719,7 +4719,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.6.mlp.down_proj": {
@@ -4743,7 +4743,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.6.mlp.gate_proj": {
@@ -4767,7 +4767,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.6.mlp.up_proj": {
@@ -4791,7 +4791,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.6.self_attn.k_proj": {
@@ -4815,7 +4815,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.6.self_attn.o_proj": {
@@ -4839,7 +4839,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.6.self_attn.q_proj": {
@@ -4863,7 +4863,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.6.self_attn.v_proj": {
@@ -4887,7 +4887,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.7.mlp.down_proj": {
@@ -4911,7 +4911,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.7.mlp.gate_proj": {
@@ -4935,7 +4935,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.7.mlp.up_proj": {
@@ -4959,7 +4959,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.7.self_attn.k_proj": {
@@ -4983,7 +4983,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.7.self_attn.o_proj": {
@@ -5007,7 +5007,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.7.self_attn.q_proj": {
@@ -5031,7 +5031,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.7.self_attn.v_proj": {
@@ -5055,7 +5055,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.8.mlp.down_proj": {
@@ -5079,7 +5079,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.8.mlp.gate_proj": {
@@ -5103,7 +5103,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.8.mlp.up_proj": {
@@ -5127,7 +5127,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.8.self_attn.k_proj": {
@@ -5151,7 +5151,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.8.self_attn.o_proj": {
@@ -5175,7 +5175,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.8.self_attn.q_proj": {
@@ -5199,7 +5199,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.8.self_attn.v_proj": {
@@ -5223,7 +5223,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.9.mlp.down_proj": {
@@ -5247,7 +5247,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.9.mlp.gate_proj": {
@@ -5271,7 +5271,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.9.mlp.up_proj": {
@@ -5295,7 +5295,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.9.self_attn.k_proj": {
@@ -5319,7 +5319,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.9.self_attn.o_proj": {
@@ -5343,7 +5343,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.9.self_attn.q_proj": {
@@ -5367,7 +5367,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     },
     "model.layers.9.self_attn.v_proj": {
@@ -5391,7 +5391,7 @@
       "outlier_size": 0,
       "vector_lens": [
         -1,
-        6
+        4
       ]
     }
   },

generation_config.json

@@ -1,5 +1,4 @@
 {
-  "attn_implementation": "flash_attention_2",
   "bos_token_id": 1,
   "cache_config": null,
   "do_sample": true,

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6a53142f5b92fed8de3272bc7a2d7ce64ec6e9348f8e095693d62e0bc0b27740
-size 2162370720
+oid sha256:edecd3fe1538efdde1a1599c3171aa7f05a5daf57710a22e2b44bcc874101ac7
+size 2967632296