English
acalatrava's picture
TinyLlama-1.1B-orca-gpt4
21bb91b verified
raw
history blame
81.6 kB
{
"metadata": {
"ParamSize": 227
},
"records": [
{
"dataPath": "params_shard_0.bin",
"format": "raw-shard",
"nbytes": 32768000,
"records": [
{
"name": "param_0",
"shape": [
32000,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 32768000,
"byteOffset": 0
}
]
},
{
"dataPath": "params_shard_1.bin",
"format": "raw-shard",
"nbytes": 31825920,
"records": [
{
"name": "param_1",
"shape": [
32000,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096000,
"byteOffset": 0
},
{
"name": "param_2",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 4096000
},
{
"name": "param_3",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 6717440
},
{
"name": "param_4",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 7045120
},
{
"name": "param_5",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 9142272
},
{
"name": "param_6",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 9404416
},
{
"name": "param_7",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 20938752
},
{
"name": "param_8",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 22380544
},
{
"name": "param_9",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 28147712
},
{
"name": "param_10",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 28868608
},
{
"name": "param_11",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 28872704
},
{
"name": "param_12",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 28876800
},
{
"name": "param_13",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 31498240
}
]
},
{
"dataPath": "params_shard_2.bin",
"format": "raw-shard",
"nbytes": 27140096,
"records": [
{
"name": "param_14",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 0
},
{
"name": "param_15",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 2097152
},
{
"name": "param_16",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 2359296
},
{
"name": "param_17",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 13893632
},
{
"name": "param_18",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 15335424
},
{
"name": "param_19",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 21102592
},
{
"name": "param_20",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 21823488
},
{
"name": "param_21",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 21827584
},
{
"name": "param_22",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 21831680
},
{
"name": "param_23",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 24453120
},
{
"name": "param_24",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 24780800
},
{
"name": "param_25",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 26877952
}
]
},
{
"dataPath": "params_shard_3.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_26",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_27",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_28",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_29",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_30",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_31",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_32",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_33",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_34",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_35",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_4.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_36",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_37",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_38",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_39",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_40",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_41",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_42",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_43",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_44",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_45",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_5.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_46",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_47",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_48",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_49",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_50",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_51",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_52",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_53",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_54",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_55",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_6.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_56",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_57",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_58",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_59",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_60",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_61",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_62",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_63",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_64",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_65",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_7.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_66",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_67",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_68",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_69",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_70",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_71",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_72",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_73",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_74",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_75",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_8.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_76",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_77",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_78",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_79",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_80",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_81",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_82",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_83",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_84",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_85",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_9.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_86",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_87",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_88",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_89",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_90",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_91",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_92",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_93",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_94",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_95",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_10.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_96",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_97",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_98",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_99",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_100",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_101",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_102",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_103",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_104",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_105",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_11.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_106",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_107",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_108",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_109",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_110",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_111",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_112",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_113",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_114",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_115",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_12.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_116",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_117",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_118",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_119",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_120",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_121",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_122",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_123",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_124",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_125",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_13.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_126",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_127",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_128",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_129",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_130",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_131",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_132",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_133",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_134",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_135",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_14.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_136",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_137",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_138",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_139",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_140",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_141",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_142",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_143",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_144",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_145",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_15.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_146",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_147",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_148",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_149",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_150",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_151",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_152",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_153",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_154",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_155",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_16.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_156",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_157",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_158",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_159",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_160",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_161",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_162",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_163",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_164",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_165",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_17.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_166",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_167",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_168",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_169",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_170",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_171",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_172",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_173",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_174",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_175",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_18.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_176",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_177",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_178",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_179",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_180",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_181",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_182",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_183",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_184",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_185",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_19.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_186",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_187",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_188",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_189",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_190",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_191",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_192",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_193",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_194",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_195",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_20.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_196",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_197",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_198",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_199",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_200",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_201",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_202",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_203",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_204",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_205",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_21.bin",
"format": "raw-shard",
"nbytes": 24780800,
"records": [
{
"name": "param_206",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_207",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_208",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_209",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_210",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_211",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_212",
"shape": [
2560,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2621440,
"byteOffset": 19472384
},
{
"name": "param_213",
"shape": [
2560,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 327680,
"byteOffset": 22093824
},
{
"name": "param_214",
"shape": [
2048,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 2097152,
"byteOffset": 22421504
},
{
"name": "param_215",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 24518656
}
]
},
{
"dataPath": "params_shard_22.bin",
"format": "raw-shard",
"nbytes": 32768000,
"records": [
{
"name": "param_223",
"shape": [
32000,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 32768000,
"byteOffset": 0
}
]
},
{
"dataPath": "params_shard_23.bin",
"format": "raw-shard",
"nbytes": 24096768,
"records": [
{
"name": "param_216",
"shape": [
11264,
256
],
"dtype": "uint32",
"format": "raw",
"nbytes": 11534336,
"byteOffset": 0
},
{
"name": "param_217",
"shape": [
11264,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 1441792,
"byteOffset": 11534336
},
{
"name": "param_218",
"shape": [
2048,
704
],
"dtype": "uint32",
"format": "raw",
"nbytes": 5767168,
"byteOffset": 12976128
},
{
"name": "param_219",
"shape": [
2048,
176
],
"dtype": "float16",
"format": "raw",
"nbytes": 720896,
"byteOffset": 18743296
},
{
"name": "param_220",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19464192
},
{
"name": "param_221",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19468288
},
{
"name": "param_222",
"shape": [
2048
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096,
"byteOffset": 19472384
},
{
"name": "param_224",
"shape": [
32000,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 4096000,
"byteOffset": 19476480
},
{
"name": "param_225",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 23572480
},
{
"name": "param_226",
"shape": [
2048,
64
],
"dtype": "float16",
"format": "raw",
"nbytes": 262144,
"byteOffset": 23834624
}
]
}
]
}