Zethearc commited on
Commit
d7002f1
1 Parent(s): e449d59

End of training

Browse files
all_results.json ADDED
@@ -0,0 +1,13 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 0.9998384230085636,
3
+ "eval_accuracy": 0.9605053856292324,
4
+ "eval_loss": 0.11349575221538544,
5
+ "eval_runtime": 151.8333,
6
+ "eval_samples_per_second": 144.915,
7
+ "eval_steps_per_second": 4.531,
8
+ "total_flos": 4.921883515023262e+18,
9
+ "train_loss": 0.25020766805354133,
10
+ "train_runtime": 3368.4805,
11
+ "train_samples_per_second": 58.787,
12
+ "train_steps_per_second": 0.459
13
+ }
eval_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 0.9998384230085636,
3
+ "eval_accuracy": 0.9605053856292324,
4
+ "eval_loss": 0.11349575221538544,
5
+ "eval_runtime": 151.8333,
6
+ "eval_samples_per_second": 144.915,
7
+ "eval_steps_per_second": 4.531
8
+ }
runs/May06_12-49-49_ca6400a0cf7a/events.out.tfevents.1715003319.ca6400a0cf7a.925.1 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f109431f070ab2af3d841865c67ed313156e323778b909a611991da77fd8d3fb
3
+ size 411
train_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 0.9998384230085636,
3
+ "total_flos": 4.921883515023262e+18,
4
+ "train_loss": 0.25020766805354133,
5
+ "train_runtime": 3368.4805,
6
+ "train_samples_per_second": 58.787,
7
+ "train_steps_per_second": 0.459
8
+ }
trainer_state.json ADDED
@@ -0,0 +1,1117 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.9605053856292324,
3
+ "best_model_checkpoint": "swin-tiny-patch4-window7-224-finetuned-cancer/checkpoint-1547",
4
+ "epoch": 0.9998384230085636,
5
+ "eval_steps": 500,
6
+ "global_step": 1547,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.006463079657456778,
13
+ "grad_norm": 7.331174850463867,
14
+ "learning_rate": 3.225806451612903e-06,
15
+ "loss": 0.7162,
16
+ "step": 10
17
+ },
18
+ {
19
+ "epoch": 0.012926159314913557,
20
+ "grad_norm": 4.575641632080078,
21
+ "learning_rate": 6.451612903225806e-06,
22
+ "loss": 0.6444,
23
+ "step": 20
24
+ },
25
+ {
26
+ "epoch": 0.019389238972370333,
27
+ "grad_norm": 3.2741119861602783,
28
+ "learning_rate": 9.67741935483871e-06,
29
+ "loss": 0.5618,
30
+ "step": 30
31
+ },
32
+ {
33
+ "epoch": 0.025852318629827113,
34
+ "grad_norm": 4.564846515655518,
35
+ "learning_rate": 1.2903225806451613e-05,
36
+ "loss": 0.4959,
37
+ "step": 40
38
+ },
39
+ {
40
+ "epoch": 0.03231539828728389,
41
+ "grad_norm": 4.165364742279053,
42
+ "learning_rate": 1.6129032258064517e-05,
43
+ "loss": 0.447,
44
+ "step": 50
45
+ },
46
+ {
47
+ "epoch": 0.038778477944740666,
48
+ "grad_norm": 4.854116439819336,
49
+ "learning_rate": 1.935483870967742e-05,
50
+ "loss": 0.409,
51
+ "step": 60
52
+ },
53
+ {
54
+ "epoch": 0.045241557602197446,
55
+ "grad_norm": 4.5222907066345215,
56
+ "learning_rate": 2.258064516129032e-05,
57
+ "loss": 0.3992,
58
+ "step": 70
59
+ },
60
+ {
61
+ "epoch": 0.051704637259654226,
62
+ "grad_norm": 5.930300235748291,
63
+ "learning_rate": 2.5806451612903226e-05,
64
+ "loss": 0.3832,
65
+ "step": 80
66
+ },
67
+ {
68
+ "epoch": 0.058167716917111006,
69
+ "grad_norm": 6.286398410797119,
70
+ "learning_rate": 2.9032258064516133e-05,
71
+ "loss": 0.399,
72
+ "step": 90
73
+ },
74
+ {
75
+ "epoch": 0.06463079657456779,
76
+ "grad_norm": 8.192097663879395,
77
+ "learning_rate": 3.2258064516129034e-05,
78
+ "loss": 0.3631,
79
+ "step": 100
80
+ },
81
+ {
82
+ "epoch": 0.07109387623202457,
83
+ "grad_norm": 7.482578754425049,
84
+ "learning_rate": 3.548387096774194e-05,
85
+ "loss": 0.3702,
86
+ "step": 110
87
+ },
88
+ {
89
+ "epoch": 0.07755695588948133,
90
+ "grad_norm": 5.62371301651001,
91
+ "learning_rate": 3.870967741935484e-05,
92
+ "loss": 0.352,
93
+ "step": 120
94
+ },
95
+ {
96
+ "epoch": 0.08402003554693811,
97
+ "grad_norm": 5.444067001342773,
98
+ "learning_rate": 4.1935483870967746e-05,
99
+ "loss": 0.3338,
100
+ "step": 130
101
+ },
102
+ {
103
+ "epoch": 0.09048311520439489,
104
+ "grad_norm": 4.892695426940918,
105
+ "learning_rate": 4.516129032258064e-05,
106
+ "loss": 0.3463,
107
+ "step": 140
108
+ },
109
+ {
110
+ "epoch": 0.09694619486185167,
111
+ "grad_norm": 5.656785488128662,
112
+ "learning_rate": 4.8387096774193554e-05,
113
+ "loss": 0.3718,
114
+ "step": 150
115
+ },
116
+ {
117
+ "epoch": 0.10340927451930845,
118
+ "grad_norm": 7.789802074432373,
119
+ "learning_rate": 4.982040229885058e-05,
120
+ "loss": 0.3412,
121
+ "step": 160
122
+ },
123
+ {
124
+ "epoch": 0.10987235417676523,
125
+ "grad_norm": 7.198510646820068,
126
+ "learning_rate": 4.946120689655172e-05,
127
+ "loss": 0.3577,
128
+ "step": 170
129
+ },
130
+ {
131
+ "epoch": 0.11633543383422201,
132
+ "grad_norm": 7.838411808013916,
133
+ "learning_rate": 4.9102011494252875e-05,
134
+ "loss": 0.3522,
135
+ "step": 180
136
+ },
137
+ {
138
+ "epoch": 0.12279851349167878,
139
+ "grad_norm": 7.711742401123047,
140
+ "learning_rate": 4.8742816091954026e-05,
141
+ "loss": 0.3381,
142
+ "step": 190
143
+ },
144
+ {
145
+ "epoch": 0.12926159314913557,
146
+ "grad_norm": 5.089247703552246,
147
+ "learning_rate": 4.838362068965517e-05,
148
+ "loss": 0.3507,
149
+ "step": 200
150
+ },
151
+ {
152
+ "epoch": 0.13572467280659234,
153
+ "grad_norm": 4.4015913009643555,
154
+ "learning_rate": 4.802442528735632e-05,
155
+ "loss": 0.3162,
156
+ "step": 210
157
+ },
158
+ {
159
+ "epoch": 0.14218775246404913,
160
+ "grad_norm": 4.59859561920166,
161
+ "learning_rate": 4.7665229885057474e-05,
162
+ "loss": 0.274,
163
+ "step": 220
164
+ },
165
+ {
166
+ "epoch": 0.1486508321215059,
167
+ "grad_norm": 3.7790114879608154,
168
+ "learning_rate": 4.730603448275862e-05,
169
+ "loss": 0.3161,
170
+ "step": 230
171
+ },
172
+ {
173
+ "epoch": 0.15511391177896267,
174
+ "grad_norm": 5.165287017822266,
175
+ "learning_rate": 4.694683908045977e-05,
176
+ "loss": 0.2878,
177
+ "step": 240
178
+ },
179
+ {
180
+ "epoch": 0.16157699143641946,
181
+ "grad_norm": 6.651523590087891,
182
+ "learning_rate": 4.658764367816092e-05,
183
+ "loss": 0.3133,
184
+ "step": 250
185
+ },
186
+ {
187
+ "epoch": 0.16804007109387623,
188
+ "grad_norm": 6.430370807647705,
189
+ "learning_rate": 4.622844827586207e-05,
190
+ "loss": 0.2744,
191
+ "step": 260
192
+ },
193
+ {
194
+ "epoch": 0.17450315075133302,
195
+ "grad_norm": 3.7495827674865723,
196
+ "learning_rate": 4.5869252873563225e-05,
197
+ "loss": 0.2638,
198
+ "step": 270
199
+ },
200
+ {
201
+ "epoch": 0.18096623040878979,
202
+ "grad_norm": 4.071202278137207,
203
+ "learning_rate": 4.551005747126437e-05,
204
+ "loss": 0.2698,
205
+ "step": 280
206
+ },
207
+ {
208
+ "epoch": 0.18742931006624658,
209
+ "grad_norm": 5.824757099151611,
210
+ "learning_rate": 4.515086206896552e-05,
211
+ "loss": 0.2916,
212
+ "step": 290
213
+ },
214
+ {
215
+ "epoch": 0.19389238972370335,
216
+ "grad_norm": 4.58206033706665,
217
+ "learning_rate": 4.4791666666666673e-05,
218
+ "loss": 0.2674,
219
+ "step": 300
220
+ },
221
+ {
222
+ "epoch": 0.2003554693811601,
223
+ "grad_norm": 7.343913555145264,
224
+ "learning_rate": 4.443247126436782e-05,
225
+ "loss": 0.3069,
226
+ "step": 310
227
+ },
228
+ {
229
+ "epoch": 0.2068185490386169,
230
+ "grad_norm": 4.5890302658081055,
231
+ "learning_rate": 4.407327586206897e-05,
232
+ "loss": 0.2889,
233
+ "step": 320
234
+ },
235
+ {
236
+ "epoch": 0.21328162869607367,
237
+ "grad_norm": 6.601052761077881,
238
+ "learning_rate": 4.371408045977012e-05,
239
+ "loss": 0.2509,
240
+ "step": 330
241
+ },
242
+ {
243
+ "epoch": 0.21974470835353047,
244
+ "grad_norm": 2.973667621612549,
245
+ "learning_rate": 4.3354885057471266e-05,
246
+ "loss": 0.2667,
247
+ "step": 340
248
+ },
249
+ {
250
+ "epoch": 0.22620778801098723,
251
+ "grad_norm": 7.966582298278809,
252
+ "learning_rate": 4.299568965517242e-05,
253
+ "loss": 0.2888,
254
+ "step": 350
255
+ },
256
+ {
257
+ "epoch": 0.23267086766844403,
258
+ "grad_norm": 2.4454495906829834,
259
+ "learning_rate": 4.263649425287356e-05,
260
+ "loss": 0.2638,
261
+ "step": 360
262
+ },
263
+ {
264
+ "epoch": 0.2391339473259008,
265
+ "grad_norm": 4.780755996704102,
266
+ "learning_rate": 4.2277298850574714e-05,
267
+ "loss": 0.2771,
268
+ "step": 370
269
+ },
270
+ {
271
+ "epoch": 0.24559702698335756,
272
+ "grad_norm": 7.205840587615967,
273
+ "learning_rate": 4.1918103448275866e-05,
274
+ "loss": 0.289,
275
+ "step": 380
276
+ },
277
+ {
278
+ "epoch": 0.25206010664081435,
279
+ "grad_norm": 6.309414863586426,
280
+ "learning_rate": 4.155890804597701e-05,
281
+ "loss": 0.2471,
282
+ "step": 390
283
+ },
284
+ {
285
+ "epoch": 0.25852318629827115,
286
+ "grad_norm": 4.736650466918945,
287
+ "learning_rate": 4.119971264367816e-05,
288
+ "loss": 0.2204,
289
+ "step": 400
290
+ },
291
+ {
292
+ "epoch": 0.2649862659557279,
293
+ "grad_norm": 4.276492595672607,
294
+ "learning_rate": 4.0840517241379314e-05,
295
+ "loss": 0.2546,
296
+ "step": 410
297
+ },
298
+ {
299
+ "epoch": 0.2714493456131847,
300
+ "grad_norm": 4.888199329376221,
301
+ "learning_rate": 4.048132183908046e-05,
302
+ "loss": 0.2343,
303
+ "step": 420
304
+ },
305
+ {
306
+ "epoch": 0.27791242527064147,
307
+ "grad_norm": 3.0027356147766113,
308
+ "learning_rate": 4.012212643678161e-05,
309
+ "loss": 0.2644,
310
+ "step": 430
311
+ },
312
+ {
313
+ "epoch": 0.28437550492809827,
314
+ "grad_norm": 3.5034611225128174,
315
+ "learning_rate": 3.976293103448276e-05,
316
+ "loss": 0.2318,
317
+ "step": 440
318
+ },
319
+ {
320
+ "epoch": 0.290838584585555,
321
+ "grad_norm": 4.029373645782471,
322
+ "learning_rate": 3.940373563218391e-05,
323
+ "loss": 0.2393,
324
+ "step": 450
325
+ },
326
+ {
327
+ "epoch": 0.2973016642430118,
328
+ "grad_norm": 2.631014585494995,
329
+ "learning_rate": 3.904454022988506e-05,
330
+ "loss": 0.2497,
331
+ "step": 460
332
+ },
333
+ {
334
+ "epoch": 0.3037647439004686,
335
+ "grad_norm": 3.7511560916900635,
336
+ "learning_rate": 3.86853448275862e-05,
337
+ "loss": 0.2776,
338
+ "step": 470
339
+ },
340
+ {
341
+ "epoch": 0.31022782355792533,
342
+ "grad_norm": 4.721391677856445,
343
+ "learning_rate": 3.8326149425287355e-05,
344
+ "loss": 0.2353,
345
+ "step": 480
346
+ },
347
+ {
348
+ "epoch": 0.3166909032153821,
349
+ "grad_norm": 3.97963285446167,
350
+ "learning_rate": 3.796695402298851e-05,
351
+ "loss": 0.2549,
352
+ "step": 490
353
+ },
354
+ {
355
+ "epoch": 0.3231539828728389,
356
+ "grad_norm": 4.646782398223877,
357
+ "learning_rate": 3.760775862068966e-05,
358
+ "loss": 0.2473,
359
+ "step": 500
360
+ },
361
+ {
362
+ "epoch": 0.3296170625302957,
363
+ "grad_norm": 4.661077976226807,
364
+ "learning_rate": 3.724856321839081e-05,
365
+ "loss": 0.2581,
366
+ "step": 510
367
+ },
368
+ {
369
+ "epoch": 0.33608014218775245,
370
+ "grad_norm": 7.082584381103516,
371
+ "learning_rate": 3.6889367816091954e-05,
372
+ "loss": 0.2427,
373
+ "step": 520
374
+ },
375
+ {
376
+ "epoch": 0.34254322184520924,
377
+ "grad_norm": 4.724052906036377,
378
+ "learning_rate": 3.6530172413793106e-05,
379
+ "loss": 0.2683,
380
+ "step": 530
381
+ },
382
+ {
383
+ "epoch": 0.34900630150266604,
384
+ "grad_norm": 3.6246917247772217,
385
+ "learning_rate": 3.617097701149426e-05,
386
+ "loss": 0.2636,
387
+ "step": 540
388
+ },
389
+ {
390
+ "epoch": 0.3554693811601228,
391
+ "grad_norm": 9.237018585205078,
392
+ "learning_rate": 3.58117816091954e-05,
393
+ "loss": 0.2502,
394
+ "step": 550
395
+ },
396
+ {
397
+ "epoch": 0.36193246081757957,
398
+ "grad_norm": 3.987290382385254,
399
+ "learning_rate": 3.5452586206896554e-05,
400
+ "loss": 0.2359,
401
+ "step": 560
402
+ },
403
+ {
404
+ "epoch": 0.36839554047503636,
405
+ "grad_norm": 6.946052074432373,
406
+ "learning_rate": 3.5093390804597706e-05,
407
+ "loss": 0.2445,
408
+ "step": 570
409
+ },
410
+ {
411
+ "epoch": 0.37485862013249316,
412
+ "grad_norm": 4.0834736824035645,
413
+ "learning_rate": 3.473419540229885e-05,
414
+ "loss": 0.2515,
415
+ "step": 580
416
+ },
417
+ {
418
+ "epoch": 0.3813216997899499,
419
+ "grad_norm": 3.3558614253997803,
420
+ "learning_rate": 3.4375e-05,
421
+ "loss": 0.2511,
422
+ "step": 590
423
+ },
424
+ {
425
+ "epoch": 0.3877847794474067,
426
+ "grad_norm": 4.314471244812012,
427
+ "learning_rate": 3.4015804597701154e-05,
428
+ "loss": 0.232,
429
+ "step": 600
430
+ },
431
+ {
432
+ "epoch": 0.3942478591048635,
433
+ "grad_norm": 3.44812273979187,
434
+ "learning_rate": 3.36566091954023e-05,
435
+ "loss": 0.1993,
436
+ "step": 610
437
+ },
438
+ {
439
+ "epoch": 0.4007109387623202,
440
+ "grad_norm": 4.297704219818115,
441
+ "learning_rate": 3.329741379310345e-05,
442
+ "loss": 0.2556,
443
+ "step": 620
444
+ },
445
+ {
446
+ "epoch": 0.407174018419777,
447
+ "grad_norm": 2.1731884479522705,
448
+ "learning_rate": 3.2938218390804595e-05,
449
+ "loss": 0.2168,
450
+ "step": 630
451
+ },
452
+ {
453
+ "epoch": 0.4136370980772338,
454
+ "grad_norm": 3.119593620300293,
455
+ "learning_rate": 3.2579022988505747e-05,
456
+ "loss": 0.2089,
457
+ "step": 640
458
+ },
459
+ {
460
+ "epoch": 0.4201001777346906,
461
+ "grad_norm": 3.971031665802002,
462
+ "learning_rate": 3.22198275862069e-05,
463
+ "loss": 0.2373,
464
+ "step": 650
465
+ },
466
+ {
467
+ "epoch": 0.42656325739214734,
468
+ "grad_norm": 3.3221435546875,
469
+ "learning_rate": 3.186063218390804e-05,
470
+ "loss": 0.243,
471
+ "step": 660
472
+ },
473
+ {
474
+ "epoch": 0.43302633704960414,
475
+ "grad_norm": 3.1322009563446045,
476
+ "learning_rate": 3.1501436781609195e-05,
477
+ "loss": 0.2239,
478
+ "step": 670
479
+ },
480
+ {
481
+ "epoch": 0.43948941670706093,
482
+ "grad_norm": 3.9616572856903076,
483
+ "learning_rate": 3.1142241379310346e-05,
484
+ "loss": 0.2316,
485
+ "step": 680
486
+ },
487
+ {
488
+ "epoch": 0.44595249636451767,
489
+ "grad_norm": 2.667262077331543,
490
+ "learning_rate": 3.078304597701149e-05,
491
+ "loss": 0.204,
492
+ "step": 690
493
+ },
494
+ {
495
+ "epoch": 0.45241557602197446,
496
+ "grad_norm": 5.354103088378906,
497
+ "learning_rate": 3.042385057471265e-05,
498
+ "loss": 0.2035,
499
+ "step": 700
500
+ },
501
+ {
502
+ "epoch": 0.45887865567943126,
503
+ "grad_norm": 3.422032356262207,
504
+ "learning_rate": 3.0064655172413798e-05,
505
+ "loss": 0.2518,
506
+ "step": 710
507
+ },
508
+ {
509
+ "epoch": 0.46534173533688805,
510
+ "grad_norm": 6.190507411956787,
511
+ "learning_rate": 2.9705459770114946e-05,
512
+ "loss": 0.2148,
513
+ "step": 720
514
+ },
515
+ {
516
+ "epoch": 0.4718048149943448,
517
+ "grad_norm": 4.419785976409912,
518
+ "learning_rate": 2.9346264367816094e-05,
519
+ "loss": 0.2399,
520
+ "step": 730
521
+ },
522
+ {
523
+ "epoch": 0.4782678946518016,
524
+ "grad_norm": 6.475925922393799,
525
+ "learning_rate": 2.8987068965517246e-05,
526
+ "loss": 0.2308,
527
+ "step": 740
528
+ },
529
+ {
530
+ "epoch": 0.4847309743092584,
531
+ "grad_norm": 2.907485246658325,
532
+ "learning_rate": 2.8627873563218394e-05,
533
+ "loss": 0.2071,
534
+ "step": 750
535
+ },
536
+ {
537
+ "epoch": 0.4911940539667151,
538
+ "grad_norm": 3.476051092147827,
539
+ "learning_rate": 2.8268678160919542e-05,
540
+ "loss": 0.2374,
541
+ "step": 760
542
+ },
543
+ {
544
+ "epoch": 0.4976571336241719,
545
+ "grad_norm": 6.298080921173096,
546
+ "learning_rate": 2.7909482758620694e-05,
547
+ "loss": 0.2277,
548
+ "step": 770
549
+ },
550
+ {
551
+ "epoch": 0.5041202132816287,
552
+ "grad_norm": 4.822377681732178,
553
+ "learning_rate": 2.7550287356321842e-05,
554
+ "loss": 0.2259,
555
+ "step": 780
556
+ },
557
+ {
558
+ "epoch": 0.5105832929390854,
559
+ "grad_norm": 3.966501474380493,
560
+ "learning_rate": 2.719109195402299e-05,
561
+ "loss": 0.2212,
562
+ "step": 790
563
+ },
564
+ {
565
+ "epoch": 0.5170463725965423,
566
+ "grad_norm": 2.599501848220825,
567
+ "learning_rate": 2.6831896551724138e-05,
568
+ "loss": 0.2202,
569
+ "step": 800
570
+ },
571
+ {
572
+ "epoch": 0.523509452253999,
573
+ "grad_norm": 4.360517501831055,
574
+ "learning_rate": 2.647270114942529e-05,
575
+ "loss": 0.2482,
576
+ "step": 810
577
+ },
578
+ {
579
+ "epoch": 0.5299725319114558,
580
+ "grad_norm": 4.807380199432373,
581
+ "learning_rate": 2.6113505747126438e-05,
582
+ "loss": 0.2222,
583
+ "step": 820
584
+ },
585
+ {
586
+ "epoch": 0.5364356115689126,
587
+ "grad_norm": 3.3132829666137695,
588
+ "learning_rate": 2.5754310344827586e-05,
589
+ "loss": 0.2421,
590
+ "step": 830
591
+ },
592
+ {
593
+ "epoch": 0.5428986912263694,
594
+ "grad_norm": 6.560469150543213,
595
+ "learning_rate": 2.5395114942528734e-05,
596
+ "loss": 0.196,
597
+ "step": 840
598
+ },
599
+ {
600
+ "epoch": 0.5493617708838261,
601
+ "grad_norm": 7.168336391448975,
602
+ "learning_rate": 2.5035919540229886e-05,
603
+ "loss": 0.244,
604
+ "step": 850
605
+ },
606
+ {
607
+ "epoch": 0.5558248505412829,
608
+ "grad_norm": 3.6738462448120117,
609
+ "learning_rate": 2.4676724137931034e-05,
610
+ "loss": 0.2361,
611
+ "step": 860
612
+ },
613
+ {
614
+ "epoch": 0.5622879301987397,
615
+ "grad_norm": 4.0579833984375,
616
+ "learning_rate": 2.4317528735632186e-05,
617
+ "loss": 0.2195,
618
+ "step": 870
619
+ },
620
+ {
621
+ "epoch": 0.5687510098561965,
622
+ "grad_norm": 5.091606616973877,
623
+ "learning_rate": 2.3958333333333334e-05,
624
+ "loss": 0.2128,
625
+ "step": 880
626
+ },
627
+ {
628
+ "epoch": 0.5752140895136533,
629
+ "grad_norm": 7.0507354736328125,
630
+ "learning_rate": 2.3599137931034486e-05,
631
+ "loss": 0.2259,
632
+ "step": 890
633
+ },
634
+ {
635
+ "epoch": 0.58167716917111,
636
+ "grad_norm": 4.719695568084717,
637
+ "learning_rate": 2.3239942528735634e-05,
638
+ "loss": 0.2119,
639
+ "step": 900
640
+ },
641
+ {
642
+ "epoch": 0.5881402488285669,
643
+ "grad_norm": 4.4290289878845215,
644
+ "learning_rate": 2.2880747126436782e-05,
645
+ "loss": 0.2138,
646
+ "step": 910
647
+ },
648
+ {
649
+ "epoch": 0.5946033284860236,
650
+ "grad_norm": 4.132259368896484,
651
+ "learning_rate": 2.2521551724137934e-05,
652
+ "loss": 0.2111,
653
+ "step": 920
654
+ },
655
+ {
656
+ "epoch": 0.6010664081434803,
657
+ "grad_norm": 6.010085105895996,
658
+ "learning_rate": 2.2162356321839082e-05,
659
+ "loss": 0.2106,
660
+ "step": 930
661
+ },
662
+ {
663
+ "epoch": 0.6075294878009372,
664
+ "grad_norm": 3.847933769226074,
665
+ "learning_rate": 2.180316091954023e-05,
666
+ "loss": 0.2146,
667
+ "step": 940
668
+ },
669
+ {
670
+ "epoch": 0.6139925674583939,
671
+ "grad_norm": 4.39457893371582,
672
+ "learning_rate": 2.144396551724138e-05,
673
+ "loss": 0.2279,
674
+ "step": 950
675
+ },
676
+ {
677
+ "epoch": 0.6204556471158507,
678
+ "grad_norm": 3.269622564315796,
679
+ "learning_rate": 2.108477011494253e-05,
680
+ "loss": 0.2259,
681
+ "step": 960
682
+ },
683
+ {
684
+ "epoch": 0.6269187267733075,
685
+ "grad_norm": 3.5994322299957275,
686
+ "learning_rate": 2.0725574712643678e-05,
687
+ "loss": 0.1996,
688
+ "step": 970
689
+ },
690
+ {
691
+ "epoch": 0.6333818064307642,
692
+ "grad_norm": 4.982938289642334,
693
+ "learning_rate": 2.036637931034483e-05,
694
+ "loss": 0.2311,
695
+ "step": 980
696
+ },
697
+ {
698
+ "epoch": 0.639844886088221,
699
+ "grad_norm": 5.611133098602295,
700
+ "learning_rate": 2.0007183908045978e-05,
701
+ "loss": 0.2073,
702
+ "step": 990
703
+ },
704
+ {
705
+ "epoch": 0.6463079657456778,
706
+ "grad_norm": 4.818994522094727,
707
+ "learning_rate": 1.964798850574713e-05,
708
+ "loss": 0.2233,
709
+ "step": 1000
710
+ },
711
+ {
712
+ "epoch": 0.6527710454031346,
713
+ "grad_norm": 2.8192803859710693,
714
+ "learning_rate": 1.9288793103448278e-05,
715
+ "loss": 0.1841,
716
+ "step": 1010
717
+ },
718
+ {
719
+ "epoch": 0.6592341250605914,
720
+ "grad_norm": 3.74814510345459,
721
+ "learning_rate": 1.8929597701149426e-05,
722
+ "loss": 0.1908,
723
+ "step": 1020
724
+ },
725
+ {
726
+ "epoch": 0.6656972047180482,
727
+ "grad_norm": 5.619290351867676,
728
+ "learning_rate": 1.8570402298850574e-05,
729
+ "loss": 0.2135,
730
+ "step": 1030
731
+ },
732
+ {
733
+ "epoch": 0.6721602843755049,
734
+ "grad_norm": 3.431131362915039,
735
+ "learning_rate": 1.8211206896551726e-05,
736
+ "loss": 0.2036,
737
+ "step": 1040
738
+ },
739
+ {
740
+ "epoch": 0.6786233640329618,
741
+ "grad_norm": 4.3107781410217285,
742
+ "learning_rate": 1.7852011494252874e-05,
743
+ "loss": 0.2013,
744
+ "step": 1050
745
+ },
746
+ {
747
+ "epoch": 0.6850864436904185,
748
+ "grad_norm": 2.6932215690612793,
749
+ "learning_rate": 1.7492816091954022e-05,
750
+ "loss": 0.1654,
751
+ "step": 1060
752
+ },
753
+ {
754
+ "epoch": 0.6915495233478752,
755
+ "grad_norm": 5.07429313659668,
756
+ "learning_rate": 1.7133620689655174e-05,
757
+ "loss": 0.2128,
758
+ "step": 1070
759
+ },
760
+ {
761
+ "epoch": 0.6980126030053321,
762
+ "grad_norm": 6.4850873947143555,
763
+ "learning_rate": 1.6774425287356325e-05,
764
+ "loss": 0.1926,
765
+ "step": 1080
766
+ },
767
+ {
768
+ "epoch": 0.7044756826627888,
769
+ "grad_norm": 4.696744441986084,
770
+ "learning_rate": 1.6415229885057474e-05,
771
+ "loss": 0.2329,
772
+ "step": 1090
773
+ },
774
+ {
775
+ "epoch": 0.7109387623202456,
776
+ "grad_norm": 7.928685188293457,
777
+ "learning_rate": 1.6056034482758622e-05,
778
+ "loss": 0.2494,
779
+ "step": 1100
780
+ },
781
+ {
782
+ "epoch": 0.7174018419777024,
783
+ "grad_norm": 6.6810455322265625,
784
+ "learning_rate": 1.569683908045977e-05,
785
+ "loss": 0.2082,
786
+ "step": 1110
787
+ },
788
+ {
789
+ "epoch": 0.7238649216351591,
790
+ "grad_norm": 6.868622303009033,
791
+ "learning_rate": 1.533764367816092e-05,
792
+ "loss": 0.2153,
793
+ "step": 1120
794
+ },
795
+ {
796
+ "epoch": 0.7303280012926159,
797
+ "grad_norm": 4.763729095458984,
798
+ "learning_rate": 1.497844827586207e-05,
799
+ "loss": 0.1972,
800
+ "step": 1130
801
+ },
802
+ {
803
+ "epoch": 0.7367910809500727,
804
+ "grad_norm": 3.208186149597168,
805
+ "learning_rate": 1.461925287356322e-05,
806
+ "loss": 0.201,
807
+ "step": 1140
808
+ },
809
+ {
810
+ "epoch": 0.7432541606075295,
811
+ "grad_norm": 4.111704349517822,
812
+ "learning_rate": 1.4260057471264368e-05,
813
+ "loss": 0.2154,
814
+ "step": 1150
815
+ },
816
+ {
817
+ "epoch": 0.7497172402649863,
818
+ "grad_norm": 6.802502632141113,
819
+ "learning_rate": 1.3900862068965518e-05,
820
+ "loss": 0.1819,
821
+ "step": 1160
822
+ },
823
+ {
824
+ "epoch": 0.7561803199224431,
825
+ "grad_norm": 4.15958833694458,
826
+ "learning_rate": 1.3541666666666666e-05,
827
+ "loss": 0.1823,
828
+ "step": 1170
829
+ },
830
+ {
831
+ "epoch": 0.7626433995798998,
832
+ "grad_norm": 2.806739568710327,
833
+ "learning_rate": 1.3182471264367816e-05,
834
+ "loss": 0.1963,
835
+ "step": 1180
836
+ },
837
+ {
838
+ "epoch": 0.7691064792373566,
839
+ "grad_norm": 5.593130111694336,
840
+ "learning_rate": 1.2823275862068968e-05,
841
+ "loss": 0.1948,
842
+ "step": 1190
843
+ },
844
+ {
845
+ "epoch": 0.7755695588948134,
846
+ "grad_norm": 7.160956859588623,
847
+ "learning_rate": 1.2464080459770116e-05,
848
+ "loss": 0.2249,
849
+ "step": 1200
850
+ },
851
+ {
852
+ "epoch": 0.7820326385522701,
853
+ "grad_norm": 5.844871520996094,
854
+ "learning_rate": 1.2104885057471264e-05,
855
+ "loss": 0.2109,
856
+ "step": 1210
857
+ },
858
+ {
859
+ "epoch": 0.788495718209727,
860
+ "grad_norm": 4.273647785186768,
861
+ "learning_rate": 1.1745689655172416e-05,
862
+ "loss": 0.1976,
863
+ "step": 1220
864
+ },
865
+ {
866
+ "epoch": 0.7949587978671837,
867
+ "grad_norm": 5.624157428741455,
868
+ "learning_rate": 1.1386494252873564e-05,
869
+ "loss": 0.2017,
870
+ "step": 1230
871
+ },
872
+ {
873
+ "epoch": 0.8014218775246404,
874
+ "grad_norm": 5.627654552459717,
875
+ "learning_rate": 1.1027298850574714e-05,
876
+ "loss": 0.2153,
877
+ "step": 1240
878
+ },
879
+ {
880
+ "epoch": 0.8078849571820973,
881
+ "grad_norm": 4.900112628936768,
882
+ "learning_rate": 1.0668103448275862e-05,
883
+ "loss": 0.2436,
884
+ "step": 1250
885
+ },
886
+ {
887
+ "epoch": 0.814348036839554,
888
+ "grad_norm": 4.697551727294922,
889
+ "learning_rate": 1.0308908045977012e-05,
890
+ "loss": 0.1912,
891
+ "step": 1260
892
+ },
893
+ {
894
+ "epoch": 0.8208111164970108,
895
+ "grad_norm": 7.477961540222168,
896
+ "learning_rate": 9.949712643678162e-06,
897
+ "loss": 0.2109,
898
+ "step": 1270
899
+ },
900
+ {
901
+ "epoch": 0.8272741961544676,
902
+ "grad_norm": 4.095799922943115,
903
+ "learning_rate": 9.590517241379312e-06,
904
+ "loss": 0.2129,
905
+ "step": 1280
906
+ },
907
+ {
908
+ "epoch": 0.8337372758119244,
909
+ "grad_norm": 6.4529924392700195,
910
+ "learning_rate": 9.23132183908046e-06,
911
+ "loss": 0.2272,
912
+ "step": 1290
913
+ },
914
+ {
915
+ "epoch": 0.8402003554693812,
916
+ "grad_norm": 5.603827476501465,
917
+ "learning_rate": 8.87212643678161e-06,
918
+ "loss": 0.1771,
919
+ "step": 1300
920
+ },
921
+ {
922
+ "epoch": 0.846663435126838,
923
+ "grad_norm": 9.214598655700684,
924
+ "learning_rate": 8.512931034482758e-06,
925
+ "loss": 0.1775,
926
+ "step": 1310
927
+ },
928
+ {
929
+ "epoch": 0.8531265147842947,
930
+ "grad_norm": 3.415295124053955,
931
+ "learning_rate": 8.153735632183908e-06,
932
+ "loss": 0.1973,
933
+ "step": 1320
934
+ },
935
+ {
936
+ "epoch": 0.8595895944417515,
937
+ "grad_norm": 3.975978136062622,
938
+ "learning_rate": 7.794540229885058e-06,
939
+ "loss": 0.187,
940
+ "step": 1330
941
+ },
942
+ {
943
+ "epoch": 0.8660526740992083,
944
+ "grad_norm": 2.804140090942383,
945
+ "learning_rate": 7.435344827586208e-06,
946
+ "loss": 0.2051,
947
+ "step": 1340
948
+ },
949
+ {
950
+ "epoch": 0.872515753756665,
951
+ "grad_norm": 6.0080647468566895,
952
+ "learning_rate": 7.076149425287357e-06,
953
+ "loss": 0.216,
954
+ "step": 1350
955
+ },
956
+ {
957
+ "epoch": 0.8789788334141219,
958
+ "grad_norm": 4.182724475860596,
959
+ "learning_rate": 6.716954022988506e-06,
960
+ "loss": 0.1982,
961
+ "step": 1360
962
+ },
963
+ {
964
+ "epoch": 0.8854419130715786,
965
+ "grad_norm": 7.1342854499816895,
966
+ "learning_rate": 6.357758620689655e-06,
967
+ "loss": 0.1881,
968
+ "step": 1370
969
+ },
970
+ {
971
+ "epoch": 0.8919049927290353,
972
+ "grad_norm": 4.865418434143066,
973
+ "learning_rate": 5.998563218390805e-06,
974
+ "loss": 0.2099,
975
+ "step": 1380
976
+ },
977
+ {
978
+ "epoch": 0.8983680723864922,
979
+ "grad_norm": 4.020890235900879,
980
+ "learning_rate": 5.639367816091954e-06,
981
+ "loss": 0.1819,
982
+ "step": 1390
983
+ },
984
+ {
985
+ "epoch": 0.9048311520439489,
986
+ "grad_norm": 3.826892852783203,
987
+ "learning_rate": 5.280172413793104e-06,
988
+ "loss": 0.1846,
989
+ "step": 1400
990
+ },
991
+ {
992
+ "epoch": 0.9112942317014057,
993
+ "grad_norm": 5.284408092498779,
994
+ "learning_rate": 4.920977011494253e-06,
995
+ "loss": 0.1888,
996
+ "step": 1410
997
+ },
998
+ {
999
+ "epoch": 0.9177573113588625,
1000
+ "grad_norm": 4.285012722015381,
1001
+ "learning_rate": 4.561781609195403e-06,
1002
+ "loss": 0.1886,
1003
+ "step": 1420
1004
+ },
1005
+ {
1006
+ "epoch": 0.9242203910163193,
1007
+ "grad_norm": 3.0137135982513428,
1008
+ "learning_rate": 4.202586206896552e-06,
1009
+ "loss": 0.1976,
1010
+ "step": 1430
1011
+ },
1012
+ {
1013
+ "epoch": 0.9306834706737761,
1014
+ "grad_norm": 7.759015083312988,
1015
+ "learning_rate": 3.843390804597701e-06,
1016
+ "loss": 0.1891,
1017
+ "step": 1440
1018
+ },
1019
+ {
1020
+ "epoch": 0.9371465503312328,
1021
+ "grad_norm": 4.454775810241699,
1022
+ "learning_rate": 3.484195402298851e-06,
1023
+ "loss": 0.2085,
1024
+ "step": 1450
1025
+ },
1026
+ {
1027
+ "epoch": 0.9436096299886896,
1028
+ "grad_norm": 4.0864949226379395,
1029
+ "learning_rate": 3.125e-06,
1030
+ "loss": 0.1859,
1031
+ "step": 1460
1032
+ },
1033
+ {
1034
+ "epoch": 0.9500727096461464,
1035
+ "grad_norm": 6.020027160644531,
1036
+ "learning_rate": 2.7658045977011496e-06,
1037
+ "loss": 0.1994,
1038
+ "step": 1470
1039
+ },
1040
+ {
1041
+ "epoch": 0.9565357893036032,
1042
+ "grad_norm": 5.507518768310547,
1043
+ "learning_rate": 2.4066091954022987e-06,
1044
+ "loss": 0.1908,
1045
+ "step": 1480
1046
+ },
1047
+ {
1048
+ "epoch": 0.9629988689610599,
1049
+ "grad_norm": 4.609635829925537,
1050
+ "learning_rate": 2.047413793103448e-06,
1051
+ "loss": 0.2239,
1052
+ "step": 1490
1053
+ },
1054
+ {
1055
+ "epoch": 0.9694619486185168,
1056
+ "grad_norm": 5.80496072769165,
1057
+ "learning_rate": 1.6882183908045979e-06,
1058
+ "loss": 0.1824,
1059
+ "step": 1500
1060
+ },
1061
+ {
1062
+ "epoch": 0.9759250282759735,
1063
+ "grad_norm": 4.583664417266846,
1064
+ "learning_rate": 1.3290229885057471e-06,
1065
+ "loss": 0.1866,
1066
+ "step": 1510
1067
+ },
1068
+ {
1069
+ "epoch": 0.9823881079334302,
1070
+ "grad_norm": 5.140854358673096,
1071
+ "learning_rate": 9.698275862068966e-07,
1072
+ "loss": 0.1693,
1073
+ "step": 1520
1074
+ },
1075
+ {
1076
+ "epoch": 0.9888511875908871,
1077
+ "grad_norm": 4.870802402496338,
1078
+ "learning_rate": 6.106321839080461e-07,
1079
+ "loss": 0.1786,
1080
+ "step": 1530
1081
+ },
1082
+ {
1083
+ "epoch": 0.9953142672483438,
1084
+ "grad_norm": 4.085971832275391,
1085
+ "learning_rate": 2.514367816091954e-07,
1086
+ "loss": 0.1819,
1087
+ "step": 1540
1088
+ },
1089
+ {
1090
+ "epoch": 0.9998384230085636,
1091
+ "eval_accuracy": 0.9605053856292324,
1092
+ "eval_loss": 0.11349575221538544,
1093
+ "eval_runtime": 169.4025,
1094
+ "eval_samples_per_second": 129.886,
1095
+ "eval_steps_per_second": 4.061,
1096
+ "step": 1547
1097
+ },
1098
+ {
1099
+ "epoch": 0.9998384230085636,
1100
+ "step": 1547,
1101
+ "total_flos": 4.921883515023262e+18,
1102
+ "train_loss": 0.25020766805354133,
1103
+ "train_runtime": 3368.4805,
1104
+ "train_samples_per_second": 58.787,
1105
+ "train_steps_per_second": 0.459
1106
+ }
1107
+ ],
1108
+ "logging_steps": 10,
1109
+ "max_steps": 1547,
1110
+ "num_input_tokens_seen": 0,
1111
+ "num_train_epochs": 1,
1112
+ "save_steps": 500,
1113
+ "total_flos": 4.921883515023262e+18,
1114
+ "train_batch_size": 32,
1115
+ "trial_name": null,
1116
+ "trial_params": null
1117
+ }