layoutlm-funsd

This model is a fine-tuned version of microsoft/layoutlm-base-uncased on the funsd dataset. It achieves the following results on the evaluation set:

• Loss: 1.6784
• Answer: {'precision': 0.4630541871921182, 'recall': 0.580964153275649, 'f1': 0.5153508771929824, 'number': 809}
• Header: {'precision': 0.4470588235294118, 'recall': 0.31932773109243695, 'f1': 0.37254901960784315, 'number': 119}
• Question: {'precision': 0.5822259136212624, 'recall': 0.6582159624413145, 'f1': 0.617893345085941, 'number': 1065}
• Overall Precision: 0.5247
• Overall Recall: 0.6066
• Overall F1: 0.5627
• Overall Accuracy: 0.6411

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Answer	Header	Question	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
1.7288	1.0	10	1.5435	{'precision': 0.022058823529411766, 'recall': 0.014833127317676144, 'f1': 0.017738359201773836, 'number': 809}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 119}	{'precision': 0.19180633147113593, 'recall': 0.09671361502347418, 'f1': 0.1285892634207241, 'number': 1065}	0.1064	0.0577	0.0748	0.3266
1.4353	2.0	20	1.3528	{'precision': 0.20369301788805538, 'recall': 0.4363411619283066, 'f1': 0.27773406766325726, 'number': 809}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 119}	{'precision': 0.2926481084939329, 'recall': 0.38497652582159625, 'f1': 0.33252230332522303, 'number': 1065}	0.2427	0.3828	0.2971	0.4262
1.2751	3.0	30	1.2397	{'precision': 0.24175084175084174, 'recall': 0.4437577255871446, 'f1': 0.3129904097646033, 'number': 809}	{'precision': 0.03636363636363636, 'recall': 0.01680672268907563, 'f1': 0.022988505747126436, 'number': 119}	{'precision': 0.34423076923076923, 'recall': 0.504225352112676, 'f1': 0.40914285714285714, 'number': 1065}	0.2897	0.4506	0.3526	0.4736
1.1382	4.0	40	1.1096	{'precision': 0.2822349570200573, 'recall': 0.48702101359703337, 'f1': 0.3573696145124716, 'number': 809}	{'precision': 0.2111111111111111, 'recall': 0.15966386554621848, 'f1': 0.1818181818181818, 'number': 119}	{'precision': 0.4142857142857143, 'recall': 0.5446009389671361, 'f1': 0.4705882352941177, 'number': 1065}	0.3441	0.4982	0.4071	0.5598
1.0207	5.0	50	1.1986	{'precision': 0.3122302158273381, 'recall': 0.5364647713226205, 'f1': 0.39472487494315595, 'number': 809}	{'precision': 0.2696629213483146, 'recall': 0.20168067226890757, 'f1': 0.23076923076923078, 'number': 119}	{'precision': 0.43670411985018726, 'recall': 0.5474178403755868, 'f1': 0.48583333333333334, 'number': 1065}	0.3699	0.5223	0.4331	0.5405
0.9534	6.0	60	1.1446	{'precision': 0.32223796033994334, 'recall': 0.5624227441285538, 'f1': 0.4097253489419181, 'number': 809}	{'precision': 0.3, 'recall': 0.17647058823529413, 'f1': 0.22222222222222224, 'number': 119}	{'precision': 0.48997995991983967, 'recall': 0.4591549295774648, 'f1': 0.47406689287445475, 'number': 1065}	0.3891	0.4842	0.4315	0.5634
0.854	7.0	70	1.0533	{'precision': 0.38318777292576417, 'recall': 0.4338689740420272, 'f1': 0.4069565217391304, 'number': 809}	{'precision': 0.264, 'recall': 0.2773109243697479, 'f1': 0.27049180327868855, 'number': 119}	{'precision': 0.4503968253968254, 'recall': 0.6394366197183099, 'f1': 0.5285215366705472, 'number': 1065}	0.4172	0.5344	0.4685	0.5950
0.7821	8.0	80	1.0447	{'precision': 0.3707482993197279, 'recall': 0.5389369592088998, 'f1': 0.43929471032745593, 'number': 809}	{'precision': 0.3373493975903614, 'recall': 0.23529411764705882, 'f1': 0.2772277227722772, 'number': 119}	{'precision': 0.4789594491201224, 'recall': 0.5877934272300469, 'f1': 0.5278246205733558, 'number': 1065}	0.4248	0.5469	0.4782	0.6234
0.7291	9.0	90	1.1487	{'precision': 0.39887005649717516, 'recall': 0.4363411619283066, 'f1': 0.41676505312868956, 'number': 809}	{'precision': 0.3106060606060606, 'recall': 0.3445378151260504, 'f1': 0.32669322709163345, 'number': 119}	{'precision': 0.4737201365187713, 'recall': 0.6516431924882629, 'f1': 0.5486166007905138, 'number': 1065}	0.4384	0.5459	0.4863	0.5976
0.7222	10.0	100	1.0862	{'precision': 0.36459246275197194, 'recall': 0.5142150803461063, 'f1': 0.42666666666666664, 'number': 809}	{'precision': 0.33, 'recall': 0.2773109243697479, 'f1': 0.30136986301369867, 'number': 119}	{'precision': 0.48, 'recall': 0.6422535211267606, 'f1': 0.5493975903614458, 'number': 1065}	0.4250	0.5685	0.4864	0.6184
0.6242	11.0	110	1.2087	{'precision': 0.3969465648854962, 'recall': 0.5142150803461063, 'f1': 0.44803446418955306, 'number': 809}	{'precision': 0.2536231884057971, 'recall': 0.29411764705882354, 'f1': 0.2723735408560311, 'number': 119}	{'precision': 0.5061124694376528, 'recall': 0.5830985915492958, 'f1': 0.5418848167539267, 'number': 1065}	0.4443	0.5379	0.4866	0.6010
0.5972	12.0	120	1.1726	{'precision': 0.43176972281449894, 'recall': 0.5006180469715699, 'f1': 0.4636519748139668, 'number': 809}	{'precision': 0.32989690721649484, 'recall': 0.2689075630252101, 'f1': 0.2962962962962963, 'number': 119}	{'precision': 0.5732430143945809, 'recall': 0.6356807511737089, 'f1': 0.6028495102404274, 'number': 1065}	0.5027	0.5590	0.5293	0.6228
0.5502	13.0	130	1.2468	{'precision': 0.4368048533872599, 'recall': 0.5339925834363412, 'f1': 0.4805339265850946, 'number': 809}	{'precision': 0.3181818181818182, 'recall': 0.29411764705882354, 'f1': 0.3056768558951965, 'number': 119}	{'precision': 0.5737855178735105, 'recall': 0.5877934272300469, 'f1': 0.5807050092764378, 'number': 1065}	0.4991	0.5484	0.5226	0.6096
0.507	14.0	140	1.2631	{'precision': 0.44842105263157894, 'recall': 0.5265760197775031, 'f1': 0.4843661171119955, 'number': 809}	{'precision': 0.3017241379310345, 'recall': 0.29411764705882354, 'f1': 0.29787234042553185, 'number': 119}	{'precision': 0.5765529308836396, 'recall': 0.6187793427230047, 'f1': 0.5969202898550725, 'number': 1065}	0.5070	0.5620	0.5331	0.6096
0.4834	15.0	150	1.2604	{'precision': 0.41264559068219636, 'recall': 0.6131025957972805, 'f1': 0.4932869219293884, 'number': 809}	{'precision': 0.3793103448275862, 'recall': 0.2773109243697479, 'f1': 0.32038834951456313, 'number': 119}	{'precision': 0.6035015447991761, 'recall': 0.5502347417840375, 'f1': 0.5756385068762279, 'number': 1065}	0.4934	0.5595	0.5243	0.6207
0.4621	16.0	160	1.2164	{'precision': 0.4373695198329854, 'recall': 0.5179233621755254, 'f1': 0.47425014148273914, 'number': 809}	{'precision': 0.3644859813084112, 'recall': 0.3277310924369748, 'f1': 0.3451327433628319, 'number': 119}	{'precision': 0.5385232744783307, 'recall': 0.6300469483568075, 'f1': 0.5807009952401558, 'number': 1065}	0.4885	0.5665	0.5246	0.6197
0.4211	17.0	170	1.2596	{'precision': 0.4471299093655589, 'recall': 0.5488257107540173, 'f1': 0.4927857935627081, 'number': 809}	{'precision': 0.3229166666666667, 'recall': 0.2605042016806723, 'f1': 0.28837209302325584, 'number': 119}	{'precision': 0.5671641791044776, 'recall': 0.6422535211267606, 'f1': 0.6023778071334215, 'number': 1065}	0.5050	0.5815	0.5406	0.6253
0.3774	18.0	180	1.2991	{'precision': 0.47, 'recall': 0.522867737948084, 'f1': 0.4950263311878291, 'number': 809}	{'precision': 0.32407407407407407, 'recall': 0.29411764705882354, 'f1': 0.30837004405286345, 'number': 119}	{'precision': 0.5509404388714734, 'recall': 0.6600938967136151, 'f1': 0.600598035027766, 'number': 1065}	0.5083	0.5825	0.5429	0.6279
0.359	19.0	190	1.3849	{'precision': 0.45615763546798027, 'recall': 0.5723114956736712, 'f1': 0.5076754385964912, 'number': 809}	{'precision': 0.36633663366336633, 'recall': 0.31092436974789917, 'f1': 0.33636363636363636, 'number': 119}	{'precision': 0.5760576057605761, 'recall': 0.6009389671361502, 'f1': 0.5882352941176471, 'number': 1065}	0.5119	0.5720	0.5403	0.6079
0.3301	20.0	200	1.3047	{'precision': 0.4407239819004525, 'recall': 0.6019777503090235, 'f1': 0.5088819226750262, 'number': 809}	{'precision': 0.3695652173913043, 'recall': 0.2857142857142857, 'f1': 0.3222748815165877, 'number': 119}	{'precision': 0.595724907063197, 'recall': 0.6018779342723005, 'f1': 0.5987856141989725, 'number': 1065}	0.5112	0.5830	0.5448	0.6240
0.3018	21.0	210	1.4471	{'precision': 0.46602972399150744, 'recall': 0.5426452410383189, 'f1': 0.5014277555682467, 'number': 809}	{'precision': 0.32989690721649484, 'recall': 0.2689075630252101, 'f1': 0.2962962962962963, 'number': 119}	{'precision': 0.5692695214105793, 'recall': 0.6366197183098592, 'f1': 0.601063829787234, 'number': 1065}	0.5152	0.5765	0.5442	0.6149
0.2953	22.0	220	1.3775	{'precision': 0.4605263157894737, 'recall': 0.5624227441285538, 'f1': 0.5063995548135781, 'number': 809}	{'precision': 0.3333333333333333, 'recall': 0.3025210084033613, 'f1': 0.3171806167400881, 'number': 119}	{'precision': 0.5631067961165048, 'recall': 0.6535211267605634, 'f1': 0.6049543676662321, 'number': 1065}	0.5090	0.5956	0.5489	0.6281
0.2615	23.0	230	1.4087	{'precision': 0.45692883895131087, 'recall': 0.6032138442521632, 'f1': 0.5199786893979754, 'number': 809}	{'precision': 0.3333333333333333, 'recall': 0.2773109243697479, 'f1': 0.30275229357798167, 'number': 119}	{'precision': 0.5908683974932856, 'recall': 0.6197183098591549, 'f1': 0.6049495875343722, 'number': 1065}	0.5171	0.5926	0.5523	0.6290
0.254	24.0	240	1.3707	{'precision': 0.4535353535353535, 'recall': 0.5550061804697157, 'f1': 0.4991662034463591, 'number': 809}	{'precision': 0.32432432432432434, 'recall': 0.3025210084033613, 'f1': 0.31304347826086953, 'number': 119}	{'precision': 0.5873949579831933, 'recall': 0.6563380281690141, 'f1': 0.6199556541019955, 'number': 1065}	0.5168	0.5941	0.5528	0.6305
0.2387	25.0	250	1.4163	{'precision': 0.4524793388429752, 'recall': 0.5414091470951793, 'f1': 0.49296567248171075, 'number': 809}	{'precision': 0.3333333333333333, 'recall': 0.2773109243697479, 'f1': 0.30275229357798167, 'number': 119}	{'precision': 0.5631372549019608, 'recall': 0.6741784037558686, 'f1': 0.6136752136752136, 'number': 1065}	0.5077	0.5966	0.5486	0.6326
0.2268	26.0	260	1.4138	{'precision': 0.4505386875612145, 'recall': 0.5686032138442522, 'f1': 0.5027322404371585, 'number': 809}	{'precision': 0.36363636363636365, 'recall': 0.2689075630252101, 'f1': 0.30917874396135264, 'number': 119}	{'precision': 0.5654281098546042, 'recall': 0.6572769953051644, 'f1': 0.60790273556231, 'number': 1065}	0.5079	0.5981	0.5493	0.6302
0.2165	27.0	270	1.4642	{'precision': 0.4694533762057878, 'recall': 0.5414091470951793, 'f1': 0.5028702640642939, 'number': 809}	{'precision': 0.3229166666666667, 'recall': 0.2605042016806723, 'f1': 0.28837209302325584, 'number': 119}	{'precision': 0.5489296636085627, 'recall': 0.6741784037558686, 'f1': 0.605141171512853, 'number': 1065}	0.5079	0.5956	0.5483	0.6267
0.2078	28.0	280	1.4767	{'precision': 0.49171270718232046, 'recall': 0.5500618046971569, 'f1': 0.5192532088681446, 'number': 809}	{'precision': 0.3389830508474576, 'recall': 0.33613445378151263, 'f1': 0.3375527426160338, 'number': 119}	{'precision': 0.5939849624060151, 'recall': 0.6676056338028169, 'f1': 0.6286472148541113, 'number': 1065}	0.5387	0.6001	0.5678	0.6361
0.196	29.0	290	1.4066	{'precision': 0.46553446553446554, 'recall': 0.5760197775030902, 'f1': 0.5149171270718232, 'number': 809}	{'precision': 0.375, 'recall': 0.2773109243697479, 'f1': 0.31884057971014496, 'number': 119}	{'precision': 0.5620031796502385, 'recall': 0.6638497652582159, 'f1': 0.6086956521739131, 'number': 1065}	0.5138	0.6051	0.5558	0.6452
0.1834	30.0	300	1.5397	{'precision': 0.4612286002014099, 'recall': 0.5661310259579728, 'f1': 0.5083240843507214, 'number': 809}	{'precision': 0.3235294117647059, 'recall': 0.2773109243697479, 'f1': 0.2986425339366516, 'number': 119}	{'precision': 0.5724815724815725, 'recall': 0.6563380281690141, 'f1': 0.6115485564304461, 'number': 1065}	0.5138	0.5971	0.5523	0.6241
0.1701	31.0	310	1.5250	{'precision': 0.4490566037735849, 'recall': 0.588380716934487, 'f1': 0.50936329588015, 'number': 809}	{'precision': 0.3764705882352941, 'recall': 0.2689075630252101, 'f1': 0.3137254901960785, 'number': 119}	{'precision': 0.5677685950413223, 'recall': 0.6450704225352113, 'f1': 0.6039560439560439, 'number': 1065}	0.5074	0.5996	0.5497	0.6348
0.1659	32.0	320	1.5413	{'precision': 0.466537342386033, 'recall': 0.5945611866501854, 'f1': 0.5228260869565217, 'number': 809}	{'precision': 0.38823529411764707, 'recall': 0.2773109243697479, 'f1': 0.32352941176470584, 'number': 119}	{'precision': 0.587532023911187, 'recall': 0.6460093896713615, 'f1': 0.6153846153846153, 'number': 1065}	0.5256	0.6031	0.5617	0.6350
0.1576	33.0	330	1.5256	{'precision': 0.47274529236868185, 'recall': 0.5896168108776267, 'f1': 0.5247524752475247, 'number': 809}	{'precision': 0.36538461538461536, 'recall': 0.31932773109243695, 'f1': 0.34080717488789236, 'number': 119}	{'precision': 0.5860621326616289, 'recall': 0.6553990610328638, 'f1': 0.6187943262411348, 'number': 1065}	0.5265	0.6086	0.5646	0.6393
0.1444	34.0	340	1.5900	{'precision': 0.4597478176527643, 'recall': 0.5859085290482077, 'f1': 0.5152173913043477, 'number': 809}	{'precision': 0.3870967741935484, 'recall': 0.3025210084033613, 'f1': 0.339622641509434, 'number': 119}	{'precision': 0.5847953216374269, 'recall': 0.6572769953051644, 'f1': 0.6189213085764811, 'number': 1065}	0.5213	0.6071	0.5610	0.6348
0.1447	35.0	350	1.6271	{'precision': 0.4558011049723757, 'recall': 0.6118665018541409, 'f1': 0.5224274406332453, 'number': 809}	{'precision': 0.46153846153846156, 'recall': 0.3025210084033613, 'f1': 0.3654822335025381, 'number': 119}	{'precision': 0.6021602160216022, 'recall': 0.6281690140845071, 'f1': 0.614889705882353, 'number': 1065}	0.5275	0.6021	0.5623	0.6400
0.1403	36.0	360	1.6242	{'precision': 0.4578313253012048, 'recall': 0.6106304079110012, 'f1': 0.5233050847457628, 'number': 809}	{'precision': 0.4177215189873418, 'recall': 0.2773109243697479, 'f1': 0.33333333333333337, 'number': 119}	{'precision': 0.603060306030603, 'recall': 0.6291079812206573, 'f1': 0.6158088235294117, 'number': 1065}	0.5275	0.6006	0.5617	0.6299
0.1302	37.0	370	1.5982	{'precision': 0.4633458646616541, 'recall': 0.6093943139678616, 'f1': 0.5264281900694073, 'number': 809}	{'precision': 0.3162393162393162, 'recall': 0.31092436974789917, 'f1': 0.3135593220338983, 'number': 119}	{'precision': 0.5850877192982457, 'recall': 0.6262910798122066, 'f1': 0.6049886621315193, 'number': 1065}	0.5157	0.6006	0.5549	0.6334
0.127	38.0	380	1.6324	{'precision': 0.4689655172413793, 'recall': 0.588380716934487, 'f1': 0.5219298245614035, 'number': 809}	{'precision': 0.4065934065934066, 'recall': 0.31092436974789917, 'f1': 0.3523809523809524, 'number': 119}	{'precision': 0.6041666666666666, 'recall': 0.6535211267605634, 'f1': 0.6278755074424899, 'number': 1065}	0.5354	0.6066	0.5688	0.6331
0.1224	39.0	390	1.6212	{'precision': 0.46387832699619774, 'recall': 0.6032138442521632, 'f1': 0.5244492208490059, 'number': 809}	{'precision': 0.3977272727272727, 'recall': 0.29411764705882354, 'f1': 0.3381642512077294, 'number': 119}	{'precision': 0.5654320987654321, 'recall': 0.6450704225352113, 'f1': 0.6026315789473683, 'number': 1065}	0.5138	0.6071	0.5566	0.6420
0.1149	40.0	400	1.6236	{'precision': 0.4704081632653061, 'recall': 0.5698393077873919, 'f1': 0.5153717160424818, 'number': 809}	{'precision': 0.4044943820224719, 'recall': 0.3025210084033613, 'f1': 0.34615384615384615, 'number': 119}	{'precision': 0.5826446280991735, 'recall': 0.6619718309859155, 'f1': 0.6197802197802197, 'number': 1065}	0.5274	0.6031	0.5627	0.6345
0.1096	41.0	410	1.6220	{'precision': 0.4804646251319958, 'recall': 0.5624227441285538, 'f1': 0.5182232346241458, 'number': 809}	{'precision': 0.4065934065934066, 'recall': 0.31092436974789917, 'f1': 0.3523809523809524, 'number': 119}	{'precision': 0.5713153724247226, 'recall': 0.6769953051643193, 'f1': 0.6196819939836701, 'number': 1065}	0.5274	0.6086	0.5651	0.6357
0.111	42.0	420	1.6721	{'precision': 0.46367112810707456, 'recall': 0.5995055624227441, 'f1': 0.5229110512129381, 'number': 809}	{'precision': 0.42528735632183906, 'recall': 0.31092436974789917, 'f1': 0.3592233009708738, 'number': 119}	{'precision': 0.6057091882247992, 'recall': 0.6375586854460094, 'f1': 0.6212259835315644, 'number': 1065}	0.5328	0.6026	0.5656	0.6401
0.1052	43.0	430	1.6521	{'precision': 0.4725609756097561, 'recall': 0.5747836835599506, 'f1': 0.5186837702175126, 'number': 809}	{'precision': 0.4166666666666667, 'recall': 0.33613445378151263, 'f1': 0.37209302325581406, 'number': 119}	{'precision': 0.5882838283828383, 'recall': 0.6694835680751173, 'f1': 0.6262626262626263, 'number': 1065}	0.5314	0.6111	0.5685	0.6406
0.1024	44.0	440	1.6361	{'precision': 0.47112462006079026, 'recall': 0.5747836835599506, 'f1': 0.5178173719376392, 'number': 809}	{'precision': 0.43010752688172044, 'recall': 0.33613445378151263, 'f1': 0.37735849056603776, 'number': 119}	{'precision': 0.5836038961038961, 'recall': 0.6751173708920187, 'f1': 0.6260339573356551, 'number': 1065}	0.5294	0.6141	0.5686	0.6430
0.099	45.0	450	1.6565	{'precision': 0.4645222327341533, 'recall': 0.6069221260815822, 'f1': 0.5262593783494106, 'number': 809}	{'precision': 0.43956043956043955, 'recall': 0.33613445378151263, 'f1': 0.380952380952381, 'number': 119}	{'precision': 0.5934819897084048, 'recall': 0.6497652582159624, 'f1': 0.6203496190049306, 'number': 1065}	0.5285	0.6136	0.5679	0.6429
0.0993	46.0	460	1.6493	{'precision': 0.46771037181996084, 'recall': 0.5908529048207664, 'f1': 0.5221190606226106, 'number': 809}	{'precision': 0.43023255813953487, 'recall': 0.31092436974789917, 'f1': 0.36097560975609755, 'number': 119}	{'precision': 0.5841004184100418, 'recall': 0.6553990610328638, 'f1': 0.6176991150442477, 'number': 1065}	0.5267	0.6086	0.5647	0.6373
0.0997	47.0	470	1.6391	{'precision': 0.46400778210116733, 'recall': 0.5896168108776267, 'f1': 0.5193249863908546, 'number': 809}	{'precision': 0.41304347826086957, 'recall': 0.31932773109243695, 'f1': 0.3601895734597156, 'number': 119}	{'precision': 0.5760065735414954, 'recall': 0.6582159624413145, 'f1': 0.614373356704645, 'number': 1065}	0.5203	0.6101	0.5617	0.6411
0.0951	48.0	480	1.6616	{'precision': 0.4644308943089431, 'recall': 0.5648949320148331, 'f1': 0.5097601784718349, 'number': 809}	{'precision': 0.43157894736842106, 'recall': 0.3445378151260504, 'f1': 0.38317757009345793, 'number': 119}	{'precision': 0.5755336617405583, 'recall': 0.6582159624413145, 'f1': 0.6141042487954446, 'number': 1065}	0.5220	0.6016	0.5590	0.6357
0.0957	49.0	490	1.6806	{'precision': 0.46360917248255235, 'recall': 0.5747836835599506, 'f1': 0.5132450331125828, 'number': 809}	{'precision': 0.4418604651162791, 'recall': 0.31932773109243695, 'f1': 0.3707317073170731, 'number': 119}	{'precision': 0.5841666666666666, 'recall': 0.6582159624413145, 'f1': 0.6189845474613687, 'number': 1065}	0.5260	0.6041	0.5624	0.6392
0.0896	50.0	500	1.6784	{'precision': 0.4630541871921182, 'recall': 0.580964153275649, 'f1': 0.5153508771929824, 'number': 809}	{'precision': 0.4470588235294118, 'recall': 0.31932773109243695, 'f1': 0.37254901960784315, 'number': 119}	{'precision': 0.5822259136212624, 'recall': 0.6582159624413145, 'f1': 0.617893345085941, 'number': 1065}	0.5247	0.6066	0.5627	0.6411

Framework versions

• Transformers 4.38.2
• Pytorch 2.2.1+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2