layoutlm-cord-3

This model is a fine-tuned version of microsoft/layoutlm-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1551
• Enu.cnt: {'precision': 0.9817351598173516, 'recall': 0.9772727272727273, 'f1': 0.979498861047836, 'number': 220}
• Enu.discountprice: {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}
• Enu.etc: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}
• Enu.itemsubtotal: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}
• Enu.nm: {'precision': 0.972, 'recall': 0.9681274900398407, 'f1': 0.9700598802395209, 'number': 251}
• Enu.num: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 11}
• Enu.price: {'precision': 0.9683794466403162, 'recall': 0.9959349593495935, 'f1': 0.9819639278557115, 'number': 246}
• Enu.sub.cnt: {'precision': 0.8947368421052632, 'recall': 1.0, 'f1': 0.9444444444444444, 'number': 17}
• Enu.sub.nm: {'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31}
• Enu.sub.price: {'precision': 0.95, 'recall': 0.95, 'f1': 0.9500000000000001, 'number': 20}
• Enu.unitprice: {'precision': 0.9242424242424242, 'recall': 0.9104477611940298, 'f1': 0.9172932330827067, 'number': 67}
• Otal.cashprice: {'precision': 0.9538461538461539, 'recall': 0.9117647058823529, 'f1': 0.9323308270676691, 'number': 68}
• Otal.changeprice: {'precision': 0.9642857142857143, 'recall': 0.9642857142857143, 'f1': 0.9642857142857143, 'number': 56}
• Otal.creditcardprice: {'precision': 0.7647058823529411, 'recall': 0.8125, 'f1': 0.787878787878788, 'number': 16}
• Otal.emoneyprice: {'precision': 0.5, 'recall': 1.0, 'f1': 0.6666666666666666, 'number': 2}
• Otal.menuqty Cnt: {'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}
• Otal.menutype Cnt: {'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 7}
• Otal.total Etc: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}
• Otal.total Price: {'precision': 0.9484536082474226, 'recall': 0.968421052631579, 'f1': 0.9583333333333333, 'number': 95}
• Ub Total.discount Price: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}
• Ub Total.etc: {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}
• Ub Total.service Price: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}
• Ub Total.subtotal Price: {'precision': 0.9402985074626866, 'recall': 0.9692307692307692, 'f1': 0.9545454545454547, 'number': 65}
• Ub Total.tax Price: {'precision': 0.9772727272727273, 'recall': 1.0, 'f1': 0.9885057471264368, 'number': 43}
• Overall Precision: 0.9560
• Overall Recall: 0.9560
• Overall F1: 0.9560
• Overall Accuracy: 0.9732

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 32
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 15
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Enu.cnt	Enu.discountprice	Enu.etc	Enu.itemsubtotal	Enu.nm	Enu.num	Enu.price	Enu.sub.cnt	Enu.sub.nm	Enu.sub.price	Enu.unitprice	Otal.cashprice	Otal.changeprice	Otal.creditcardprice	Otal.emoneyprice	Otal.menuqty Cnt	Otal.menutype Cnt	Otal.total Etc	Otal.total Price	Ub Total.discount Price	Ub Total.etc	Ub Total.service Price	Ub Total.subtotal Price	Ub Total.tax Price	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
2.2284	1.0	25	1.3305	{'precision': 0.7640449438202247, 'recall': 0.9272727272727272, 'f1': 0.8377823408624229, 'number': 220}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.6494252873563219, 'recall': 0.900398406374502, 'f1': 0.7545909849749582, 'number': 251}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 11}	{'precision': 0.5171503957783641, 'recall': 0.7967479674796748, 'f1': 0.6272, 'number': 246}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 31}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 20}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 67}	{'precision': 0.25, 'recall': 0.4117647058823529, 'f1': 0.3111111111111111, 'number': 68}	{'precision': 0.11428571428571428, 'recall': 0.14285714285714285, 'f1': 0.12698412698412698, 'number': 56}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 16}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 29}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.2978723404255319, 'recall': 0.5894736842105263, 'f1': 0.3957597173144876, 'number': 95}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.047619047619047616, 'recall': 0.046153846153846156, 'f1': 0.046875, 'number': 65}	{'precision': 0.08450704225352113, 'recall': 0.13953488372093023, 'f1': 0.10526315789473684, 'number': 43}	0.4802	0.5618	0.5178	0.6786
1.0492	2.0	50	0.6552	{'precision': 0.8699186991869918, 'recall': 0.9727272727272728, 'f1': 0.9184549356223175, 'number': 220}	{'precision': 0.6, 'recall': 0.3, 'f1': 0.4, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.823321554770318, 'recall': 0.9282868525896414, 'f1': 0.8726591760299625, 'number': 251}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 11}	{'precision': 0.7363013698630136, 'recall': 0.8739837398373984, 'f1': 0.7992565055762081, 'number': 246}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17}	{'precision': 0.4, 'recall': 0.12903225806451613, 'f1': 0.1951219512195122, 'number': 31}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 20}	{'precision': 0.88, 'recall': 0.3283582089552239, 'f1': 0.4782608695652174, 'number': 67}	{'precision': 0.7272727272727273, 'recall': 0.8235294117647058, 'f1': 0.7724137931034483, 'number': 68}	{'precision': 0.6575342465753424, 'recall': 0.8571428571428571, 'f1': 0.7441860465116279, 'number': 56}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 16}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2}	{'precision': 0.5, 'recall': 0.5172413793103449, 'f1': 0.5084745762711865, 'number': 29}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.7685185185185185, 'recall': 0.8736842105263158, 'f1': 0.8177339901477831, 'number': 95}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 12}	{'precision': 0.8260869565217391, 'recall': 0.8769230769230769, 'f1': 0.8507462686567164, 'number': 65}	{'precision': 0.3387096774193548, 'recall': 0.4883720930232558, 'f1': 0.4, 'number': 43}	0.7539	0.7504	0.7521	0.8206
0.5737	3.0	75	0.3999	{'precision': 0.8693877551020408, 'recall': 0.9681818181818181, 'f1': 0.9161290322580645, 'number': 220}	{'precision': 0.6666666666666666, 'recall': 0.6, 'f1': 0.631578947368421, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.8534798534798534, 'recall': 0.9282868525896414, 'f1': 0.8893129770992366, 'number': 251}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 11}	{'precision': 0.9166666666666666, 'recall': 0.983739837398374, 'f1': 0.9490196078431372, 'number': 246}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17}	{'precision': 0.5833333333333334, 'recall': 0.45161290322580644, 'f1': 0.509090909090909, 'number': 31}	{'precision': 1.0, 'recall': 0.4, 'f1': 0.5714285714285715, 'number': 20}	{'precision': 0.8676470588235294, 'recall': 0.8805970149253731, 'f1': 0.874074074074074, 'number': 67}	{'precision': 0.8923076923076924, 'recall': 0.8529411764705882, 'f1': 0.8721804511278195, 'number': 68}	{'precision': 0.8524590163934426, 'recall': 0.9285714285714286, 'f1': 0.888888888888889, 'number': 56}	{'precision': 0.631578947368421, 'recall': 0.75, 'f1': 0.6857142857142857, 'number': 16}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2}	{'precision': 0.5714285714285714, 'recall': 0.6896551724137931, 'f1': 0.625, 'number': 29}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9090909090909091, 'recall': 0.9473684210526315, 'f1': 0.9278350515463918, 'number': 95}	{'precision': 0.6666666666666666, 'recall': 0.2857142857142857, 'f1': 0.4, 'number': 7}	{'precision': 0.5, 'recall': 0.3333333333333333, 'f1': 0.4, 'number': 9}	{'precision': 0.75, 'recall': 0.75, 'f1': 0.75, 'number': 12}	{'precision': 0.8985507246376812, 'recall': 0.9538461538461539, 'f1': 0.9253731343283582, 'number': 65}	{'precision': 0.7169811320754716, 'recall': 0.8837209302325582, 'f1': 0.7916666666666666, 'number': 43}	0.8538	0.8663	0.8600	0.9018
0.3586	4.0	100	0.2909	{'precision': 0.8801652892561983, 'recall': 0.9681818181818181, 'f1': 0.922077922077922, 'number': 220}	{'precision': 0.875, 'recall': 0.7, 'f1': 0.7777777777777777, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.8981132075471698, 'recall': 0.9482071713147411, 'f1': 0.9224806201550388, 'number': 251}	{'precision': 1.0, 'recall': 0.6363636363636364, 'f1': 0.7777777777777778, 'number': 11}	{'precision': 0.9315589353612167, 'recall': 0.9959349593495935, 'f1': 0.962671905697446, 'number': 246}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17}	{'precision': 0.7586206896551724, 'recall': 0.7096774193548387, 'f1': 0.7333333333333333, 'number': 31}	{'precision': 1.0, 'recall': 0.65, 'f1': 0.787878787878788, 'number': 20}	{'precision': 0.8823529411764706, 'recall': 0.8955223880597015, 'f1': 0.888888888888889, 'number': 67}	{'precision': 0.921875, 'recall': 0.8676470588235294, 'f1': 0.893939393939394, 'number': 68}	{'precision': 0.8983050847457628, 'recall': 0.9464285714285714, 'f1': 0.9217391304347826, 'number': 56}	{'precision': 0.6111111111111112, 'recall': 0.6875, 'f1': 0.6470588235294118, 'number': 16}	{'precision': 1.0, 'recall': 0.5, 'f1': 0.6666666666666666, 'number': 2}	{'precision': 0.7419354838709677, 'recall': 0.7931034482758621, 'f1': 0.7666666666666667, 'number': 29}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9175257731958762, 'recall': 0.9368421052631579, 'f1': 0.9270833333333333, 'number': 95}	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 7}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 0.8461538461538461, 'recall': 0.9166666666666666, 'f1': 0.8799999999999999, 'number': 12}	{'precision': 0.9393939393939394, 'recall': 0.9538461538461539, 'f1': 0.9465648854961831, 'number': 65}	{'precision': 0.9318181818181818, 'recall': 0.9534883720930233, 'f1': 0.942528735632184, 'number': 43}	0.8957	0.9026	0.8992	0.9337
0.2476	5.0	125	0.2116	{'precision': 0.963963963963964, 'recall': 0.9727272727272728, 'f1': 0.9683257918552037, 'number': 220}	{'precision': 0.875, 'recall': 0.7, 'f1': 0.7777777777777777, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.9224806201550387, 'recall': 0.9482071713147411, 'f1': 0.9351669941060905, 'number': 251}	{'precision': 1.0, 'recall': 0.6363636363636364, 'f1': 0.7777777777777778, 'number': 11}	{'precision': 0.9496124031007752, 'recall': 0.9959349593495935, 'f1': 0.9722222222222223, 'number': 246}	{'precision': 0.9333333333333333, 'recall': 0.8235294117647058, 'f1': 0.8749999999999999, 'number': 17}	{'precision': 0.78125, 'recall': 0.8064516129032258, 'f1': 0.7936507936507936, 'number': 31}	{'precision': 1.0, 'recall': 0.75, 'f1': 0.8571428571428571, 'number': 20}	{'precision': 0.8823529411764706, 'recall': 0.8955223880597015, 'f1': 0.888888888888889, 'number': 67}	{'precision': 0.9375, 'recall': 0.8823529411764706, 'f1': 0.9090909090909091, 'number': 68}	{'precision': 0.9310344827586207, 'recall': 0.9642857142857143, 'f1': 0.9473684210526316, 'number': 56}	{'precision': 0.7368421052631579, 'recall': 0.875, 'f1': 0.7999999999999999, 'number': 16}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 2}	{'precision': 0.75, 'recall': 0.8275862068965517, 'f1': 0.7868852459016394, 'number': 29}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9285714285714286, 'recall': 0.9578947368421052, 'f1': 0.9430051813471502, 'number': 95}	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 7}	{'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.9393939393939394, 'recall': 0.9538461538461539, 'f1': 0.9465648854961831, 'number': 65}	{'precision': 0.9545454545454546, 'recall': 0.9767441860465116, 'f1': 0.9655172413793104, 'number': 43}	0.9273	0.9266	0.9269	0.9515
0.1798	6.0	150	0.1988	{'precision': 0.960352422907489, 'recall': 0.990909090909091, 'f1': 0.9753914988814317, 'number': 220}	{'precision': 0.75, 'recall': 0.6, 'f1': 0.6666666666666665, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.9266409266409267, 'recall': 0.9561752988047809, 'f1': 0.9411764705882354, 'number': 251}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 11}	{'precision': 0.953307392996109, 'recall': 0.9959349593495935, 'f1': 0.9741550695825051, 'number': 246}	{'precision': 1.0, 'recall': 0.9411764705882353, 'f1': 0.9696969696969697, 'number': 17}	{'precision': 0.8064516129032258, 'recall': 0.8064516129032258, 'f1': 0.8064516129032258, 'number': 31}	{'precision': 0.9411764705882353, 'recall': 0.8, 'f1': 0.8648648648648648, 'number': 20}	{'precision': 0.8695652173913043, 'recall': 0.8955223880597015, 'f1': 0.8823529411764706, 'number': 67}	{'precision': 0.9242424242424242, 'recall': 0.8970588235294118, 'f1': 0.9104477611940298, 'number': 68}	{'precision': 0.9310344827586207, 'recall': 0.9642857142857143, 'f1': 0.9473684210526316, 'number': 56}	{'precision': 0.6842105263157895, 'recall': 0.8125, 'f1': 0.742857142857143, 'number': 16}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 2}	{'precision': 0.71875, 'recall': 0.7931034482758621, 'f1': 0.7540983606557378, 'number': 29}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9278350515463918, 'recall': 0.9473684210526315, 'f1': 0.9374999999999999, 'number': 95}	{'precision': 0.8571428571428571, 'recall': 0.8571428571428571, 'f1': 0.8571428571428571, 'number': 7}	{'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.9402985074626866, 'recall': 0.9692307692307692, 'f1': 0.9545454545454547, 'number': 65}	{'precision': 0.9772727272727273, 'recall': 1.0, 'f1': 0.9885057471264368, 'number': 43}	0.9265	0.9359	0.9312	0.9549
0.1404	7.0	175	0.1749	{'precision': 0.9861751152073732, 'recall': 0.9727272727272728, 'f1': 0.9794050343249429, 'number': 220}	{'precision': 0.875, 'recall': 0.7, 'f1': 0.7777777777777777, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.9404761904761905, 'recall': 0.9442231075697212, 'f1': 0.9423459244532804, 'number': 251}	{'precision': 0.9166666666666666, 'recall': 1.0, 'f1': 0.9565217391304348, 'number': 11}	{'precision': 0.9682539682539683, 'recall': 0.991869918699187, 'f1': 0.9799196787148594, 'number': 246}	{'precision': 0.8095238095238095, 'recall': 1.0, 'f1': 0.8947368421052632, 'number': 17}	{'precision': 0.7142857142857143, 'recall': 0.967741935483871, 'f1': 0.821917808219178, 'number': 31}	{'precision': 0.9047619047619048, 'recall': 0.95, 'f1': 0.9268292682926829, 'number': 20}	{'precision': 0.8970588235294118, 'recall': 0.9104477611940298, 'f1': 0.9037037037037037, 'number': 67}	{'precision': 0.967741935483871, 'recall': 0.8823529411764706, 'f1': 0.923076923076923, 'number': 68}	{'precision': 0.9482758620689655, 'recall': 0.9821428571428571, 'f1': 0.9649122807017544, 'number': 56}	{'precision': 0.6842105263157895, 'recall': 0.8125, 'f1': 0.742857142857143, 'number': 16}	{'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 2}	{'precision': 0.8387096774193549, 'recall': 0.896551724137931, 'f1': 0.8666666666666666, 'number': 29}	{'precision': 0.5, 'recall': 0.2857142857142857, 'f1': 0.36363636363636365, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9381443298969072, 'recall': 0.9578947368421052, 'f1': 0.9479166666666666, 'number': 95}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 0.9166666666666666, 'recall': 0.9166666666666666, 'f1': 0.9166666666666666, 'number': 12}	{'precision': 0.9264705882352942, 'recall': 0.9692307692307692, 'f1': 0.9473684210526316, 'number': 65}	{'precision': 0.9130434782608695, 'recall': 0.9767441860465116, 'f1': 0.9438202247191011, 'number': 43}	0.9312	0.9420	0.9366	0.9592
0.1111	8.0	200	0.1745	{'precision': 0.9817351598173516, 'recall': 0.9772727272727273, 'f1': 0.979498861047836, 'number': 220}	{'precision': 0.7, 'recall': 0.7, 'f1': 0.7, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.9409448818897638, 'recall': 0.952191235059761, 'f1': 0.9465346534653465, 'number': 251}	{'precision': 0.9166666666666666, 'recall': 1.0, 'f1': 0.9565217391304348, 'number': 11}	{'precision': 0.9606299212598425, 'recall': 0.991869918699187, 'f1': 0.976, 'number': 246}	{'precision': 0.85, 'recall': 1.0, 'f1': 0.9189189189189189, 'number': 17}	{'precision': 0.8285714285714286, 'recall': 0.9354838709677419, 'f1': 0.8787878787878788, 'number': 31}	{'precision': 0.9473684210526315, 'recall': 0.9, 'f1': 0.9230769230769231, 'number': 20}	{'precision': 0.8955223880597015, 'recall': 0.8955223880597015, 'f1': 0.8955223880597015, 'number': 67}	{'precision': 0.967741935483871, 'recall': 0.8823529411764706, 'f1': 0.923076923076923, 'number': 68}	{'precision': 0.9152542372881356, 'recall': 0.9642857142857143, 'f1': 0.9391304347826087, 'number': 56}	{'precision': 0.7222222222222222, 'recall': 0.8125, 'f1': 0.7647058823529411, 'number': 16}	{'precision': 1.0, 'recall': 0.5, 'f1': 0.6666666666666666, 'number': 2}	{'precision': 0.8387096774193549, 'recall': 0.896551724137931, 'f1': 0.8666666666666666, 'number': 29}	{'precision': 0.6666666666666666, 'recall': 0.2857142857142857, 'f1': 0.4, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9381443298969072, 'recall': 0.9578947368421052, 'f1': 0.9479166666666666, 'number': 95}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.9402985074626866, 'recall': 0.9692307692307692, 'f1': 0.9545454545454547, 'number': 65}	{'precision': 0.9772727272727273, 'recall': 1.0, 'f1': 0.9885057471264368, 'number': 43}	0.9377	0.9420	0.9399	0.9626
0.0999	9.0	225	0.1637	{'precision': 0.9773755656108597, 'recall': 0.9818181818181818, 'f1': 0.9795918367346939, 'number': 220}	{'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.952755905511811, 'recall': 0.9641434262948207, 'f1': 0.9584158415841584, 'number': 251}	{'precision': 0.9166666666666666, 'recall': 1.0, 'f1': 0.9565217391304348, 'number': 11}	{'precision': 0.95703125, 'recall': 0.9959349593495935, 'f1': 0.9760956175298804, 'number': 246}	{'precision': 0.8947368421052632, 'recall': 1.0, 'f1': 0.9444444444444444, 'number': 17}	{'precision': 0.9354838709677419, 'recall': 0.9354838709677419, 'f1': 0.9354838709677419, 'number': 31}	{'precision': 0.9473684210526315, 'recall': 0.9, 'f1': 0.9230769230769231, 'number': 20}	{'precision': 0.9242424242424242, 'recall': 0.9104477611940298, 'f1': 0.9172932330827067, 'number': 67}	{'precision': 0.953125, 'recall': 0.8970588235294118, 'f1': 0.9242424242424244, 'number': 68}	{'precision': 0.9, 'recall': 0.9642857142857143, 'f1': 0.9310344827586207, 'number': 56}	{'precision': 0.8125, 'recall': 0.8125, 'f1': 0.8125, 'number': 16}	{'precision': 0.5, 'recall': 0.5, 'f1': 0.5, 'number': 2}	{'precision': 0.9, 'recall': 0.9310344827586207, 'f1': 0.9152542372881356, 'number': 29}	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9587628865979382, 'recall': 0.9789473684210527, 'f1': 0.96875, 'number': 95}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}	{'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.9264705882352942, 'recall': 0.9692307692307692, 'f1': 0.9473684210526316, 'number': 65}	{'precision': 0.9772727272727273, 'recall': 1.0, 'f1': 0.9885057471264368, 'number': 43}	0.9463	0.9529	0.9496	0.9694
0.0847	10.0	250	0.1764	{'precision': 0.9773755656108597, 'recall': 0.9818181818181818, 'f1': 0.9795918367346939, 'number': 220}	{'precision': 0.8, 'recall': 0.8, 'f1': 0.8000000000000002, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.9606299212598425, 'recall': 0.9721115537848606, 'f1': 0.9663366336633663, 'number': 251}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 11}	{'precision': 0.9607843137254902, 'recall': 0.9959349593495935, 'f1': 0.9780439121756488, 'number': 246}	{'precision': 0.8947368421052632, 'recall': 1.0, 'f1': 0.9444444444444444, 'number': 17}	{'precision': 0.8387096774193549, 'recall': 0.8387096774193549, 'f1': 0.8387096774193549, 'number': 31}	{'precision': 0.9473684210526315, 'recall': 0.9, 'f1': 0.9230769230769231, 'number': 20}	{'precision': 0.9242424242424242, 'recall': 0.9104477611940298, 'f1': 0.9172932330827067, 'number': 67}	{'precision': 0.9545454545454546, 'recall': 0.9264705882352942, 'f1': 0.9402985074626866, 'number': 68}	{'precision': 0.9310344827586207, 'recall': 0.9642857142857143, 'f1': 0.9473684210526316, 'number': 56}	{'precision': 0.8125, 'recall': 0.8125, 'f1': 0.8125, 'number': 16}	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 2}	{'precision': 0.8666666666666667, 'recall': 0.896551724137931, 'f1': 0.8813559322033899, 'number': 29}	{'precision': 1.0, 'recall': 0.42857142857142855, 'f1': 0.6, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9285714285714286, 'recall': 0.9578947368421052, 'f1': 0.9430051813471502, 'number': 95}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.9264705882352942, 'recall': 0.9692307692307692, 'f1': 0.9473684210526316, 'number': 65}	{'precision': 0.9772727272727273, 'recall': 1.0, 'f1': 0.9885057471264368, 'number': 43}	0.9447	0.9498	0.9472	0.9656
0.0761	11.0	275	0.1647	{'precision': 0.9818181818181818, 'recall': 0.9818181818181818, 'f1': 0.9818181818181818, 'number': 220}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.9682539682539683, 'recall': 0.9721115537848606, 'f1': 0.9701789264413518, 'number': 251}	{'precision': 0.9166666666666666, 'recall': 1.0, 'f1': 0.9565217391304348, 'number': 11}	{'precision': 0.9645669291338582, 'recall': 0.9959349593495935, 'f1': 0.98, 'number': 246}	{'precision': 0.8947368421052632, 'recall': 1.0, 'f1': 0.9444444444444444, 'number': 17}	{'precision': 0.9354838709677419, 'recall': 0.9354838709677419, 'f1': 0.9354838709677419, 'number': 31}	{'precision': 0.95, 'recall': 0.95, 'f1': 0.9500000000000001, 'number': 20}	{'precision': 0.9384615384615385, 'recall': 0.9104477611940298, 'f1': 0.9242424242424243, 'number': 67}	{'precision': 0.9538461538461539, 'recall': 0.9117647058823529, 'f1': 0.9323308270676691, 'number': 68}	{'precision': 0.9473684210526315, 'recall': 0.9642857142857143, 'f1': 0.9557522123893805, 'number': 56}	{'precision': 0.8125, 'recall': 0.8125, 'f1': 0.8125, 'number': 16}	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 2}	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9484536082474226, 'recall': 0.968421052631579, 'f1': 0.9583333333333333, 'number': 95}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.9264705882352942, 'recall': 0.9692307692307692, 'f1': 0.9473684210526316, 'number': 65}	{'precision': 0.9772727272727273, 'recall': 1.0, 'f1': 0.9885057471264368, 'number': 43}	0.9537	0.9560	0.9548	0.9711
0.0648	12.0	300	0.1609	{'precision': 0.9863013698630136, 'recall': 0.9818181818181818, 'f1': 0.9840546697038723, 'number': 220}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.9721115537848606, 'recall': 0.9721115537848606, 'f1': 0.9721115537848606, 'number': 251}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 11}	{'precision': 0.9683794466403162, 'recall': 0.9959349593495935, 'f1': 0.9819639278557115, 'number': 246}	{'precision': 0.8947368421052632, 'recall': 1.0, 'f1': 0.9444444444444444, 'number': 17}	{'precision': 0.8787878787878788, 'recall': 0.9354838709677419, 'f1': 0.90625, 'number': 31}	{'precision': 0.95, 'recall': 0.95, 'f1': 0.9500000000000001, 'number': 20}	{'precision': 0.9393939393939394, 'recall': 0.9253731343283582, 'f1': 0.9323308270676692, 'number': 67}	{'precision': 0.9538461538461539, 'recall': 0.9117647058823529, 'f1': 0.9323308270676691, 'number': 68}	{'precision': 0.9152542372881356, 'recall': 0.9642857142857143, 'f1': 0.9391304347826087, 'number': 56}	{'precision': 0.7647058823529411, 'recall': 0.8125, 'f1': 0.787878787878788, 'number': 16}	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 2}	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.92, 'recall': 0.968421052631579, 'f1': 0.9435897435897437, 'number': 95}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}	{'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.953125, 'recall': 0.9384615384615385, 'f1': 0.9457364341085271, 'number': 65}	{'precision': 0.9555555555555556, 'recall': 1.0, 'f1': 0.9772727272727273, 'number': 43}	0.9515	0.9544	0.9529	0.9702
0.0554	13.0	325	0.1558	{'precision': 0.9861751152073732, 'recall': 0.9727272727272728, 'f1': 0.9794050343249429, 'number': 220}	{'precision': 0.8, 'recall': 0.8, 'f1': 0.8000000000000002, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.968, 'recall': 0.9641434262948207, 'f1': 0.9660678642714571, 'number': 251}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 11}	{'precision': 0.9683794466403162, 'recall': 0.9959349593495935, 'f1': 0.9819639278557115, 'number': 246}	{'precision': 0.8947368421052632, 'recall': 1.0, 'f1': 0.9444444444444444, 'number': 17}	{'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31}	{'precision': 0.95, 'recall': 0.95, 'f1': 0.9500000000000001, 'number': 20}	{'precision': 0.9393939393939394, 'recall': 0.9253731343283582, 'f1': 0.9323308270676692, 'number': 67}	{'precision': 0.9692307692307692, 'recall': 0.9264705882352942, 'f1': 0.9473684210526316, 'number': 68}	{'precision': 0.9310344827586207, 'recall': 0.9642857142857143, 'f1': 0.9473684210526316, 'number': 56}	{'precision': 0.7647058823529411, 'recall': 0.8125, 'f1': 0.787878787878788, 'number': 16}	{'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 2}	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9484536082474226, 'recall': 0.968421052631579, 'f1': 0.9583333333333333, 'number': 95}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.9402985074626866, 'recall': 0.9692307692307692, 'f1': 0.9545454545454547, 'number': 65}	{'precision': 0.9772727272727273, 'recall': 1.0, 'f1': 0.9885057471264368, 'number': 43}	0.9536	0.9536	0.9536	0.9724
0.0517	14.0	350	0.1571	{'precision': 0.981651376146789, 'recall': 0.9727272727272728, 'f1': 0.9771689497716896, 'number': 220}	{'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.968, 'recall': 0.9641434262948207, 'f1': 0.9660678642714571, 'number': 251}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 11}	{'precision': 0.9683794466403162, 'recall': 0.9959349593495935, 'f1': 0.9819639278557115, 'number': 246}	{'precision': 0.8947368421052632, 'recall': 1.0, 'f1': 0.9444444444444444, 'number': 17}	{'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31}	{'precision': 0.95, 'recall': 0.95, 'f1': 0.9500000000000001, 'number': 20}	{'precision': 0.9242424242424242, 'recall': 0.9104477611940298, 'f1': 0.9172932330827067, 'number': 67}	{'precision': 0.9692307692307692, 'recall': 0.9264705882352942, 'f1': 0.9473684210526316, 'number': 68}	{'precision': 0.9473684210526315, 'recall': 0.9642857142857143, 'f1': 0.9557522123893805, 'number': 56}	{'precision': 0.7222222222222222, 'recall': 0.8125, 'f1': 0.7647058823529411, 'number': 16}	{'precision': 0.5, 'recall': 0.5, 'f1': 0.5, 'number': 2}	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9484536082474226, 'recall': 0.968421052631579, 'f1': 0.9583333333333333, 'number': 95}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.9545454545454546, 'recall': 0.9692307692307692, 'f1': 0.9618320610687022, 'number': 65}	{'precision': 0.9772727272727273, 'recall': 1.0, 'f1': 0.9885057471264368, 'number': 43}	0.9551	0.9536	0.9544	0.9719
0.05	15.0	375	0.1551	{'precision': 0.9817351598173516, 'recall': 0.9772727272727273, 'f1': 0.979498861047836, 'number': 220}	{'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 6}	{'precision': 0.972, 'recall': 0.9681274900398407, 'f1': 0.9700598802395209, 'number': 251}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 11}	{'precision': 0.9683794466403162, 'recall': 0.9959349593495935, 'f1': 0.9819639278557115, 'number': 246}	{'precision': 0.8947368421052632, 'recall': 1.0, 'f1': 0.9444444444444444, 'number': 17}	{'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31}	{'precision': 0.95, 'recall': 0.95, 'f1': 0.9500000000000001, 'number': 20}	{'precision': 0.9242424242424242, 'recall': 0.9104477611940298, 'f1': 0.9172932330827067, 'number': 67}	{'precision': 0.9538461538461539, 'recall': 0.9117647058823529, 'f1': 0.9323308270676691, 'number': 68}	{'precision': 0.9642857142857143, 'recall': 0.9642857142857143, 'f1': 0.9642857142857143, 'number': 56}	{'precision': 0.7647058823529411, 'recall': 0.8125, 'f1': 0.787878787878788, 'number': 16}	{'precision': 0.5, 'recall': 1.0, 'f1': 0.6666666666666666, 'number': 2}	{'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29}	{'precision': 0.8, 'recall': 0.5714285714285714, 'f1': 0.6666666666666666, 'number': 7}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9484536082474226, 'recall': 0.968421052631579, 'f1': 0.9583333333333333, 'number': 95}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 7}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 12}	{'precision': 0.9402985074626866, 'recall': 0.9692307692307692, 'f1': 0.9545454545454547, 'number': 65}	{'precision': 0.9772727272727273, 'recall': 1.0, 'f1': 0.9885057471264368, 'number': 43}	0.9560	0.9560	0.9560	0.9732

Framework versions

• Transformers 4.36.0
• Pytorch 2.0.0
• Datasets 2.16.1
• Tokenizers 0.15.0