mnavas/bert-finetuned-token-reqsolvgencat

beto-finetuned-token-reqsolvgencat

This model is a fine-tuned version of bert-base-multilingual-cased on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 2.0573
• Precision: 0.1111
• Recall: 0.5
• F1: 0.1818
• Accuracy: 0.7765

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 200

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
0.8551	1.0	3	1.1478	0.0	0.0	0.0	0.4696
1.4354	2.0	6	0.7403	0.0	0.0	0.0	0.6088
0.6532	3.0	9	0.6900	0.0	0.0	0.0	0.6010
0.406	4.0	12	2.0318	0.0	0.0	0.0	0.5284
1.3514	5.0	15	1.3364	0.0	0.0	0.0	0.6186
0.419	6.0	18	0.9463	0.0	0.0	0.0	0.6
0.4816	7.0	21	0.9409	0.0	0.0	0.0	0.6314
0.8621	8.0	24	0.9034	0.0	0.0	0.0	0.7010
0.2981	9.0	27	0.9617	0.0	0.0	0.0	0.6039
0.5882	10.0	30	0.5289	0.0	0.0	0.0	0.8
0.4327	11.0	33	0.6573	0.2	0.5	0.2857	0.7882
0.2076	12.0	36	0.9207	0.0	0.0	0.0	0.6784
0.1454	13.0	39	0.7729	0.0	0.0	0.0	0.7882
0.2339	14.0	42	0.9067	0.0	0.0	0.0	0.7608
0.2281	15.0	45	0.4732	0.0	0.0	0.0	0.7892
0.1058	16.0	48	0.8219	0.0667	0.5	0.1176	0.7961
0.0577	17.0	51	0.9698	0.1429	0.5	0.2222	0.8147
0.0354	18.0	54	1.3158	0.0714	0.5	0.125	0.7549
0.0258	19.0	57	2.2414	0.1667	0.5	0.25	0.6941
0.0456	20.0	60	1.2596	0.0667	0.5	0.1176	0.7520
0.0339	21.0	63	1.8941	0.1667	0.5	0.25	0.7069
0.02	22.0	66	1.0201	0.1	0.5	0.1667	0.7941
0.0257	23.0	69	1.4716	0.0909	0.5	0.1538	0.7716
0.0148	24.0	72	2.6551	0.0	0.0	0.0	0.6853
0.0257	25.0	75	1.7904	0.125	0.5	0.2	0.7324
0.0183	26.0	78	2.2579	0.2	0.5	0.2857	0.7078
0.0218	27.0	81	1.3332	0.1667	0.5	0.25	0.7137
0.0148	28.0	84	0.7506	0.0769	0.5	0.1333	0.8696
0.0081	29.0	87	2.2165	0.1667	0.5	0.25	0.7059
0.0098	30.0	90	2.5291	0.2	0.5	0.2857	0.7
0.0072	31.0	93	2.5877	0.25	0.5	0.3333	0.6990
0.0162	32.0	96	2.7463	0.1667	0.5	0.25	0.6941
0.0073	33.0	99	2.2100	0.1429	0.5	0.2222	0.7176
0.0057	34.0	102	1.5509	0.0769	0.5	0.1333	0.7814
0.0077	35.0	105	1.8449	0.1111	0.5	0.1818	0.7578
0.0071	36.0	108	2.3808	0.3333	0.5	0.4	0.7127
0.0063	37.0	111	1.1188	0.125	0.5	0.2	0.8598
0.0067	38.0	114	1.7108	0.0	0.0	0.0	0.7892
0.0063	39.0	117	1.8995	0.1	0.5	0.1667	0.7363
0.0086	40.0	120	2.0472	0.1667	0.5	0.25	0.7137
0.0028	41.0	123	1.8879	0.1111	0.5	0.1818	0.7245
0.0084	42.0	126	1.9545	0.1667	0.5	0.25	0.7157
0.0018	43.0	129	2.5274	0.0	0.0	0.0	0.6922
0.0031	44.0	132	2.0330	0.0909	0.5	0.1538	0.7245
0.0034	45.0	135	0.9381	0.1	0.5	0.1667	0.8569
0.0016	46.0	138	0.6307	0.1111	0.5	0.1818	0.8980
0.0011	47.0	141	0.7823	0.0667	0.5	0.1176	0.8676
0.0021	48.0	144	1.1034	0.0909	0.5	0.1538	0.8373
0.0025	49.0	147	1.4482	0.2	0.5	0.2857	0.8108
0.0023	50.0	150	1.5541	0.1667	0.5	0.25	0.8069
0.0007	51.0	153	1.7164	0.1667	0.5	0.25	0.8010
0.0002	52.0	156	1.8291	0.1667	0.5	0.25	0.7941
0.0002	53.0	159	1.8918	0.1429	0.5	0.2222	0.7892
0.0016	54.0	162	1.8814	0.2	0.5	0.2857	0.7961
0.0013	55.0	165	1.8920	0.1	0.5	0.1667	0.7873
0.0009	56.0	168	1.8802	0.1	0.5	0.1667	0.7843
0.0017	57.0	171	1.7839	0.1111	0.5	0.1818	0.8
0.0028	58.0	174	1.7409	0.1	0.5	0.1667	0.7961
0.0029	59.0	177	2.1381	0.1	0.5	0.1667	0.7196
0.0008	60.0	180	2.4554	0.125	0.5	0.2	0.6922
0.0012	61.0	183	2.7071	0.125	0.5	0.2	0.6676
0.0011	62.0	186	2.5624	0.125	0.5	0.2	0.6814
0.0009	63.0	189	2.1029	0.2	0.5	0.2857	0.7363
0.0011	64.0	192	1.5984	0.125	0.5	0.2	0.7804
0.0005	65.0	195	1.4155	0.0909	0.5	0.1538	0.8088
0.001	66.0	198	1.3276	0.1111	0.5	0.1818	0.8225
0.0002	67.0	201	1.2844	0.1429	0.5	0.2222	0.8255
0.0076	68.0	204	1.2601	0.1667	0.5	0.25	0.8275
0.0003	69.0	207	1.3359	0.1429	0.5	0.2222	0.8343
0.0027	70.0	210	1.2452	0.25	0.5	0.3333	0.8363
0.004	71.0	213	1.7228	0.1	0.5	0.1667	0.7775
0.0004	72.0	216	2.7878	0.5	0.5	0.5	0.6804
1.1257	73.0	219	2.5785	0.5	0.5	0.5	0.6804
0.0209	74.0	222	0.1081	0.1111	0.5	0.1818	0.9775
0.0486	75.0	225	1.5039	0.0667	0.5	0.1176	0.7784
0.0012	76.0	228	3.2975	0.0	0.0	0.0	0.6098
0.0929	77.0	231	2.4796	0.3333	0.5	0.4	0.6618
0.0006	78.0	234	1.6117	0.125	0.5	0.2	0.7951
0.0077	79.0	237	1.8651	0.125	0.5	0.2	0.7127
0.0032	80.0	240	2.0187	0.1667	0.5	0.25	0.6873
0.0007	81.0	243	1.9540	0.1	0.5	0.1667	0.6902
0.0011	82.0	246	1.8161	0.0714	0.5	0.125	0.7275
0.0009	83.0	249	1.7688	0.1111	0.5	0.1818	0.7657
0.0006	84.0	252	1.7025	0.1667	0.5	0.25	0.7912
0.0003	85.0	255	1.6924	0.2	0.5	0.2857	0.7980
0.0004	86.0	258	1.7019	0.1667	0.5	0.25	0.7980
0.0008	87.0	261	1.7386	0.2	0.5	0.2857	0.7971
0.0002	88.0	264	1.7882	0.1667	0.5	0.25	0.7961
0.0001	89.0	267	1.8405	0.0833	0.5	0.1429	0.7833
0.0004	90.0	270	1.8319	0.125	0.5	0.2	0.7931
0.0003	91.0	273	1.8520	0.125	0.5	0.2	0.7931
0.0001	92.0	276	1.8876	0.0909	0.5	0.1538	0.7873
0.0001	93.0	279	1.9220	0.1	0.5	0.1667	0.7814
0.0004	94.0	282	2.0870	0.1	0.5	0.1667	0.7333
0.0004	95.0	285	2.1469	0.1111	0.5	0.1818	0.7225
0.0009	96.0	288	2.1726	0.1429	0.5	0.2222	0.7196
0.0007	97.0	291	1.9247	0.1	0.5	0.1667	0.7667
0.0012	98.0	294	1.8172	0.1111	0.5	0.1818	0.7902
0.0002	99.0	297	1.7789	0.1	0.5	0.1667	0.7980
0.0109	100.0	300	1.8386	0.0909	0.5	0.1538	0.7843
0.0008	101.0	303	2.0800	0.1	0.5	0.1667	0.7314
0.0002	102.0	306	2.5253	0.3333	0.5	0.4	0.6804
0.001	103.0	309	2.2149	0.1	0.5	0.1667	0.7118
0.0001	104.0	312	1.8607	0.1	0.5	0.1667	0.8020
0.0002	105.0	315	1.7786	0.1	0.5	0.1667	0.8127
0.0009	106.0	318	1.8432	0.125	0.5	0.2	0.8078
0.0001	107.0	321	2.0339	0.1111	0.5	0.1818	0.7784
0.0001	108.0	324	2.2628	0.0769	0.5	0.1333	0.7392
0.0007	109.0	327	2.3649	0.0714	0.5	0.125	0.7265
0.0001	110.0	330	2.4330	0.0714	0.5	0.125	0.7137
0.0001	111.0	333	2.4918	0.1	0.5	0.1667	0.7059
0.0002	112.0	336	2.2853	0.0909	0.5	0.1538	0.7647
0.0001	113.0	339	2.1945	0.1	0.5	0.1667	0.7765
0.0001	114.0	342	2.1446	0.1111	0.5	0.1818	0.7824
0.0008	115.0	345	2.1037	0.1111	0.5	0.1818	0.7863
0.0001	116.0	348	2.0753	0.1	0.5	0.1667	0.7902
0.0001	117.0	351	2.0617	0.1	0.5	0.1667	0.7902
0.0014	118.0	354	1.9908	0.1111	0.5	0.1818	0.7961
0.0009	119.0	357	1.9134	0.1111	0.5	0.1818	0.8
0.0009	120.0	360	1.8651	0.1111	0.5	0.1818	0.8020
0.0002	121.0	363	1.8480	0.1111	0.5	0.1818	0.8
0.0001	122.0	366	1.8558	0.0909	0.5	0.1538	0.7961
0.0001	123.0	369	1.8727	0.1111	0.5	0.1818	0.7892
0.0001	124.0	372	1.8951	0.125	0.5	0.2	0.7863
0.0007	125.0	375	1.8971	0.1667	0.5	0.25	0.7833
0.0011	126.0	378	1.8479	0.1667	0.5	0.25	0.7814
0.0002	127.0	381	1.7985	0.1429	0.5	0.2222	0.7804
0.0001	128.0	384	1.7712	0.125	0.5	0.2	0.7794
0.0001	129.0	387	1.7929	0.1111	0.5	0.1818	0.7755
0.0002	130.0	390	1.8551	0.1111	0.5	0.1818	0.7725
0.0001	131.0	393	1.9030	0.125	0.5	0.2	0.7716
0.0001	132.0	396	1.9421	0.125	0.5	0.2	0.7686
0.0009	133.0	399	1.9440	0.125	0.5	0.2	0.7686
0.0001	134.0	402	1.9455	0.125	0.5	0.2	0.7686
0.0001	135.0	405	1.9527	0.125	0.5	0.2	0.7686
0.0004	136.0	408	1.9493	0.125	0.5	0.2	0.7706
0.0001	137.0	411	1.9432	0.125	0.5	0.2	0.7706
0.0001	138.0	414	1.9491	0.125	0.5	0.2	0.7706
0.0002	139.0	417	1.9434	0.1	0.5	0.1667	0.7735
0.0006	140.0	420	1.9363	0.1111	0.5	0.1818	0.7784
0.0001	141.0	423	1.9330	0.1111	0.5	0.1818	0.7804
0.0001	142.0	426	1.9334	0.1111	0.5	0.1818	0.7833
0.0001	143.0	429	1.9366	0.125	0.5	0.2	0.7843
0.0001	144.0	432	1.9417	0.1111	0.5	0.1818	0.7843
0.0001	145.0	435	1.9467	0.1111	0.5	0.1818	0.7843
0.0001	146.0	438	1.9518	0.1111	0.5	0.1818	0.7843
0.0001	147.0	441	1.9574	0.1111	0.5	0.1818	0.7853
0.0001	148.0	444	1.9635	0.1111	0.5	0.1818	0.7853
0.0003	149.0	447	1.9643	0.1111	0.5	0.1818	0.7853
0.0001	150.0	450	1.9664	0.125	0.5	0.2	0.7853
0.0008	151.0	453	1.9830	0.125	0.5	0.2	0.7843
0.0001	152.0	456	1.9974	0.125	0.5	0.2	0.7824
0.0001	153.0	459	2.0083	0.125	0.5	0.2	0.7824
0.0007	154.0	462	2.0066	0.1111	0.5	0.1818	0.7833
0.0001	155.0	465	2.0047	0.1111	0.5	0.1818	0.7833
0.0001	156.0	468	2.0042	0.1111	0.5	0.1818	0.7833
0.0001	157.0	471	2.0075	0.1111	0.5	0.1818	0.7833
0.0008	158.0	474	2.0217	0.1111	0.5	0.1818	0.7824
0.0001	159.0	477	2.0326	0.125	0.5	0.2	0.7814
0.0001	160.0	480	2.0422	0.125	0.5	0.2	0.7814
0.0001	161.0	483	2.0493	0.125	0.5	0.2	0.7804
0.0001	162.0	486	2.0568	0.125	0.5	0.2	0.7804
0.0002	163.0	489	2.0818	0.125	0.5	0.2	0.7755
0.0001	164.0	492	2.0997	0.125	0.5	0.2	0.7755
0.0001	165.0	495	2.1127	0.125	0.5	0.2	0.7745
0.0001	166.0	498	2.1226	0.125	0.5	0.2	0.7745
0.0001	167.0	501	2.1311	0.1111	0.5	0.1818	0.7716
0.0001	168.0	504	2.1377	0.1111	0.5	0.1818	0.7716
0.0003	169.0	507	2.1296	0.1111	0.5	0.1818	0.7716
0.0001	170.0	510	2.1180	0.125	0.5	0.2	0.7745
0.0	171.0	513	2.1095	0.125	0.5	0.2	0.7745
0.0	172.0	516	2.1035	0.125	0.5	0.2	0.7745
0.0001	173.0	519	2.0999	0.125	0.5	0.2	0.7745
0.0	174.0	522	2.0984	0.125	0.5	0.2	0.7745
0.0004	175.0	525	2.0930	0.125	0.5	0.2	0.7755
0.0	176.0	528	2.0874	0.125	0.5	0.2	0.7755
0.006	177.0	531	2.0807	0.125	0.5	0.2	0.7755
0.0001	178.0	534	2.0717	0.125	0.5	0.2	0.7755
0.0001	179.0	537	2.0721	0.125	0.5	0.2	0.7755
0.0001	180.0	540	2.0731	0.125	0.5	0.2	0.7755
0.001	181.0	543	2.0712	0.125	0.5	0.2	0.7745
0.0001	182.0	546	2.0700	0.125	0.5	0.2	0.7745
0.0001	183.0	549	2.0692	0.125	0.5	0.2	0.7745
0.0001	184.0	552	2.0622	0.125	0.5	0.2	0.7755
0.0006	185.0	555	2.0582	0.125	0.5	0.2	0.7755
0.0001	186.0	558	2.0564	0.125	0.5	0.2	0.7755
0.0001	187.0	561	2.0562	0.125	0.5	0.2	0.7745
0.0001	188.0	564	2.0571	0.125	0.5	0.2	0.7745
0.0001	189.0	567	2.0587	0.125	0.5	0.2	0.7745
0.0001	190.0	570	2.0597	0.1111	0.5	0.1818	0.7735
0.0041	191.0	573	2.0555	0.125	0.5	0.2	0.7745
0.0002	192.0	576	2.0473	0.1111	0.5	0.1818	0.7765
0.0001	193.0	579	2.0480	0.1111	0.5	0.1818	0.7765
0.0002	194.0	582	2.0507	0.1111	0.5	0.1818	0.7765
0.0001	195.0	585	2.0541	0.1111	0.5	0.1818	0.7765
0.0001	196.0	588	2.0562	0.1111	0.5	0.1818	0.7765
0.0001	197.0	591	2.0586	0.1111	0.5	0.1818	0.7765
0.0001	198.0	594	2.0596	0.1111	0.5	0.1818	0.7765
0.0001	199.0	597	2.0604	0.1111	0.5	0.1818	0.7765
0.0003	200.0	600	2.0573	0.1111	0.5	0.1818	0.7765

Framework versions

• Transformers 4.31.0.dev0
• Pytorch 2.0.0
• Datasets 2.1.0
• Tokenizers 0.13.3