w2v2_ablation_with_2-layer-ling_head-best_on_tp0.025_tl10_fp0.001_fl16

This model is a fine-tuned version of nguyenvulebinh/wav2vec2-base-vietnamese-250h on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.4189
• Wer: 0.0868

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 16
• seed: 42
• distributed_type: multi-GPU
• num_devices: 4
• total_train_batch_size: 32
• total_eval_batch_size: 64
• optimizer: Adam with betas=(0.9,0.98) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
119.1979	0.94	100	90.9301	18.6457
62.9493	1.89	200	5.3623	1.0
5.2887	2.83	300	5.3655	1.0
4.883	3.77	400	4.9415	1.0
4.5796	4.72	500	4.7095	1.0
4.4349	5.66	600	4.6665	1.0
4.3659	6.6	700	4.5462	1.0
4.3131	7.55	800	4.5962	1.0013
4.0741	8.49	900	3.7100	0.9463
2.8536	9.43	1000	1.6469	0.3090
1.4787	10.38	1100	1.0660	0.2083
1.0696	11.32	1200	0.8183	0.1665
0.8856	12.26	1300	0.7093	0.1428
0.7634	13.21	1400	0.6900	0.1412
0.7078	14.15	1500	0.6310	0.1290
0.5978	15.09	1600	0.5944	0.1298
0.564	16.04	1700	0.5743	0.1280
0.5315	16.98	1800	0.5513	0.1333
0.4807	17.92	1900	0.5532	0.1235
0.4896	18.87	2000	0.5020	0.1162
0.4395	19.81	2100	0.5051	0.1245
0.442	20.75	2200	0.5076	0.1140
0.4188	21.7	2300	0.4916	0.1125
0.4093	22.64	2400	0.4767	0.1180
0.397	23.58	2500	0.4597	0.1130
0.3819	24.53	2600	0.4353	0.1089
0.3745	25.47	2700	0.4310	0.1051
0.3335	26.42	2800	0.4312	0.1063
0.3181	27.36	2900	0.4160	0.1035
0.3159	28.3	3000	0.4349	0.1011
0.298	29.25	3100	0.4192	0.1020
0.3045	30.19	3200	0.4211	0.1032
0.3078	31.13	3300	0.4092	0.0969
0.2604	32.08	3400	0.4174	0.1009
0.2763	33.02	3500	0.4244	0.1109
0.2806	33.96	3600	0.4249	0.0973
0.2565	34.91	3700	0.4237	0.0989
0.2512	35.85	3800	0.4301	0.1052
0.2398	36.79	3900	0.4332	0.0931
0.2668	37.74	4000	0.4147	0.0986
0.2639	38.68	4100	0.4245	0.1077
0.2389	39.62	4200	0.4217	0.0961
0.235	40.57	4300	0.4236	0.0928
0.2435	41.51	4400	0.4235	0.0911
0.255	42.45	4500	0.4168	0.0979
0.2146	43.4	4600	0.4214	0.0950
0.1948	44.34	4700	0.4224	0.0956
0.2085	45.28	4800	0.4232	0.1004
0.203	46.23	4900	0.4330	0.0968
0.1994	47.17	5000	0.4294	0.0895
0.1842	48.11	5100	0.4271	0.0979
0.1918	49.06	5200	0.4296	0.0953
0.178	50.0	5300	0.4331	0.0939
0.181	50.94	5400	0.4180	0.0919
0.1816	51.89	5500	0.4332	0.1003
0.1886	52.83	5600	0.4225	0.0975
0.1873	53.77	5700	0.4198	0.0944
0.1697	54.72	5800	0.4192	0.0920
0.1666	55.66	5900	0.4145	0.0930
0.1631	56.6	6000	0.4122	0.0949
0.1684	57.55	6100	0.4179	0.0873
0.1578	58.49	6200	0.4182	0.0891
0.1667	59.43	6300	0.4110	0.0886
0.1516	60.38	6400	0.4105	0.0843
0.1687	61.32	6500	0.4143	0.0853
0.1626	62.26	6600	0.4113	0.0832
0.163	63.21	6700	0.4145	0.0873
0.1597	64.15	6800	0.4183	0.0854
0.1548	65.09	6900	0.4163	0.0903
0.1572	66.04	7000	0.4197	0.0896
0.1479	66.98	7100	0.4150	0.0882
0.1484	67.92	7200	0.4187	0.0878
0.1684	68.87	7300	0.4206	0.0879
0.1491	69.81	7400	0.4150	0.0853
0.1331	70.75	7500	0.4199	0.0885
0.137	71.7	7600	0.4170	0.0899
0.1318	72.64	7700	0.4214	0.0866
0.1339	73.58	7800	0.4245	0.0878
0.1246	74.53	7900	0.4200	0.0883
0.1365	75.47	8000	0.4197	0.0915
0.1414	76.42	8100	0.4147	0.0879
0.1397	77.36	8200	0.4192	0.0913
0.123	78.3	8300	0.4190	0.0898
0.1569	79.25	8400	0.4172	0.0908
0.1356	80.19	8500	0.4212	0.0868
0.1377	81.13	8600	0.4216	0.0879
0.1379	82.08	8700	0.4215	0.0880
0.1202	83.02	8800	0.4190	0.0873
0.1241	83.96	8900	0.4175	0.0857
0.1245	84.91	9000	0.4168	0.0870
0.1328	85.85	9100	0.4182	0.0893
0.1238	86.79	9200	0.4180	0.0874
0.1286	87.74	9300	0.4191	0.0852
0.1278	88.68	9400	0.4197	0.0853
0.1268	89.62	9500	0.4192	0.0868
0.1299	90.57	9600	0.4202	0.0861
0.1308	91.51	9700	0.4203	0.0871
0.1396	92.45	9800	0.4189	0.0873
0.126	93.4	9900	0.4191	0.0860
0.1182	94.34	10000	0.4199	0.0860
0.1353	95.28	10100	0.4193	0.0861
0.132	96.23	10200	0.4191	0.0863
0.1427	97.17	10300	0.4190	0.0868
0.135	98.11	10400	0.4189	0.0867
0.1156	99.06	10500	0.4190	0.0870
0.1361	100.0	10600	0.4189	0.0868

Framework versions

• Transformers 4.35.2
• Pytorch 1.13.1+cu117
• Datasets 2.12.0
• Tokenizers 0.14.1