w2v2_ablation_with_ling_head-best_on_tp0.025_tl10_fp0.001_fl16

This model is a fine-tuned version of nguyenvulebinh/wav2vec2-base-vietnamese-250h on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.4160
• Wer: 0.0829

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 8
• eval_batch_size: 16
• seed: 42
• distributed_type: multi-GPU
• num_devices: 4
• total_train_batch_size: 32
• total_eval_batch_size: 64
• optimizer: Adam with betas=(0.9,0.98) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
119.4146	0.94	100	91.5098	18.6362
74.7874	1.89	200	12.2829	0.9952
6.9045	2.83	300	5.2350	1.0
5.1208	3.77	400	5.0365	1.0
4.7305	4.72	500	4.9151	1.0
4.4972	5.66	600	4.9305	1.0
4.3922	6.6	700	4.7878	1.0
4.3448	7.55	800	4.6496	1.0
4.2246	8.49	900	4.6107	1.0
3.9903	9.43	1000	3.7007	0.8971
2.8741	10.38	1100	1.8526	0.3769
1.5912	11.32	1200	1.0932	0.2104
1.1157	12.26	1300	0.8455	0.1694
0.8761	13.21	1400	0.7110	0.1416
0.7465	14.15	1500	0.6333	0.1364
0.6291	15.09	1600	0.5729	0.1346
0.5745	16.04	1700	0.5506	0.1200
0.5359	16.98	1800	0.5359	0.1182
0.4804	17.92	1900	0.4879	0.1104
0.4833	18.87	2000	0.5131	0.1068
0.4384	19.81	2100	0.4859	0.1108
0.4273	20.75	2200	0.4690	0.1078
0.4111	21.7	2300	0.4541	0.1019
0.3879	22.64	2400	0.4585	0.1074
0.3926	23.58	2500	0.4487	0.1033
0.3499	24.53	2600	0.4447	0.0981
0.3537	25.47	2700	0.4481	0.0994
0.3207	26.42	2800	0.4383	0.1086
0.3149	27.36	2900	0.4449	0.1065
0.3042	28.3	3000	0.4315	0.0999
0.3181	29.25	3100	0.4423	0.1073
0.3099	30.19	3200	0.4329	0.0984
0.3079	31.13	3300	0.4308	0.1022
0.2524	32.08	3400	0.4050	0.0919
0.274	33.02	3500	0.4013	0.0981
0.2687	33.96	3600	0.4088	0.0948
0.2496	34.91	3700	0.4083	0.0883
0.2555	35.85	3800	0.4105	0.1002
0.2466	36.79	3900	0.3890	0.0915
0.2519	37.74	4000	0.3962	0.0959
0.2541	38.68	4100	0.4004	0.0971
0.2311	39.62	4200	0.4018	0.0978
0.2306	40.57	4300	0.4000	0.0931
0.2414	41.51	4400	0.4023	0.0972
0.2484	42.45	4500	0.4031	0.0928
0.2167	43.4	4600	0.3899	0.0858
0.1952	44.34	4700	0.3920	0.0845
0.2115	45.28	4800	0.3941	0.0832
0.209	46.23	4900	0.4096	0.0890
0.1999	47.17	5000	0.4065	0.0853
0.1844	48.11	5100	0.4080	0.0886
0.1938	49.06	5200	0.4058	0.0875
0.1775	50.0	5300	0.4028	0.0861
0.1757	50.94	5400	0.4024	0.0832
0.1861	51.89	5500	0.4095	0.0844
0.1967	52.83	5600	0.4128	0.0843
0.1887	53.77	5700	0.4062	0.0864
0.1684	54.72	5800	0.4170	0.0922
0.1697	55.66	5900	0.4141	0.0904
0.1711	56.6	6000	0.4080	0.0798
0.1731	57.55	6100	0.4066	0.0817
0.1614	58.49	6200	0.4160	0.0883
0.1668	59.43	6300	0.4112	0.0881
0.1535	60.38	6400	0.4117	0.0834
0.1723	61.32	6500	0.4185	0.0836
0.1667	62.26	6600	0.4210	0.0817
0.1667	63.21	6700	0.4202	0.0903
0.1618	64.15	6800	0.4165	0.0868
0.1583	65.09	6900	0.4082	0.0851
0.163	66.04	7000	0.4131	0.0869
0.1514	66.98	7100	0.4114	0.0847
0.1504	67.92	7200	0.4122	0.0842
0.1713	68.87	7300	0.4175	0.0887
0.1562	69.81	7400	0.4174	0.0872
0.1421	70.75	7500	0.4186	0.0848
0.141	71.7	7600	0.4238	0.0896
0.1345	72.64	7700	0.4201	0.0868
0.1381	73.58	7800	0.4179	0.0849
0.1293	74.53	7900	0.4140	0.0832
0.1391	75.47	8000	0.4162	0.0826
0.1467	76.42	8100	0.4159	0.0838
0.1454	77.36	8200	0.4169	0.0861
0.1348	78.3	8300	0.4193	0.0884
0.1634	79.25	8400	0.4196	0.0866
0.1435	80.19	8500	0.4206	0.0874
0.1445	81.13	8600	0.4166	0.0843
0.1429	82.08	8700	0.4148	0.0815
0.1238	83.02	8800	0.4177	0.0826
0.129	83.96	8900	0.4146	0.0829
0.1335	84.91	9000	0.4177	0.0836
0.1409	85.85	9100	0.4187	0.0843
0.1333	86.79	9200	0.4186	0.0852
0.1372	87.74	9300	0.4171	0.0828
0.1364	88.68	9400	0.4180	0.0860
0.137	89.62	9500	0.4179	0.0838
0.1346	90.57	9600	0.4181	0.0828
0.137	91.51	9700	0.4173	0.0825
0.1501	92.45	9800	0.4184	0.0841
0.136	93.4	9900	0.4162	0.0822
0.1278	94.34	10000	0.4161	0.0828
0.1381	95.28	10100	0.4167	0.0829
0.138	96.23	10200	0.4166	0.0829
0.1484	97.17	10300	0.4161	0.0826
0.14	98.11	10400	0.4160	0.0831
0.1254	99.06	10500	0.4160	0.0831
0.145	100.0	10600	0.4160	0.0829

Framework versions

• Transformers 4.35.2
• Pytorch 1.13.1+cu117
• Datasets 2.12.0
• Tokenizers 0.14.1