xls-r-es-test

This model is a fine-tuned version of facebook/wav2vec2-large-xlsr-53 on the MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - ES dataset. It achieves the following results on the evaluation set:

• Loss: 0.1304
• WER: 0.1261
• CER: 0.035

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 7.5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 10.0
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
2.9613	0.07	500	2.9647	1.0
2.604	0.14	1000	1.8300	0.9562
1.177	0.21	1500	0.3652	0.3077
1.0745	0.28	2000	0.2707	0.2504
1.0103	0.35	2500	0.2338	0.2157
0.9858	0.42	3000	0.2321	0.2129
0.974	0.49	3500	0.2164	0.2031
0.9699	0.56	4000	0.2078	0.1970
0.9513	0.63	4500	0.2173	0.2139
0.9657	0.7	5000	0.2050	0.1979
0.9484	0.77	5500	0.2008	0.1919
0.9317	0.84	6000	0.2012	0.1911
0.9366	0.91	6500	0.2024	0.1976
0.9242	0.98	7000	0.2062	0.2028
0.9138	1.05	7500	0.1924	0.1863
0.921	1.12	8000	0.1935	0.1836
0.9117	1.19	8500	0.1887	0.1815
0.9064	1.26	9000	0.1909	0.1839
0.9118	1.32	9500	0.1869	0.1830
0.9121	1.39	10000	0.1863	0.1802
0.9048	1.46	10500	0.1845	0.1791
0.8955	1.53	11000	0.1863	0.1774
0.8947	1.6	11500	0.1907	0.1814
0.9073	1.67	12000	0.1892	0.1853
0.8927	1.74	12500	0.1821	0.1750
0.8732	1.81	13000	0.1815	0.1768
0.8761	1.88	13500	0.1822	0.1749
0.8751	1.95	14000	0.1789	0.1715
0.8889	2.02	14500	0.1819	0.1791
0.8864	2.09	15000	0.1826	0.1794
0.886	2.16	15500	0.1788	0.1776
0.8915	2.23	16000	0.1756	0.1719
0.8689	2.3	16500	0.1769	0.1711
0.879	2.37	17000	0.1777	0.1739
0.8692	2.44	17500	0.1765	0.1705
0.8504	2.51	18000	0.1699	0.1652
0.8728	2.58	18500	0.1705	0.1694
0.8523	2.65	19000	0.1674	0.1645
0.8513	2.72	19500	0.1661	0.1611
0.8498	2.79	20000	0.1660	0.1631
0.8432	2.86	20500	0.1636	0.1610
0.8492	2.93	21000	0.1708	0.1688
0.8561	3.0	21500	0.1663	0.1604
0.842	3.07	22000	0.1690	0.1625
0.857	3.14	22500	0.1642	0.1605
0.8518	3.21	23000	0.1626	0.1585
0.8506	3.28	23500	0.1651	0.1605
0.8394	3.35	24000	0.1647	0.1585
0.8431	3.42	24500	0.1632	0.1573
0.8566	3.49	25000	0.1614	0.1550
0.8534	3.56	25500	0.1645	0.1589
0.8386	3.63	26000	0.1632	0.1582
0.8357	3.7	26500	0.1631	0.1556
0.8299	3.77	27000	0.1612	0.1550
0.8421	3.84	27500	0.1602	0.1552
0.8375	3.91	28000	0.1592	0.1537
0.8328	3.97	28500	0.1587	0.1537
0.8155	4.04	29000	0.1587	0.1520
0.8335	4.11	29500	0.1624	0.1556
0.8138	4.18	30000	0.1581	0.1547
0.8195	4.25	30500	0.1560	0.1507
0.8092	4.32	31000	0.1561	0.1534
0.8191	4.39	31500	0.1549	0.1493
0.8008	4.46	32000	0.1540	0.1493
0.8138	4.53	32500	0.1544	0.1493
0.8173	4.6	33000	0.1553	0.1511
0.8081	4.67	33500	0.1541	0.1484
0.8192	4.74	34000	0.1560	0.1506
0.8068	4.81	34500	0.1540	0.1503
0.8105	4.88	35000	0.1529	0.1483
0.7976	4.95	35500	0.1507	0.1451
0.8143	5.02	36000	0.1505	0.1462
0.8053	5.09	36500	0.1517	0.1476
0.785	5.16	37000	0.1526	0.1478
0.7936	5.23	37500	0.1489	0.1421
0.807	5.3	38000	0.1483	0.1420
0.8092	5.37	38500	0.1481	0.1435
0.793	5.44	39000	0.1503	0.1438
0.814	5.51	39500	0.1495	0.1480
0.807	5.58	40000	0.1472	0.1424
0.7913	5.65	40500	0.1471	0.1422
0.7844	5.72	41000	0.1473	0.1422
0.7888	5.79	41500	0.1445	0.1385
0.7806	5.86	42000	0.1435	0.1394
0.7773	5.93	42500	0.1461	0.1424
0.786	6.0	43000	0.1450	0.1413
0.7784	6.07	43500	0.1463	0.1424
0.7937	6.14	44000	0.1438	0.1386
0.7738	6.21	44500	0.1437	0.1383
0.7728	6.28	45000	0.1424	0.1371
0.7681	6.35	45500	0.1416	0.1376
0.776	6.42	46000	0.1415	0.1380
0.7773	6.49	46500	0.1416	0.1371
0.7692	6.56	47000	0.1398	0.1345
0.7642	6.62	47500	0.1381	0.1341
0.7692	6.69	48000	0.1392	0.1334
0.7667	6.76	48500	0.1392	0.1348
0.7712	6.83	49000	0.1398	0.1333
0.7628	6.9	49500	0.1392	0.1344
0.7622	6.97	50000	0.1377	0.1329
0.7639	7.04	50500	0.1361	0.1316
0.742	7.11	51000	0.1376	0.1327
0.7526	7.18	51500	0.1387	0.1342
0.7606	7.25	52000	0.1363	0.1316
0.7626	7.32	52500	0.1365	0.1313
0.752	7.39	53000	0.1354	0.1309
0.7562	7.46	53500	0.1362	0.1312
0.7557	7.53	54000	0.1358	0.1325
0.7588	7.6	54500	0.1343	0.1311
0.7485	7.67	55000	0.1346	0.1301
0.7466	7.74	55500	0.1354	0.1314
0.7558	7.81	56000	0.1359	0.1325
0.7578	7.88	56500	0.1363	0.1334
0.7411	7.95	57000	0.1346	0.1301
0.7478	8.02	57500	0.1355	0.1305
0.7451	8.09	58000	0.1349	0.1302
0.7383	8.16	58500	0.1349	0.1294
0.7482	8.23	59000	0.1341	0.1293
0.742	8.3	59500	0.1338	0.1296
0.7343	8.37	60000	0.1348	0.1307
0.7385	8.44	60500	0.1324	0.1282
0.7567	8.51	61000	0.1334	0.1281
0.7342	8.58	61500	0.1338	0.1289
0.7401	8.65	62000	0.1331	0.1285
0.7362	8.72	62500	0.1329	0.1283
0.7241	8.79	63000	0.1323	0.1277
0.7244	8.86	63500	0.1317	0.1269
0.7274	8.93	64000	0.1308	0.1260
0.7411	9.0	64500	0.1309	0.1256
0.7255	9.07	65000	0.1316	0.1265
0.7406	9.14	65500	0.1315	0.1270
0.7418	9.21	66000	0.1315	0.1269
0.7301	9.27	66500	0.1315	0.1273
0.7248	9.34	67000	0.1323	0.1274
0.7423	9.41	67500	0.1309	0.1267
0.7152	9.48	68000	0.1312	0.1271
0.7295	9.55	68500	0.1306	0.1262
0.7231	9.62	69000	0.1308	0.1263
0.7344	9.69	69500	0.1313	0.1267
0.7264	9.76	70000	0.1305	0.1263
0.7309	9.83	70500	0.1303	0.1262
0.73	9.9	71000	0.1303	0.1261
0.7353	9.97	71500	0.1304	0.1260

Framework versions

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0