scarlett623's picture
update model card README.md
ecb91d7
metadata
license: apache-2.0
base_model: facebook/wav2vec2-large-xlsr-53
tags:
  - generated_from_trainer
datasets:
  - ascend
metrics:
  - wer
model-index:
  - name: wav2vec2-large-xlsr-53-codemix-gpu0
    results:
      - task:
          name: Automatic Speech Recognition
          type: automatic-speech-recognition
        dataset:
          name: ascend
          type: ascend
          config: main
          split: test
          args: main
        metrics:
          - name: Wer
            type: wer
            value: 0.5028735632183908

wav2vec2-large-xlsr-53-codemix-gpu0

This model is a fine-tuned version of facebook/wav2vec2-large-xlsr-53 on the ascend dataset. It achieves the following results on the evaluation set:

  • Loss: 2.4142
  • Wer: 0.5029
  • Cer: 0.2095

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 13
  • eval_batch_size: 8
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 26
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 500
  • num_epochs: 300

Training results

Training Loss Epoch Step Validation Loss Wer Cer
No log 0.94 400 17.8810 1.0 1.0
39.8704 1.89 800 5.6649 1.0 1.0
5.6783 2.83 1200 5.3852 1.0 1.0
5.2781 3.78 1600 4.9545 1.0 1.0
4.8306 4.72 2000 4.6591 1.0 1.0
4.8306 5.67 2400 4.3414 1.0 1.0
4.5061 6.61 2800 3.6204 0.9716 0.8151
3.6227 7.56 3200 2.4748 0.8693 0.4801
2.3991 8.5 3600 2.1247 0.7435 0.3907
1.8352 9.45 4000 1.9019 0.6853 0.3474
1.8352 10.39 4400 1.7681 0.6706 0.3272
1.5545 11.33 4800 1.7038 0.6487 0.3095
1.3323 12.28 5200 1.6353 0.6272 0.2992
1.1949 13.22 5600 1.5671 0.6189 0.2871
1.0377 14.17 6000 1.6160 0.6099 0.2853
1.0377 15.11 6400 1.5205 0.5887 0.2793
0.9246 16.06 6800 1.4538 0.5999 0.2710
0.8484 17.0 7200 1.4279 0.5823 0.2646
0.7414 17.95 7600 1.4470 0.5754 0.2555
0.6947 18.89 8000 1.4676 0.5794 0.2611
0.6947 19.83 8400 1.4599 0.5726 0.2599
0.6213 20.78 8800 1.4639 0.5718 0.2578
0.5613 21.72 9200 1.4544 0.5675 0.2523
0.5154 22.67 9600 1.4663 0.5866 0.2504
0.4656 23.61 10000 1.5221 0.5575 0.2432
0.4656 24.56 10400 1.4894 0.5726 0.2450
0.4375 25.5 10800 1.4671 0.5686 0.2449
0.3928 26.45 11200 1.5376 0.5621 0.2451
0.3654 27.39 11600 1.5160 0.5603 0.2422
0.3188 28.34 12000 1.6036 0.5575 0.2425
0.3188 29.28 12400 1.5975 0.5575 0.2391
0.3054 30.22 12800 1.5988 0.5560 0.2424
0.2826 31.17 13200 1.6094 0.5524 0.2402
0.2632 32.11 13600 1.6833 0.5596 0.2394
0.2356 33.06 14000 1.6503 0.5445 0.2317
0.2356 34.0 14400 1.6318 0.5463 0.2314
0.2165 34.95 14800 1.7002 0.5535 0.2359
0.2085 35.89 15200 1.6683 0.5499 0.2332
0.1806 36.84 15600 1.7490 0.5384 0.2298
0.177 37.78 16000 1.7325 0.5510 0.2368
0.177 38.72 16400 1.7853 0.5542 0.2415
0.1624 39.67 16800 1.6703 0.5431 0.2281
0.1624 40.61 17200 1.8425 0.5514 0.2339
0.1421 41.56 17600 1.7714 0.5399 0.2319
0.13 42.5 18000 1.7403 0.5388 0.2295
0.13 43.45 18400 1.7871 0.5392 0.2318
0.1135 44.39 18800 1.7677 0.5316 0.2266
0.1077 45.34 19200 1.8119 0.5431 0.2363
0.1106 46.28 19600 1.8375 0.5348 0.2264
0.0996 47.23 20000 1.7923 0.5330 0.2315
0.0996 48.17 20400 1.7852 0.5284 0.2245
0.0931 49.11 20800 1.8031 0.5248 0.2223
0.0922 50.06 21200 1.8541 0.5417 0.2319
0.0967 51.0 21600 1.8455 0.5406 0.2293
0.0755 51.95 22000 1.8984 0.5291 0.2240
0.0755 52.89 22400 1.8003 0.5352 0.2222
0.0811 53.84 22800 1.9022 0.5524 0.2288
0.0771 54.78 23200 1.9080 0.5338 0.2229
0.0754 55.73 23600 1.8981 0.5460 0.2292
0.0708 56.67 24000 1.8118 0.5277 0.2204
0.0708 57.62 24400 1.8570 0.5287 0.2241
0.0738 58.56 24800 1.9806 0.5399 0.2230
0.0646 59.5 25200 1.9899 0.5399 0.2281
0.055 60.45 25600 2.0234 0.5302 0.2227
0.0602 61.39 26000 1.8967 0.5266 0.2223
0.0602 62.34 26400 2.0122 0.5323 0.2204
0.058 63.28 26800 1.9054 0.5320 0.2205
0.052 64.23 27200 1.9543 0.5305 0.2213
0.0489 65.17 27600 1.8892 0.5280 0.2192
0.0591 66.12 28000 1.9432 0.5356 0.2238
0.0591 67.06 28400 1.9314 0.5309 0.2244
0.0559 68.0 28800 2.0145 0.5284 0.2206
0.0489 68.95 29200 1.9624 0.5327 0.2228
0.0532 69.89 29600 2.0026 0.5251 0.2243
0.042 70.84 30000 2.0111 0.5305 0.2202
0.042 71.78 30400 2.0058 0.5320 0.2227
0.0464 72.73 30800 1.9390 0.5226 0.2166
0.0477 73.67 31200 1.9187 0.5338 0.2199
0.0379 74.62 31600 1.9747 0.5323 0.2252
0.0376 75.56 32000 2.0026 0.5305 0.2288
0.0376 76.51 32400 2.0456 0.5320 0.2244
0.0359 77.45 32800 2.1259 0.5255 0.2202
0.0389 78.39 33200 2.0762 0.5295 0.2236
0.0359 79.34 33600 2.0339 0.5302 0.2308
0.0336 80.28 34000 2.0412 0.5338 0.2214
0.0336 81.23 34400 2.0328 0.5244 0.2231
0.04 82.17 34800 2.0155 0.5273 0.2204
0.0315 83.12 35200 2.1555 0.5320 0.2234
0.0297 84.06 35600 2.0178 0.5237 0.2168
0.0333 85.01 36000 2.0469 0.5309 0.2240
0.0333 85.95 36400 2.0885 0.5348 0.2208
0.0376 86.89 36800 2.1829 0.5277 0.2243
0.0341 87.84 37200 2.1781 0.5298 0.2242
0.0326 88.78 37600 2.0283 0.5241 0.2174
0.0309 89.73 38000 2.0074 0.5140 0.2183
0.0309 90.67 38400 2.0938 0.5194 0.2210
0.0298 91.62 38800 2.0011 0.5251 0.2201
0.0261 92.56 39200 1.9834 0.5262 0.2174
0.028 93.51 39600 1.9964 0.5201 0.2210
0.0249 94.45 40000 2.0909 0.5327 0.2216
0.0249 95.4 40400 2.1145 0.5280 0.2196
0.0235 96.34 40800 2.0568 0.5216 0.2210
0.0207 97.28 41200 2.1006 0.5136 0.2148
0.0229 98.23 41600 2.1488 0.5262 0.2226
0.03 99.17 42000 2.2123 0.5251 0.2181
0.03 100.12 42400 2.1388 0.5205 0.2210
0.029 101.06 42800 2.1480 0.5226 0.2141
0.0277 102.01 43200 2.1999 0.5136 0.2190
0.0207 102.95 43600 2.1723 0.5212 0.2188
0.0298 103.9 44000 2.1314 0.5230 0.2176
0.0298 104.84 44400 2.2185 0.5212 0.2194
0.0196 105.79 44800 2.1399 0.5241 0.2216
0.0339 106.73 45200 2.1360 0.5216 0.2194
0.0188 107.67 45600 2.2099 0.5284 0.2191
0.0219 108.62 46000 2.2325 0.5262 0.2235
0.0219 109.56 46400 2.2137 0.5205 0.2202
0.0197 110.51 46800 2.2480 0.5208 0.2216
0.0185 111.45 47200 2.1687 0.5208 0.2210
0.0252 112.4 47600 2.1374 0.5241 0.2204
0.018 113.34 48000 2.1948 0.5133 0.2238
0.018 114.29 48400 2.1851 0.5172 0.2181
0.0472 115.23 48800 2.2225 0.5312 0.2274
0.0166 116.17 49200 2.2063 0.5136 0.2162
0.0163 117.12 49600 2.2021 0.5183 0.2166
0.0174 118.06 50000 2.1958 0.5144 0.2171
0.0174 119.01 50400 2.2010 0.5226 0.2168
0.022 119.95 50800 2.1710 0.5287 0.2172
0.0161 120.9 51200 2.1413 0.5230 0.2176
0.0205 121.84 51600 2.1558 0.5180 0.2158
0.0176 122.79 52000 2.1222 0.5226 0.2185
0.0176 123.73 52400 2.0850 0.5223 0.2194
0.0179 124.68 52800 2.0551 0.5212 0.2190
0.0168 125.62 53200 2.2350 0.5205 0.2185
0.0181 126.56 53600 2.1468 0.5183 0.2182
0.0185 127.51 54000 2.1373 0.5201 0.2205
0.0185 128.45 54400 2.1399 0.5208 0.2173
0.017 129.4 54800 2.2898 0.5280 0.2190
0.0172 130.34 55200 2.2841 0.5183 0.2188
0.0171 131.29 55600 2.1375 0.5129 0.2203
0.0148 132.23 56000 2.2004 0.5136 0.2151
0.0148 133.18 56400 2.2068 0.5165 0.2160
0.0172 134.12 56800 2.2018 0.5126 0.2141
0.0143 135.06 57200 2.2044 0.5233 0.2153
0.0179 136.01 57600 2.3219 0.5259 0.2186
0.0167 136.95 58000 2.2770 0.5266 0.2191
0.0167 137.9 58400 2.2735 0.5144 0.2182
0.018 138.84 58800 2.3331 0.5341 0.2236
0.0141 139.79 59200 2.3517 0.5316 0.2222
0.0124 140.73 59600 2.3140 0.5330 0.2223
0.0184 141.68 60000 2.3398 0.5244 0.2192
0.0184 142.62 60400 2.2294 0.5273 0.2191
0.0138 143.57 60800 2.2740 0.5244 0.2213
0.0141 144.51 61200 2.3127 0.5291 0.2192
0.0127 145.45 61600 2.2401 0.5176 0.2163
0.0156 146.4 62000 2.2034 0.5126 0.2146
0.0156 147.34 62400 2.2117 0.5162 0.2160
0.0146 148.29 62800 2.2384 0.5208 0.2161
0.0107 149.23 63200 2.2461 0.5187 0.2170
0.0128 150.18 63600 2.2797 0.5226 0.2145
0.011 151.12 64000 2.2011 0.5154 0.2170
0.011 152.07 64400 2.2867 0.5230 0.2189
0.014 153.01 64800 2.2458 0.5158 0.2138
0.0143 153.96 65200 2.3514 0.5298 0.2176
0.0108 154.9 65600 2.2746 0.5183 0.2158
0.0149 155.84 66000 2.2356 0.5223 0.2159
0.0149 156.79 66400 2.3048 0.5165 0.2194
0.014 157.73 66800 2.2453 0.5183 0.2146
0.015 158.68 67200 2.3483 0.5248 0.2181
0.0111 159.62 67600 2.2445 0.5205 0.2151
0.0112 160.57 68000 2.3657 0.5201 0.2180
0.0112 161.51 68400 2.3159 0.5223 0.2193
0.0114 162.46 68800 2.3097 0.5119 0.2170
0.0236 163.4 69200 2.3455 0.5198 0.2143
0.0094 164.34 69600 2.3474 0.5190 0.2186
0.0146 165.29 70000 2.3095 0.5165 0.2145
0.0146 166.23 70400 2.3445 0.5140 0.2130
0.0085 167.18 70800 2.3123 0.5180 0.2158
0.009 168.12 71200 2.3232 0.5212 0.2217
0.0094 169.07 71600 2.3938 0.5165 0.2155
0.0119 170.01 72000 2.3336 0.5248 0.2160
0.0119 170.96 72400 2.2819 0.5172 0.2157
0.0087 171.9 72800 2.3174 0.5133 0.2156
0.0116 172.85 73200 2.3225 0.5093 0.2149
0.0081 173.79 73600 2.2715 0.5079 0.2148
0.0083 174.73 74000 2.2454 0.5129 0.2129
0.0083 175.68 74400 2.2992 0.5190 0.2177
0.0137 176.62 74800 2.2487 0.5104 0.2156
0.0149 177.57 75200 2.2963 0.5190 0.2153
0.0082 178.51 75600 2.3329 0.5169 0.2148
0.0082 179.46 76000 2.3725 0.5194 0.2155
0.0082 180.4 76400 2.3200 0.5190 0.2197
0.008 181.35 76800 2.3551 0.5226 0.2173
0.0091 182.29 77200 2.3861 0.5201 0.2123
0.0094 183.23 77600 2.3033 0.5129 0.2108
0.0081 184.18 78000 2.3498 0.5115 0.2148
0.0081 185.12 78400 2.4158 0.5162 0.2200
0.0097 186.07 78800 2.3857 0.5194 0.2163
0.008 187.01 79200 2.3744 0.5140 0.2107
0.0082 187.96 79600 2.3297 0.5144 0.2125
0.0114 188.9 80000 2.2988 0.5183 0.2097
0.0114 189.85 80400 2.3056 0.5187 0.2134
0.0128 190.79 80800 2.3505 0.5158 0.2128
0.0077 191.74 81200 2.3267 0.5187 0.2126
0.0071 192.68 81600 2.3242 0.5216 0.2158
0.0085 193.62 82000 2.3454 0.5162 0.2130
0.0085 194.57 82400 2.2598 0.5151 0.2107
0.008 195.51 82800 2.3276 0.5158 0.2132
0.0084 196.46 83200 2.2328 0.5172 0.2135
0.0101 197.4 83600 2.2749 0.5165 0.2113
0.006 198.35 84000 2.3034 0.5147 0.2142
0.006 199.29 84400 2.3225 0.5104 0.2124
0.0064 200.24 84800 2.3010 0.5180 0.2139
0.0073 201.18 85200 2.3142 0.5126 0.2110
0.0071 202.13 85600 2.2778 0.5097 0.2111
0.0056 203.07 86000 2.3066 0.5083 0.2144
0.0056 204.01 86400 2.3355 0.5129 0.2127
0.0054 204.96 86800 2.3253 0.5151 0.2142
0.0074 205.9 87200 2.3698 0.5133 0.2130
0.0055 206.85 87600 2.3500 0.5090 0.2140
0.0066 207.79 88000 2.3585 0.5043 0.2104
0.0066 208.74 88400 2.3482 0.5119 0.2142
0.0043 209.68 88800 2.3157 0.5086 0.2139
0.0072 210.63 89200 2.3450 0.5140 0.2131
0.0065 211.57 89600 2.3420 0.5093 0.2130
0.0057 212.51 90000 2.3196 0.5025 0.2091
0.0057 213.46 90400 2.2695 0.5040 0.2070
0.0058 214.4 90800 2.3159 0.5014 0.2073
0.0059 215.35 91200 2.3003 0.5165 0.2101
0.0072 216.29 91600 2.3027 0.5057 0.2085
0.008 217.24 92000 2.3013 0.4996 0.2086
0.008 218.18 92400 2.2358 0.5043 0.2101
0.0068 219.13 92800 2.2319 0.5086 0.2093
0.0081 220.07 93200 2.2096 0.5025 0.2093
0.007 221.02 93600 2.2037 0.5022 0.2080
0.0075 221.96 94000 2.2277 0.5083 0.2112
0.0075 222.9 94400 2.2409 0.5068 0.2089
0.005 223.85 94800 2.2466 0.5101 0.2109
0.0045 224.79 95200 2.2922 0.5018 0.2082
0.0045 225.74 95600 2.3045 0.5040 0.2143
0.0043 226.68 96000 2.3546 0.5065 0.2128
0.0043 227.63 96400 2.2876 0.5036 0.2113
0.0076 228.57 96800 2.3149 0.5083 0.2127
0.0052 229.52 97200 2.3272 0.5075 0.2089
0.0069 230.46 97600 2.2869 0.5119 0.2097
0.0067 231.4 98000 2.3168 0.5108 0.2125
0.0067 232.35 98400 2.3802 0.5115 0.2143
0.0049 233.29 98800 2.3419 0.5075 0.2151
0.0061 234.24 99200 2.3651 0.5079 0.2132
0.0045 235.18 99600 2.3841 0.5054 0.2135
0.0043 236.13 100000 2.4073 0.5061 0.2131
0.0043 237.07 100400 2.3851 0.5079 0.2141
0.0041 238.02 100800 2.3834 0.5036 0.2112
0.0055 238.96 101200 2.3981 0.5057 0.2114
0.0042 239.91 101600 2.4412 0.5050 0.2121
0.006 240.85 102000 2.4280 0.5036 0.2126
0.006 241.79 102400 2.4465 0.5047 0.2116
0.0041 242.74 102800 2.4130 0.5040 0.2126
0.0117 243.68 103200 2.4477 0.5054 0.2123
0.0047 244.63 103600 2.5122 0.5079 0.2138
0.0031 245.57 104000 2.4971 0.5101 0.2117
0.0031 246.52 104400 2.4521 0.5101 0.2136
0.0052 247.46 104800 2.4590 0.5007 0.2103
0.0041 248.41 105200 2.4725 0.5108 0.2115
0.0053 249.35 105600 2.4557 0.5093 0.2113
0.0041 250.3 106000 2.4377 0.5093 0.2130
0.0041 251.24 106400 2.4383 0.5108 0.2122
0.0069 252.18 106800 2.4570 0.5050 0.2121
0.0028 253.13 107200 2.4544 0.5057 0.2135
0.0039 254.07 107600 2.4487 0.5140 0.2145
0.0032 255.02 108000 2.4256 0.5079 0.2139
0.0032 255.96 108400 2.4174 0.5043 0.2128
0.0048 256.91 108800 2.4341 0.5050 0.2131
0.0035 257.85 109200 2.4111 0.5090 0.2122
0.0042 258.8 109600 2.4191 0.5108 0.2116
0.0039 259.74 110000 2.4173 0.5043 0.2107
0.0039 260.68 110400 2.4195 0.5054 0.2100
0.0029 261.63 110800 2.4397 0.5054 0.2110
0.0036 262.57 111200 2.4165 0.5050 0.2126
0.003 263.52 111600 2.4057 0.5061 0.2095
0.0038 264.46 112000 2.3734 0.5029 0.2108
0.0038 265.41 112400 2.3847 0.5029 0.2100
0.0034 266.35 112800 2.3959 0.5007 0.2090
0.0057 267.3 113200 2.4000 0.5014 0.2097
0.0064 268.24 113600 2.4070 0.5032 0.2099
0.0048 269.19 114000 2.3990 0.5029 0.2093
0.0048 270.13 114400 2.4165 0.5022 0.2097
0.0041 271.07 114800 2.4088 0.5050 0.2092
0.0031 272.02 115200 2.3946 0.5043 0.2098
0.0039 272.96 115600 2.3970 0.5022 0.2103
0.0044 273.91 116000 2.4102 0.5022 0.2093
0.0044 274.85 116400 2.4244 0.5040 0.2099
0.0037 275.8 116800 2.4146 0.5014 0.2089
0.0054 276.74 117200 2.3832 0.5029 0.2102
0.0049 277.69 117600 2.4004 0.5057 0.2097
0.003 278.63 118000 2.4024 0.5050 0.2102
0.003 279.57 118400 2.4038 0.5065 0.2109
0.0051 280.52 118800 2.4086 0.5040 0.2101
0.0028 281.46 119200 2.4124 0.5036 0.2095
0.0038 282.41 119600 2.3978 0.5054 0.2106
0.003 283.35 120000 2.3903 0.5054 0.2099
0.003 284.3 120400 2.3989 0.5032 0.2087
0.0038 285.24 120800 2.4043 0.5029 0.2084
0.0024 286.19 121200 2.4167 0.5047 0.2092
0.0023 287.13 121600 2.4140 0.5022 0.2100
0.0031 288.08 122000 2.4046 0.5036 0.2110
0.0031 289.02 122400 2.3840 0.5047 0.2100
0.0038 289.96 122800 2.3865 0.5057 0.2090
0.0036 290.91 123200 2.3852 0.5068 0.2092
0.0026 291.85 123600 2.3938 0.5040 0.2096
0.002 292.8 124000 2.3988 0.5029 0.2091
0.002 293.74 124400 2.3968 0.5032 0.2091
0.0049 294.69 124800 2.4075 0.5025 0.2093
0.0028 295.63 125200 2.4129 0.5036 0.2097
0.002 296.58 125600 2.4119 0.5014 0.2092
0.0042 297.52 126000 2.4118 0.5025 0.2097
0.0042 298.47 126400 2.4128 0.5022 0.2093
0.003 299.41 126800 2.4142 0.5029 0.2095

Framework versions

  • Transformers 4.31.0
  • Pytorch 1.13.1+cu117
  • Datasets 2.13.1
  • Tokenizers 0.13.3