ylacombe HF staff commited on
Commit
9c6ebad
1 Parent(s): a659b44

Model save

Browse files
README.md ADDED
@@ -0,0 +1,433 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: ylacombe/w2v-bert-2.0
3
+ tags:
4
+ - generated_from_trainer
5
+ metrics:
6
+ - wer
7
+ model-index:
8
+ - name: wav2vec2-bert-CV16-en
9
+ results: []
10
+ ---
11
+
12
+ <!-- This model card has been generated automatically according to the information the Trainer had access to. You
13
+ should probably proofread and complete it, then remove this comment. -->
14
+
15
+ # wav2vec2-bert-CV16-en
16
+
17
+ This model is a fine-tuned version of [ylacombe/w2v-bert-2.0](https://huggingface.co/ylacombe/w2v-bert-2.0) on the None dataset.
18
+ It achieves the following results on the evaluation set:
19
+ - Loss: 0.2427
20
+ - Wer: 0.1455
21
+ - Cer: 0.0580
22
+
23
+ ## Model description
24
+
25
+ More information needed
26
+
27
+ ## Intended uses & limitations
28
+
29
+ More information needed
30
+
31
+ ## Training and evaluation data
32
+
33
+ More information needed
34
+
35
+ ## Training procedure
36
+
37
+ ### Training hyperparameters
38
+
39
+ The following hyperparameters were used during training:
40
+ - learning_rate: 5e-05
41
+ - train_batch_size: 12
42
+ - eval_batch_size: 12
43
+ - seed: 42
44
+ - distributed_type: multi-GPU
45
+ - num_devices: 3
46
+ - total_train_batch_size: 36
47
+ - total_eval_batch_size: 36
48
+ - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
49
+ - lr_scheduler_type: linear
50
+ - lr_scheduler_warmup_steps: 10000
51
+ - num_epochs: 3.0
52
+ - mixed_precision_training: Native AMP
53
+
54
+ ### Training results
55
+
56
+ | Training Loss | Epoch | Step | Validation Loss | Wer | Cer |
57
+ |:-------------:|:-----:|:-----:|:---------------:|:------:|:------:|
58
+ | 2.9554 | 0.01 | 250 | 3.1731 | 0.9999 | 0.9942 |
59
+ | 2.7058 | 0.02 | 500 | 2.6717 | 1.0307 | 0.7486 |
60
+ | 0.9641 | 0.02 | 750 | 0.9895 | 0.6091 | 0.2035 |
61
+ | 0.6935 | 0.03 | 1000 | 0.7740 | 0.4821 | 0.1562 |
62
+ | 0.617 | 0.04 | 1250 | 0.6751 | 0.4008 | 0.1303 |
63
+ | 0.4826 | 0.05 | 1500 | 0.5920 | 0.3499 | 0.1170 |
64
+ | 0.4252 | 0.06 | 1750 | 0.5659 | 0.3056 | 0.1053 |
65
+ | 0.472 | 0.07 | 2000 | 0.5066 | 0.2869 | 0.1007 |
66
+ | 0.4042 | 0.07 | 2250 | 0.4604 | 0.2662 | 0.0950 |
67
+ | 0.4279 | 0.08 | 2500 | 0.5165 | 0.2587 | 0.0948 |
68
+ | 0.3586 | 0.09 | 2750 | 0.4440 | 0.2461 | 0.0895 |
69
+ | 0.2715 | 0.1 | 3000 | 0.5096 | 0.2468 | 0.0904 |
70
+ | 0.413 | 0.11 | 3250 | 0.4416 | 0.2350 | 0.0879 |
71
+ | 0.3142 | 0.11 | 3500 | 0.4591 | 0.2280 | 0.0856 |
72
+ | 0.286 | 0.12 | 3750 | 0.4529 | 0.2284 | 0.0860 |
73
+ | 0.3112 | 0.13 | 4000 | 0.4621 | 0.2320 | 0.0875 |
74
+ | 0.3294 | 0.14 | 4250 | 0.4528 | 0.2294 | 0.0862 |
75
+ | 0.3522 | 0.15 | 4500 | 0.4279 | 0.2287 | 0.0861 |
76
+ | 0.2977 | 0.15 | 4750 | 0.4403 | 0.2200 | 0.0830 |
77
+ | 0.2391 | 0.16 | 5000 | 0.4360 | 0.2161 | 0.0831 |
78
+ | 0.3025 | 0.17 | 5250 | 0.4214 | 0.2157 | 0.0831 |
79
+ | 0.309 | 0.18 | 5500 | 0.4060 | 0.2125 | 0.0818 |
80
+ | 0.2872 | 0.19 | 5750 | 0.4233 | 0.2189 | 0.0824 |
81
+ | 0.2796 | 0.2 | 6000 | 0.4055 | 0.2151 | 0.0823 |
82
+ | 0.2609 | 0.2 | 6250 | 0.4374 | 0.2194 | 0.0853 |
83
+ | 0.283 | 0.21 | 6500 | 0.4288 | 0.2215 | 0.0877 |
84
+ | 0.3028 | 0.22 | 6750 | 0.4180 | 0.2166 | 0.0837 |
85
+ | 0.2565 | 0.23 | 7000 | 0.4476 | 0.2268 | 0.0892 |
86
+ | 0.2824 | 0.24 | 7250 | 0.4057 | 0.2195 | 0.0850 |
87
+ | 0.325 | 0.24 | 7500 | 0.3926 | 0.2157 | 0.0849 |
88
+ | 0.336 | 0.25 | 7750 | 0.4469 | 0.2208 | 0.0879 |
89
+ | 0.304 | 0.26 | 8000 | 0.4292 | 0.2245 | 0.0886 |
90
+ | 0.2457 | 0.27 | 8250 | 0.4198 | 0.2204 | 0.0856 |
91
+ | 0.2768 | 0.28 | 8500 | 0.4330 | 0.2184 | 0.0859 |
92
+ | 0.2165 | 0.29 | 8750 | 0.4276 | 0.2173 | 0.0864 |
93
+ | 0.3015 | 0.29 | 9000 | 0.4255 | 0.2223 | 0.0882 |
94
+ | 0.308 | 0.3 | 9250 | 0.4356 | 0.2318 | 0.0925 |
95
+ | 0.2981 | 0.31 | 9500 | 0.4514 | 0.2226 | 0.0884 |
96
+ | 0.2944 | 0.32 | 9750 | 0.4182 | 0.2293 | 0.0901 |
97
+ | 0.3298 | 0.33 | 10000 | 0.4290 | 0.2275 | 0.0892 |
98
+ | 0.2523 | 0.33 | 10250 | 0.4032 | 0.2191 | 0.0865 |
99
+ | 0.2887 | 0.34 | 10500 | 0.4218 | 0.2284 | 0.0917 |
100
+ | 0.3156 | 0.35 | 10750 | 0.3930 | 0.2271 | 0.0898 |
101
+ | 0.2526 | 0.36 | 11000 | 0.4367 | 0.2304 | 0.0928 |
102
+ | 0.2561 | 0.37 | 11250 | 0.4261 | 0.2279 | 0.0916 |
103
+ | 0.2291 | 0.37 | 11500 | 0.4401 | 0.2231 | 0.0899 |
104
+ | 0.2521 | 0.38 | 11750 | 0.4101 | 0.2232 | 0.0895 |
105
+ | 0.2249 | 0.39 | 12000 | 0.4021 | 0.2270 | 0.0913 |
106
+ | 0.2917 | 0.4 | 12250 | 0.4124 | 0.2267 | 0.0915 |
107
+ | 0.2436 | 0.41 | 12500 | 0.4197 | 0.2257 | 0.0903 |
108
+ | 0.2976 | 0.42 | 12750 | 0.3951 | 0.2230 | 0.0896 |
109
+ | 0.2333 | 0.42 | 13000 | 0.4099 | 0.2250 | 0.0901 |
110
+ | 0.2261 | 0.43 | 13250 | 0.4328 | 0.2168 | 0.0876 |
111
+ | 0.2514 | 0.44 | 13500 | 0.3947 | 0.2208 | 0.0895 |
112
+ | 0.296 | 0.45 | 13750 | 0.3953 | 0.2149 | 0.0859 |
113
+ | 0.2426 | 0.46 | 14000 | 0.3831 | 0.2119 | 0.0852 |
114
+ | 0.2258 | 0.46 | 14250 | 0.4060 | 0.2263 | 0.0915 |
115
+ | 0.2565 | 0.47 | 14500 | 0.4057 | 0.2237 | 0.0901 |
116
+ | 0.2834 | 0.48 | 14750 | 0.4112 | 0.2167 | 0.0876 |
117
+ | 0.234 | 0.49 | 15000 | 0.3802 | 0.2133 | 0.0852 |
118
+ | 0.3084 | 0.5 | 15250 | 0.3837 | 0.2151 | 0.0871 |
119
+ | 0.3051 | 0.51 | 15500 | 0.3848 | 0.2145 | 0.0867 |
120
+ | 0.2364 | 0.51 | 15750 | 0.3817 | 0.2134 | 0.0870 |
121
+ | 0.2345 | 0.52 | 16000 | 0.3883 | 0.2163 | 0.0874 |
122
+ | 0.2235 | 0.53 | 16250 | 0.3740 | 0.2136 | 0.0869 |
123
+ | 0.2365 | 0.54 | 16500 | 0.3711 | 0.2112 | 0.0850 |
124
+ | 0.2449 | 0.55 | 16750 | 0.3805 | 0.2127 | 0.0858 |
125
+ | 0.2569 | 0.55 | 17000 | 0.3794 | 0.2124 | 0.0863 |
126
+ | 0.2273 | 0.56 | 17250 | 0.3922 | 0.2207 | 0.0895 |
127
+ | 0.2492 | 0.57 | 17500 | 0.3670 | 0.2195 | 0.0874 |
128
+ | 0.236 | 0.58 | 17750 | 0.3799 | 0.2120 | 0.0862 |
129
+ | 0.2823 | 0.59 | 18000 | 0.3734 | 0.2144 | 0.0867 |
130
+ | 0.2349 | 0.59 | 18250 | 0.3972 | 0.2175 | 0.0889 |
131
+ | 0.2156 | 0.6 | 18500 | 0.3729 | 0.2157 | 0.0867 |
132
+ | 0.2812 | 0.61 | 18750 | 0.3905 | 0.2117 | 0.0854 |
133
+ | 0.242 | 0.62 | 19000 | 0.3912 | 0.2114 | 0.0855 |
134
+ | 0.2237 | 0.63 | 19250 | 0.3794 | 0.2155 | 0.0877 |
135
+ | 0.255 | 0.64 | 19500 | 0.3770 | 0.2079 | 0.0840 |
136
+ | 0.1899 | 0.64 | 19750 | 0.3796 | 0.2145 | 0.0868 |
137
+ | 0.2793 | 0.65 | 20000 | 0.3784 | 0.2145 | 0.0863 |
138
+ | 0.2099 | 0.66 | 20250 | 0.3956 | 0.2161 | 0.0875 |
139
+ | 0.22 | 0.67 | 20500 | 0.3804 | 0.2135 | 0.0875 |
140
+ | 0.2213 | 0.68 | 20750 | 0.3803 | 0.2100 | 0.0849 |
141
+ | 0.245 | 0.68 | 21000 | 0.3783 | 0.2142 | 0.0870 |
142
+ | 0.2188 | 0.69 | 21250 | 0.3873 | 0.2163 | 0.0861 |
143
+ | 0.2613 | 0.7 | 21500 | 0.3646 | 0.2105 | 0.0844 |
144
+ | 0.1907 | 0.71 | 21750 | 0.3830 | 0.2101 | 0.0853 |
145
+ | 0.2095 | 0.72 | 22000 | 0.3794 | 0.2087 | 0.0849 |
146
+ | 0.2319 | 0.73 | 22250 | 0.3548 | 0.2087 | 0.0842 |
147
+ | 0.2049 | 0.73 | 22500 | 0.3782 | 0.2075 | 0.0837 |
148
+ | 0.2248 | 0.74 | 22750 | 0.3736 | 0.2100 | 0.0845 |
149
+ | 0.2277 | 0.75 | 23000 | 0.3712 | 0.2105 | 0.0845 |
150
+ | 0.2115 | 0.76 | 23250 | 0.3722 | 0.2124 | 0.0859 |
151
+ | 0.2001 | 0.77 | 23500 | 0.3602 | 0.2072 | 0.0832 |
152
+ | 0.2095 | 0.77 | 23750 | 0.3607 | 0.2106 | 0.0851 |
153
+ | 0.2286 | 0.78 | 24000 | 0.3810 | 0.2132 | 0.0876 |
154
+ | 0.2284 | 0.79 | 24250 | 0.3677 | 0.2066 | 0.0847 |
155
+ | 0.2003 | 0.8 | 24500 | 0.3650 | 0.2098 | 0.0847 |
156
+ | 0.1992 | 0.81 | 24750 | 0.3491 | 0.2019 | 0.0813 |
157
+ | 0.224 | 0.81 | 25000 | 0.3602 | 0.2043 | 0.0825 |
158
+ | 0.2181 | 0.82 | 25250 | 0.3712 | 0.2120 | 0.0867 |
159
+ | 0.2226 | 0.83 | 25500 | 0.3657 | 0.2028 | 0.0830 |
160
+ | 0.1912 | 0.84 | 25750 | 0.3662 | 0.2076 | 0.0846 |
161
+ | 0.2283 | 0.85 | 26000 | 0.3505 | 0.2049 | 0.0825 |
162
+ | 0.2068 | 0.86 | 26250 | 0.3622 | 0.2111 | 0.0852 |
163
+ | 0.2444 | 0.86 | 26500 | 0.3660 | 0.2055 | 0.0840 |
164
+ | 0.2055 | 0.87 | 26750 | 0.3625 | 0.2055 | 0.0830 |
165
+ | 0.2074 | 0.88 | 27000 | 0.3566 | 0.1981 | 0.0812 |
166
+ | 0.2019 | 0.89 | 27250 | 0.3537 | 0.2038 | 0.0822 |
167
+ | 0.2174 | 0.9 | 27500 | 0.3664 | 0.1990 | 0.0809 |
168
+ | 0.2009 | 0.9 | 27750 | 0.3512 | 0.2035 | 0.0821 |
169
+ | 0.211 | 0.91 | 28000 | 0.3707 | 0.2068 | 0.0846 |
170
+ | 0.2541 | 0.92 | 28250 | 0.3435 | 0.1992 | 0.0812 |
171
+ | 0.2108 | 0.93 | 28500 | 0.3461 | 0.2046 | 0.0828 |
172
+ | 0.2274 | 0.94 | 28750 | 0.3364 | 0.1998 | 0.0812 |
173
+ | 0.2175 | 0.95 | 29000 | 0.3742 | 0.2113 | 0.0864 |
174
+ | 0.2368 | 0.95 | 29250 | 0.3431 | 0.2051 | 0.0833 |
175
+ | 0.1831 | 0.96 | 29500 | 0.3468 | 0.2034 | 0.0825 |
176
+ | 0.2202 | 0.97 | 29750 | 0.3342 | 0.1964 | 0.0791 |
177
+ | 0.183 | 0.98 | 30000 | 0.3413 | 0.1966 | 0.0792 |
178
+ | 0.1958 | 0.99 | 30250 | 0.3466 | 0.1991 | 0.0809 |
179
+ | 0.2167 | 0.99 | 30500 | 0.3530 | 0.2024 | 0.0816 |
180
+ | 0.2057 | 1.0 | 30750 | 0.3334 | 0.1960 | 0.0788 |
181
+ | 0.1982 | 1.01 | 31000 | 0.3312 | 0.1951 | 0.0789 |
182
+ | 0.2123 | 1.02 | 31250 | 0.3285 | 0.1955 | 0.0785 |
183
+ | 0.2269 | 1.03 | 31500 | 0.3548 | 0.2034 | 0.0812 |
184
+ | 0.2056 | 1.03 | 31750 | 0.3433 | 0.1969 | 0.0793 |
185
+ | 0.2234 | 1.04 | 32000 | 0.3446 | 0.1981 | 0.0805 |
186
+ | 0.1913 | 1.05 | 32250 | 0.3465 | 0.1969 | 0.0792 |
187
+ | 0.2005 | 1.06 | 32500 | 0.3348 | 0.1947 | 0.0784 |
188
+ | 0.2017 | 1.07 | 32750 | 0.3567 | 0.1972 | 0.0796 |
189
+ | 0.2523 | 1.08 | 33000 | 0.3367 | 0.1971 | 0.0801 |
190
+ | 0.1716 | 1.08 | 33250 | 0.3476 | 0.1975 | 0.0799 |
191
+ | 0.168 | 1.09 | 33500 | 0.3346 | 0.1951 | 0.0790 |
192
+ | 0.1995 | 1.1 | 33750 | 0.3564 | 0.1971 | 0.0794 |
193
+ | 0.198 | 1.11 | 34000 | 0.3409 | 0.1988 | 0.0796 |
194
+ | 0.1801 | 1.12 | 34250 | 0.3303 | 0.1995 | 0.0798 |
195
+ | 0.181 | 1.12 | 34500 | 0.3363 | 0.1967 | 0.0794 |
196
+ | 0.1966 | 1.13 | 34750 | 0.3375 | 0.1947 | 0.0784 |
197
+ | 0.2163 | 1.14 | 35000 | 0.3441 | 0.2011 | 0.0810 |
198
+ | 0.2285 | 1.15 | 35250 | 0.3303 | 0.1972 | 0.0801 |
199
+ | 0.1814 | 1.16 | 35500 | 0.3462 | 0.1895 | 0.0772 |
200
+ | 0.2127 | 1.17 | 35750 | 0.3393 | 0.1904 | 0.0775 |
201
+ | 0.1795 | 1.17 | 36000 | 0.3374 | 0.1928 | 0.0780 |
202
+ | 0.2062 | 1.18 | 36250 | 0.3286 | 0.1929 | 0.0783 |
203
+ | 0.172 | 1.19 | 36500 | 0.3334 | 0.1929 | 0.0781 |
204
+ | 0.1534 | 1.2 | 36750 | 0.3287 | 0.1895 | 0.0763 |
205
+ | 0.2101 | 1.21 | 37000 | 0.3261 | 0.1888 | 0.0764 |
206
+ | 0.2342 | 1.21 | 37250 | 0.3413 | 0.2007 | 0.0812 |
207
+ | 0.1692 | 1.22 | 37500 | 0.3375 | 0.1932 | 0.0780 |
208
+ | 0.165 | 1.23 | 37750 | 0.3220 | 0.1903 | 0.0767 |
209
+ | 0.2067 | 1.24 | 38000 | 0.3212 | 0.1855 | 0.0754 |
210
+ | 0.1984 | 1.25 | 38250 | 0.3339 | 0.1890 | 0.0762 |
211
+ | 0.2117 | 1.25 | 38500 | 0.3224 | 0.1900 | 0.0761 |
212
+ | 0.2036 | 1.26 | 38750 | 0.3410 | 0.1923 | 0.0790 |
213
+ | 0.2072 | 1.27 | 39000 | 0.3291 | 0.1904 | 0.0770 |
214
+ | 0.1962 | 1.28 | 39250 | 0.3237 | 0.1908 | 0.0770 |
215
+ | 0.2055 | 1.29 | 39500 | 0.3260 | 0.1896 | 0.0767 |
216
+ | 0.1753 | 1.3 | 39750 | 0.3375 | 0.1915 | 0.0777 |
217
+ | 0.1983 | 1.3 | 40000 | 0.3236 | 0.1850 | 0.0750 |
218
+ | 0.173 | 1.31 | 40250 | 0.3253 | 0.1870 | 0.0754 |
219
+ | 0.1773 | 1.32 | 40500 | 0.3316 | 0.1923 | 0.0766 |
220
+ | 0.1649 | 1.33 | 40750 | 0.3218 | 0.1842 | 0.0749 |
221
+ | 0.1806 | 1.34 | 41000 | 0.3161 | 0.1907 | 0.0769 |
222
+ | 0.1639 | 1.34 | 41250 | 0.3293 | 0.1898 | 0.0773 |
223
+ | 0.1733 | 1.35 | 41500 | 0.3148 | 0.1881 | 0.0756 |
224
+ | 0.1603 | 1.36 | 41750 | 0.3137 | 0.1851 | 0.0748 |
225
+ | 0.1753 | 1.37 | 42000 | 0.3100 | 0.1857 | 0.0751 |
226
+ | 0.1823 | 1.38 | 42250 | 0.3170 | 0.1821 | 0.0740 |
227
+ | 0.1647 | 1.39 | 42500 | 0.3210 | 0.1863 | 0.0758 |
228
+ | 0.1699 | 1.39 | 42750 | 0.3151 | 0.1861 | 0.0761 |
229
+ | 0.1693 | 1.4 | 43000 | 0.3184 | 0.1800 | 0.0730 |
230
+ | 0.1885 | 1.41 | 43250 | 0.3089 | 0.1830 | 0.0739 |
231
+ | 0.1626 | 1.42 | 43500 | 0.3203 | 0.1852 | 0.0746 |
232
+ | 0.1707 | 1.43 | 43750 | 0.3263 | 0.1834 | 0.0745 |
233
+ | 0.1997 | 1.43 | 44000 | 0.3092 | 0.1807 | 0.0732 |
234
+ | 0.1568 | 1.44 | 44250 | 0.3096 | 0.1828 | 0.0742 |
235
+ | 0.1698 | 1.45 | 44500 | 0.3142 | 0.1826 | 0.0736 |
236
+ | 0.165 | 1.46 | 44750 | 0.3205 | 0.1903 | 0.0765 |
237
+ | 0.1834 | 1.47 | 45000 | 0.3226 | 0.1855 | 0.0750 |
238
+ | 0.1614 | 1.47 | 45250 | 0.3141 | 0.1825 | 0.0737 |
239
+ | 0.1794 | 1.48 | 45500 | 0.3100 | 0.1823 | 0.0734 |
240
+ | 0.1838 | 1.49 | 45750 | 0.2988 | 0.1825 | 0.0732 |
241
+ | 0.1678 | 1.5 | 46000 | 0.3061 | 0.1797 | 0.0726 |
242
+ | 0.1691 | 1.51 | 46250 | 0.3192 | 0.1821 | 0.0743 |
243
+ | 0.1743 | 1.52 | 46500 | 0.3133 | 0.1815 | 0.0736 |
244
+ | 0.1666 | 1.52 | 46750 | 0.3034 | 0.1821 | 0.0731 |
245
+ | 0.1903 | 1.53 | 47000 | 0.3016 | 0.1792 | 0.0721 |
246
+ | 0.2236 | 1.54 | 47250 | 0.3137 | 0.1819 | 0.0739 |
247
+ | 0.1469 | 1.55 | 47500 | 0.3092 | 0.1796 | 0.0725 |
248
+ | 0.175 | 1.56 | 47750 | 0.3009 | 0.1753 | 0.0715 |
249
+ | 0.1578 | 1.56 | 48000 | 0.3023 | 0.1778 | 0.0717 |
250
+ | 0.1998 | 1.57 | 48250 | 0.3059 | 0.1816 | 0.0726 |
251
+ | 0.1887 | 1.58 | 48500 | 0.3063 | 0.1791 | 0.0720 |
252
+ | 0.1635 | 1.59 | 48750 | 0.3027 | 0.1786 | 0.0722 |
253
+ | 0.2074 | 1.6 | 49000 | 0.3001 | 0.1756 | 0.0708 |
254
+ | 0.1719 | 1.61 | 49250 | 0.2957 | 0.1788 | 0.0718 |
255
+ | 0.1654 | 1.61 | 49500 | 0.3020 | 0.1795 | 0.0721 |
256
+ | 0.1572 | 1.62 | 49750 | 0.3011 | 0.1769 | 0.0710 |
257
+ | 0.177 | 1.63 | 50000 | 0.2929 | 0.1783 | 0.0712 |
258
+ | 0.1771 | 1.64 | 50250 | 0.3082 | 0.1812 | 0.0722 |
259
+ | 0.1796 | 1.65 | 50500 | 0.2946 | 0.1781 | 0.0713 |
260
+ | 0.1585 | 1.65 | 50750 | 0.3107 | 0.1819 | 0.0733 |
261
+ | 0.1815 | 1.66 | 51000 | 0.3073 | 0.1775 | 0.0721 |
262
+ | 0.1601 | 1.67 | 51250 | 0.3020 | 0.1734 | 0.0701 |
263
+ | 0.1769 | 1.68 | 51500 | 0.3063 | 0.1771 | 0.0710 |
264
+ | 0.1786 | 1.69 | 51750 | 0.3014 | 0.1766 | 0.0703 |
265
+ | 0.1743 | 1.69 | 52000 | 0.3096 | 0.1767 | 0.0710 |
266
+ | 0.1864 | 1.7 | 52250 | 0.3063 | 0.1802 | 0.0720 |
267
+ | 0.1399 | 1.71 | 52500 | 0.3094 | 0.1773 | 0.0718 |
268
+ | 0.1678 | 1.72 | 52750 | 0.3073 | 0.1796 | 0.0724 |
269
+ | 0.1497 | 1.73 | 53000 | 0.2959 | 0.1753 | 0.0701 |
270
+ | 0.1565 | 1.74 | 53250 | 0.2955 | 0.1729 | 0.0690 |
271
+ | 0.1942 | 1.74 | 53500 | 0.2926 | 0.1742 | 0.0693 |
272
+ | 0.1848 | 1.75 | 53750 | 0.2897 | 0.1721 | 0.0686 |
273
+ | 0.1664 | 1.76 | 54000 | 0.2951 | 0.1787 | 0.0708 |
274
+ | 0.1296 | 1.77 | 54250 | 0.2899 | 0.1705 | 0.0679 |
275
+ | 0.1763 | 1.78 | 54500 | 0.2877 | 0.1725 | 0.0686 |
276
+ | 0.1627 | 1.78 | 54750 | 0.2959 | 0.1735 | 0.0697 |
277
+ | 0.1433 | 1.79 | 55000 | 0.2952 | 0.1729 | 0.0693 |
278
+ | 0.1632 | 1.8 | 55250 | 0.2829 | 0.1728 | 0.0686 |
279
+ | 0.1837 | 1.81 | 55500 | 0.2840 | 0.1734 | 0.0688 |
280
+ | 0.146 | 1.82 | 55750 | 0.2855 | 0.1686 | 0.0675 |
281
+ | 0.1862 | 1.83 | 56000 | 0.2845 | 0.1721 | 0.0691 |
282
+ | 0.1576 | 1.83 | 56250 | 0.2917 | 0.1762 | 0.0703 |
283
+ | 0.1183 | 1.84 | 56500 | 0.2828 | 0.1713 | 0.0687 |
284
+ | 0.1582 | 1.85 | 56750 | 0.2910 | 0.1708 | 0.0684 |
285
+ | 0.1699 | 1.86 | 57000 | 0.2927 | 0.1733 | 0.0693 |
286
+ | 0.1761 | 1.87 | 57250 | 0.2812 | 0.1687 | 0.0671 |
287
+ | 0.1421 | 1.87 | 57500 | 0.2869 | 0.1699 | 0.0683 |
288
+ | 0.1662 | 1.88 | 57750 | 0.2913 | 0.1748 | 0.0697 |
289
+ | 0.151 | 1.89 | 58000 | 0.2984 | 0.1736 | 0.0692 |
290
+ | 0.1513 | 1.9 | 58250 | 0.2862 | 0.1715 | 0.0683 |
291
+ | 0.165 | 1.91 | 58500 | 0.2808 | 0.1691 | 0.0675 |
292
+ | 0.1391 | 1.91 | 58750 | 0.2848 | 0.1696 | 0.0676 |
293
+ | 0.1297 | 1.92 | 59000 | 0.2837 | 0.1666 | 0.0666 |
294
+ | 0.1398 | 1.93 | 59250 | 0.2771 | 0.1682 | 0.0673 |
295
+ | 0.1356 | 1.94 | 59500 | 0.2868 | 0.1710 | 0.0686 |
296
+ | 0.1552 | 1.95 | 59750 | 0.2817 | 0.1707 | 0.0687 |
297
+ | 0.1697 | 1.96 | 60000 | 0.2901 | 0.1691 | 0.0673 |
298
+ | 0.1545 | 1.96 | 60250 | 0.2796 | 0.1671 | 0.0668 |
299
+ | 0.1598 | 1.97 | 60500 | 0.2791 | 0.1655 | 0.0664 |
300
+ | 0.147 | 1.98 | 60750 | 0.2775 | 0.1673 | 0.0665 |
301
+ | 0.1658 | 1.99 | 61000 | 0.2742 | 0.1681 | 0.0665 |
302
+ | 0.1501 | 2.0 | 61250 | 0.2811 | 0.1702 | 0.0676 |
303
+ | 0.1428 | 2.0 | 61500 | 0.2827 | 0.1669 | 0.0665 |
304
+ | 0.1107 | 2.01 | 61750 | 0.2854 | 0.1649 | 0.0664 |
305
+ | 0.1176 | 2.02 | 62000 | 0.2881 | 0.1650 | 0.0661 |
306
+ | 0.1032 | 2.03 | 62250 | 0.2706 | 0.1647 | 0.0657 |
307
+ | 0.1229 | 2.04 | 62500 | 0.2806 | 0.1678 | 0.0666 |
308
+ | 0.1397 | 2.05 | 62750 | 0.2799 | 0.1634 | 0.0654 |
309
+ | 0.1182 | 2.05 | 63000 | 0.2799 | 0.1653 | 0.0662 |
310
+ | 0.1294 | 2.06 | 63250 | 0.2746 | 0.1635 | 0.0656 |
311
+ | 0.1358 | 2.07 | 63500 | 0.2738 | 0.1643 | 0.0653 |
312
+ | 0.1464 | 2.08 | 63750 | 0.2793 | 0.1662 | 0.0664 |
313
+ | 0.1362 | 2.09 | 64000 | 0.2738 | 0.1635 | 0.0650 |
314
+ | 0.1264 | 2.09 | 64250 | 0.2795 | 0.1653 | 0.0666 |
315
+ | 0.1189 | 2.1 | 64500 | 0.2792 | 0.1657 | 0.0658 |
316
+ | 0.1157 | 2.11 | 64750 | 0.2754 | 0.1619 | 0.0648 |
317
+ | 0.1232 | 2.12 | 65000 | 0.2798 | 0.1627 | 0.0646 |
318
+ | 0.1209 | 2.13 | 65250 | 0.2723 | 0.1623 | 0.0654 |
319
+ | 0.1079 | 2.13 | 65500 | 0.2769 | 0.1611 | 0.0644 |
320
+ | 0.1217 | 2.14 | 65750 | 0.2694 | 0.1604 | 0.0642 |
321
+ | 0.1207 | 2.15 | 66000 | 0.2758 | 0.1608 | 0.0645 |
322
+ | 0.1515 | 2.16 | 66250 | 0.2691 | 0.1634 | 0.0654 |
323
+ | 0.1145 | 2.17 | 66500 | 0.2770 | 0.1623 | 0.0651 |
324
+ | 0.1752 | 2.18 | 66750 | 0.2696 | 0.1603 | 0.0642 |
325
+ | 0.1366 | 2.18 | 67000 | 0.2725 | 0.1610 | 0.0647 |
326
+ | 0.1171 | 2.19 | 67250 | 0.2734 | 0.1615 | 0.0647 |
327
+ | 0.1429 | 2.2 | 67500 | 0.2748 | 0.1602 | 0.0644 |
328
+ | 0.1329 | 2.21 | 67750 | 0.2727 | 0.1593 | 0.0643 |
329
+ | 0.1126 | 2.22 | 68000 | 0.2734 | 0.1603 | 0.0645 |
330
+ | 0.117 | 2.22 | 68250 | 0.2803 | 0.1632 | 0.0655 |
331
+ | 0.1109 | 2.23 | 68500 | 0.2748 | 0.1589 | 0.0644 |
332
+ | 0.1296 | 2.24 | 68750 | 0.2749 | 0.1594 | 0.0640 |
333
+ | 0.1506 | 2.25 | 69000 | 0.2680 | 0.1582 | 0.0633 |
334
+ | 0.1282 | 2.26 | 69250 | 0.2664 | 0.1587 | 0.0638 |
335
+ | 0.0987 | 2.27 | 69500 | 0.2700 | 0.1593 | 0.0638 |
336
+ | 0.1288 | 2.27 | 69750 | 0.2726 | 0.1582 | 0.0636 |
337
+ | 0.1022 | 2.28 | 70000 | 0.2744 | 0.1577 | 0.0636 |
338
+ | 0.1102 | 2.29 | 70250 | 0.2672 | 0.1586 | 0.0636 |
339
+ | 0.1165 | 2.3 | 70500 | 0.2677 | 0.1569 | 0.0632 |
340
+ | 0.1289 | 2.31 | 70750 | 0.2700 | 0.1558 | 0.0628 |
341
+ | 0.1144 | 2.31 | 71000 | 0.2780 | 0.1585 | 0.0637 |
342
+ | 0.1092 | 2.32 | 71250 | 0.2687 | 0.1561 | 0.0629 |
343
+ | 0.1126 | 2.33 | 71500 | 0.2733 | 0.1553 | 0.0623 |
344
+ | 0.1231 | 2.34 | 71750 | 0.2712 | 0.1568 | 0.0630 |
345
+ | 0.1302 | 2.35 | 72000 | 0.2638 | 0.1548 | 0.0622 |
346
+ | 0.1104 | 2.35 | 72250 | 0.2671 | 0.1561 | 0.0632 |
347
+ | 0.1076 | 2.36 | 72500 | 0.2636 | 0.1552 | 0.0623 |
348
+ | 0.1193 | 2.37 | 72750 | 0.2650 | 0.1580 | 0.0633 |
349
+ | 0.1163 | 2.38 | 73000 | 0.2624 | 0.1555 | 0.0621 |
350
+ | 0.1108 | 2.39 | 73250 | 0.2667 | 0.1552 | 0.0622 |
351
+ | 0.0903 | 2.4 | 73500 | 0.2643 | 0.1555 | 0.0626 |
352
+ | 0.1388 | 2.4 | 73750 | 0.2674 | 0.1546 | 0.0623 |
353
+ | 0.1069 | 2.41 | 74000 | 0.2621 | 0.1553 | 0.0623 |
354
+ | 0.1054 | 2.42 | 74250 | 0.2567 | 0.1549 | 0.0617 |
355
+ | 0.1151 | 2.43 | 74500 | 0.2625 | 0.1538 | 0.0617 |
356
+ | 0.1304 | 2.44 | 74750 | 0.2588 | 0.1537 | 0.0616 |
357
+ | 0.1102 | 2.44 | 75000 | 0.2598 | 0.1533 | 0.0617 |
358
+ | 0.0926 | 2.45 | 75250 | 0.2592 | 0.1529 | 0.0612 |
359
+ | 0.118 | 2.46 | 75500 | 0.2565 | 0.1542 | 0.0614 |
360
+ | 0.1027 | 2.47 | 75750 | 0.2603 | 0.1520 | 0.0611 |
361
+ | 0.1084 | 2.48 | 76000 | 0.2603 | 0.1529 | 0.0611 |
362
+ | 0.1077 | 2.49 | 76250 | 0.2572 | 0.1519 | 0.0610 |
363
+ | 0.1033 | 2.49 | 76500 | 0.2595 | 0.1518 | 0.0608 |
364
+ | 0.1071 | 2.5 | 76750 | 0.2562 | 0.1515 | 0.0607 |
365
+ | 0.1012 | 2.51 | 77000 | 0.2537 | 0.1521 | 0.0609 |
366
+ | 0.1257 | 2.52 | 77250 | 0.2572 | 0.1521 | 0.0612 |
367
+ | 0.1096 | 2.53 | 77500 | 0.2549 | 0.1518 | 0.0606 |
368
+ | 0.1169 | 2.53 | 77750 | 0.2589 | 0.1538 | 0.0614 |
369
+ | 0.1136 | 2.54 | 78000 | 0.2558 | 0.1520 | 0.0607 |
370
+ | 0.1137 | 2.55 | 78250 | 0.2600 | 0.1539 | 0.0611 |
371
+ | 0.0968 | 2.56 | 78500 | 0.2600 | 0.1523 | 0.0610 |
372
+ | 0.0982 | 2.57 | 78750 | 0.2598 | 0.1515 | 0.0607 |
373
+ | 0.085 | 2.57 | 79000 | 0.2534 | 0.1499 | 0.0601 |
374
+ | 0.1193 | 2.58 | 79250 | 0.2550 | 0.1506 | 0.0601 |
375
+ | 0.1096 | 2.59 | 79500 | 0.2519 | 0.1499 | 0.0601 |
376
+ | 0.1132 | 2.6 | 79750 | 0.2518 | 0.1516 | 0.0603 |
377
+ | 0.1119 | 2.61 | 80000 | 0.2494 | 0.1511 | 0.0600 |
378
+ | 0.1005 | 2.62 | 80250 | 0.2483 | 0.1492 | 0.0596 |
379
+ | 0.1098 | 2.62 | 80500 | 0.2544 | 0.1507 | 0.0601 |
380
+ | 0.1052 | 2.63 | 80750 | 0.2537 | 0.1486 | 0.0595 |
381
+ | 0.13 | 2.64 | 81000 | 0.2505 | 0.1499 | 0.0596 |
382
+ | 0.1104 | 2.65 | 81250 | 0.2487 | 0.1492 | 0.0594 |
383
+ | 0.1168 | 2.66 | 81500 | 0.2461 | 0.1500 | 0.0596 |
384
+ | 0.1198 | 2.66 | 81750 | 0.2496 | 0.1504 | 0.0597 |
385
+ | 0.0936 | 2.67 | 82000 | 0.2556 | 0.1496 | 0.0598 |
386
+ | 0.1235 | 2.68 | 82250 | 0.2537 | 0.1501 | 0.0599 |
387
+ | 0.0952 | 2.69 | 82500 | 0.2525 | 0.1504 | 0.0599 |
388
+ | 0.1014 | 2.7 | 82750 | 0.2470 | 0.1505 | 0.0599 |
389
+ | 0.1178 | 2.71 | 83000 | 0.2506 | 0.1487 | 0.0596 |
390
+ | 0.0969 | 2.71 | 83250 | 0.2487 | 0.1482 | 0.0592 |
391
+ | 0.1192 | 2.72 | 83500 | 0.2469 | 0.1483 | 0.0592 |
392
+ | 0.0978 | 2.73 | 83750 | 0.2510 | 0.1490 | 0.0595 |
393
+ | 0.1053 | 2.74 | 84000 | 0.2496 | 0.1487 | 0.0595 |
394
+ | 0.106 | 2.75 | 84250 | 0.2481 | 0.1494 | 0.0594 |
395
+ | 0.1217 | 2.75 | 84500 | 0.2482 | 0.1493 | 0.0592 |
396
+ | 0.103 | 2.76 | 84750 | 0.2475 | 0.1485 | 0.0591 |
397
+ | 0.1424 | 2.77 | 85000 | 0.2466 | 0.1476 | 0.0590 |
398
+ | 0.116 | 2.78 | 85250 | 0.2488 | 0.1484 | 0.0593 |
399
+ | 0.098 | 2.79 | 85500 | 0.2509 | 0.1488 | 0.0596 |
400
+ | 0.1101 | 2.79 | 85750 | 0.2488 | 0.1482 | 0.0594 |
401
+ | 0.1068 | 2.8 | 86000 | 0.2480 | 0.1479 | 0.0591 |
402
+ | 0.0929 | 2.81 | 86250 | 0.2477 | 0.1476 | 0.0590 |
403
+ | 0.1142 | 2.82 | 86500 | 0.2471 | 0.1472 | 0.0589 |
404
+ | 0.1144 | 2.83 | 86750 | 0.2451 | 0.1467 | 0.0585 |
405
+ | 0.1115 | 2.84 | 87000 | 0.2464 | 0.1474 | 0.0588 |
406
+ | 0.1415 | 2.84 | 87250 | 0.2428 | 0.1467 | 0.0585 |
407
+ | 0.084 | 2.85 | 87500 | 0.2459 | 0.1465 | 0.0583 |
408
+ | 0.1198 | 2.86 | 87750 | 0.2452 | 0.1477 | 0.0587 |
409
+ | 0.1228 | 2.87 | 88000 | 0.2420 | 0.1472 | 0.0584 |
410
+ | 0.1063 | 2.88 | 88250 | 0.2462 | 0.1469 | 0.0586 |
411
+ | 0.1313 | 2.88 | 88500 | 0.2415 | 0.1464 | 0.0582 |
412
+ | 0.1081 | 2.89 | 88750 | 0.2421 | 0.1458 | 0.0580 |
413
+ | 0.0984 | 2.9 | 89000 | 0.2452 | 0.1464 | 0.0584 |
414
+ | 0.0934 | 2.91 | 89250 | 0.2428 | 0.1466 | 0.0584 |
415
+ | 0.0964 | 2.92 | 89500 | 0.2437 | 0.1456 | 0.0581 |
416
+ | 0.1113 | 2.93 | 89750 | 0.2442 | 0.1461 | 0.0583 |
417
+ | 0.1082 | 2.93 | 90000 | 0.2432 | 0.1455 | 0.0581 |
418
+ | 0.1147 | 2.94 | 90250 | 0.2417 | 0.1452 | 0.0580 |
419
+ | 0.0896 | 2.95 | 90500 | 0.2442 | 0.1459 | 0.0582 |
420
+ | 0.1169 | 2.96 | 90750 | 0.2433 | 0.1456 | 0.0582 |
421
+ | 0.0968 | 2.97 | 91000 | 0.2439 | 0.1456 | 0.0581 |
422
+ | 0.0888 | 2.97 | 91250 | 0.2435 | 0.1454 | 0.0580 |
423
+ | 0.1278 | 2.98 | 91500 | 0.2427 | 0.1457 | 0.0581 |
424
+ | 0.1234 | 2.99 | 91750 | 0.2425 | 0.1455 | 0.0580 |
425
+ | 0.0922 | 3.0 | 92000 | 0.2427 | 0.1455 | 0.0580 |
426
+
427
+
428
+ ### Framework versions
429
+
430
+ - Transformers 4.37.0.dev0
431
+ - Pytorch 2.1.0+cu121
432
+ - Datasets 2.16.1
433
+ - Tokenizers 0.15.0
emissions.csv ADDED
@@ -0,0 +1,2 @@
 
 
 
1
+ timestamp,experiment_id,project_name,duration,emissions,energy_consumed,country_name,country_iso_code,region,on_cloud,cloud_provider,cloud_region
2
+ 2024-01-15T10:52:20,38dcde78-60b8-4d7d-b5e1-ec50d8986096,codecarbon,209628.10742759705,15.060385872282254,35.47092773900463,France,FRA,île-de-france,N,,
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:9d8f7b6f947411b77bbc76b0525dca92c24daf9aa550ced06d83246f6fb35c07
3
  size 2422949860
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:edb03e07ee231ef7e9e72d5d9eece18ef362ce6ee46267d9ca8ae35a28a2dfb1
3
  size 2422949860
runs/Jan13_00-37-49_vorace/events.out.tfevents.1705106310.vorace.290722.0 CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:9a2a05a9dfe5600708323d1451d33cbe641014d77d6b150757e31fb709b453f0
3
- size 3009314
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8b745c06332e6f034fdc72a995e916e387e4608e8bec3cc3bd73ddd5bcc981f0
3
+ size 3077770