gyr66 commited on
Commit
5737258
1 Parent(s): c860a54

End of training

Browse files
README.md CHANGED
@@ -17,8 +17,8 @@ should probably proofread and complete it, then remove this comment. -->
17
 
18
  This model is a fine-tuned version of [bert-base-uncased](https://huggingface.co/bert-base-uncased) on an unknown dataset.
19
  It achieves the following results on the evaluation set:
20
- - Loss: 0.9421
21
- - F1: 0.8613
22
 
23
  ## Model description
24
 
 
17
 
18
  This model is a fine-tuned version of [bert-base-uncased](https://huggingface.co/bert-base-uncased) on an unknown dataset.
19
  It achieves the following results on the evaluation set:
20
+ - Loss: 0.9300
21
+ - F1: 0.8616
22
 
23
  ## Model description
24
 
all_results.json ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 10.0,
3
+ "eval_f1": 0.8615721366809934,
4
+ "eval_loss": 0.9300327301025391,
5
+ "eval_runtime": 2.6874,
6
+ "eval_samples": 1200,
7
+ "eval_samples_per_second": 446.524,
8
+ "eval_steps_per_second": 7.07,
9
+ "train_loss": 0.2016566672197012,
10
+ "train_runtime": 574.5493,
11
+ "train_samples": 6800,
12
+ "train_samples_per_second": 118.354,
13
+ "train_steps_per_second": 1.862
14
+ }
eval_results.json ADDED
@@ -0,0 +1,9 @@
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 10.0,
3
+ "eval_f1": 0.8615721366809934,
4
+ "eval_loss": 0.9300327301025391,
5
+ "eval_runtime": 2.6874,
6
+ "eval_samples": 1200,
7
+ "eval_samples_per_second": 446.524,
8
+ "eval_steps_per_second": 7.07
9
+ }
predict_results.txt ADDED
@@ -0,0 +1,2718 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ index prediction
2
+ 0 14
3
+ 1 17
4
+ 2 11
5
+ 3 6
6
+ 4 1
7
+ 5 2
8
+ 6 18
9
+ 7 13
10
+ 8 18
11
+ 9 14
12
+ 10 6
13
+ 11 16
14
+ 12 6
15
+ 13 16
16
+ 14 8
17
+ 15 8
18
+ 16 6
19
+ 17 18
20
+ 18 13
21
+ 19 16
22
+ 20 14
23
+ 21 4
24
+ 22 16
25
+ 23 18
26
+ 24 9
27
+ 25 18
28
+ 26 18
29
+ 27 14
30
+ 28 2
31
+ 29 8
32
+ 30 0
33
+ 31 14
34
+ 32 2
35
+ 33 1
36
+ 34 2
37
+ 35 3
38
+ 36 13
39
+ 37 18
40
+ 38 13
41
+ 39 1
42
+ 40 0
43
+ 41 3
44
+ 42 0
45
+ 43 6
46
+ 44 8
47
+ 45 4
48
+ 46 2
49
+ 47 6
50
+ 48 14
51
+ 49 3
52
+ 50 6
53
+ 51 5
54
+ 52 13
55
+ 53 13
56
+ 54 0
57
+ 55 8
58
+ 56 6
59
+ 57 0
60
+ 58 18
61
+ 59 3
62
+ 60 9
63
+ 61 16
64
+ 62 11
65
+ 63 12
66
+ 64 6
67
+ 65 18
68
+ 66 11
69
+ 67 3
70
+ 68 14
71
+ 69 16
72
+ 70 18
73
+ 71 8
74
+ 72 1
75
+ 73 8
76
+ 74 18
77
+ 75 16
78
+ 76 18
79
+ 77 11
80
+ 78 6
81
+ 79 17
82
+ 80 2
83
+ 81 2
84
+ 82 0
85
+ 83 2
86
+ 84 14
87
+ 85 11
88
+ 86 14
89
+ 87 17
90
+ 88 9
91
+ 89 14
92
+ 90 8
93
+ 91 17
94
+ 92 2
95
+ 93 18
96
+ 94 18
97
+ 95 6
98
+ 96 14
99
+ 97 2
100
+ 98 6
101
+ 99 14
102
+ 100 14
103
+ 101 11
104
+ 102 8
105
+ 103 14
106
+ 104 1
107
+ 105 14
108
+ 106 1
109
+ 107 0
110
+ 108 3
111
+ 109 13
112
+ 110 14
113
+ 111 18
114
+ 112 18
115
+ 113 17
116
+ 114 0
117
+ 115 1
118
+ 116 16
119
+ 117 0
120
+ 118 13
121
+ 119 3
122
+ 120 6
123
+ 121 11
124
+ 122 8
125
+ 123 18
126
+ 124 14
127
+ 125 9
128
+ 126 18
129
+ 127 18
130
+ 128 18
131
+ 129 4
132
+ 130 18
133
+ 131 14
134
+ 132 2
135
+ 133 18
136
+ 134 4
137
+ 135 18
138
+ 136 2
139
+ 137 13
140
+ 138 8
141
+ 139 13
142
+ 140 11
143
+ 141 18
144
+ 142 18
145
+ 143 8
146
+ 144 18
147
+ 145 11
148
+ 146 4
149
+ 147 15
150
+ 148 11
151
+ 149 17
152
+ 150 16
153
+ 151 13
154
+ 152 13
155
+ 153 14
156
+ 154 14
157
+ 155 17
158
+ 156 2
159
+ 157 2
160
+ 158 0
161
+ 159 15
162
+ 160 14
163
+ 161 8
164
+ 162 8
165
+ 163 17
166
+ 164 6
167
+ 165 18
168
+ 166 13
169
+ 167 2
170
+ 168 8
171
+ 169 11
172
+ 170 6
173
+ 171 12
174
+ 172 8
175
+ 173 2
176
+ 174 1
177
+ 175 16
178
+ 176 6
179
+ 177 8
180
+ 178 11
181
+ 179 14
182
+ 180 6
183
+ 181 6
184
+ 182 11
185
+ 183 17
186
+ 184 18
187
+ 185 13
188
+ 186 6
189
+ 187 16
190
+ 188 15
191
+ 189 11
192
+ 190 0
193
+ 191 18
194
+ 192 14
195
+ 193 3
196
+ 194 15
197
+ 195 0
198
+ 196 9
199
+ 197 6
200
+ 198 6
201
+ 199 8
202
+ 200 2
203
+ 201 4
204
+ 202 18
205
+ 203 1
206
+ 204 6
207
+ 205 2
208
+ 206 3
209
+ 207 5
210
+ 208 13
211
+ 209 13
212
+ 210 2
213
+ 211 8
214
+ 212 6
215
+ 213 11
216
+ 214 9
217
+ 215 5
218
+ 216 4
219
+ 217 13
220
+ 218 1
221
+ 219 18
222
+ 220 18
223
+ 221 18
224
+ 222 14
225
+ 223 15
226
+ 224 18
227
+ 225 18
228
+ 226 4
229
+ 227 13
230
+ 228 16
231
+ 229 11
232
+ 230 8
233
+ 231 13
234
+ 232 18
235
+ 233 1
236
+ 234 3
237
+ 235 1
238
+ 236 18
239
+ 237 2
240
+ 238 0
241
+ 239 1
242
+ 240 16
243
+ 241 6
244
+ 242 2
245
+ 243 10
246
+ 244 16
247
+ 245 17
248
+ 246 4
249
+ 247 2
250
+ 248 8
251
+ 249 6
252
+ 250 2
253
+ 251 18
254
+ 252 0
255
+ 253 2
256
+ 254 1
257
+ 255 18
258
+ 256 1
259
+ 257 16
260
+ 258 3
261
+ 259 11
262
+ 260 14
263
+ 261 6
264
+ 262 9
265
+ 263 17
266
+ 264 1
267
+ 265 6
268
+ 266 14
269
+ 267 3
270
+ 268 18
271
+ 269 18
272
+ 270 18
273
+ 271 18
274
+ 272 15
275
+ 273 13
276
+ 274 18
277
+ 275 6
278
+ 276 14
279
+ 277 11
280
+ 278 17
281
+ 279 16
282
+ 280 12
283
+ 281 6
284
+ 282 3
285
+ 283 11
286
+ 284 14
287
+ 285 4
288
+ 286 13
289
+ 287 1
290
+ 288 18
291
+ 289 14
292
+ 290 4
293
+ 291 14
294
+ 292 2
295
+ 293 2
296
+ 294 8
297
+ 295 8
298
+ 296 6
299
+ 297 6
300
+ 298 18
301
+ 299 17
302
+ 300 3
303
+ 301 11
304
+ 302 3
305
+ 303 18
306
+ 304 17
307
+ 305 14
308
+ 306 16
309
+ 307 16
310
+ 308 14
311
+ 309 17
312
+ 310 5
313
+ 311 1
314
+ 312 14
315
+ 313 16
316
+ 314 15
317
+ 315 13
318
+ 316 4
319
+ 317 4
320
+ 318 6
321
+ 319 11
322
+ 320 6
323
+ 321 13
324
+ 322 12
325
+ 323 6
326
+ 324 3
327
+ 325 18
328
+ 326 15
329
+ 327 14
330
+ 328 14
331
+ 329 16
332
+ 330 13
333
+ 331 14
334
+ 332 15
335
+ 333 1
336
+ 334 13
337
+ 335 18
338
+ 336 6
339
+ 337 18
340
+ 338 8
341
+ 339 4
342
+ 340 14
343
+ 341 2
344
+ 342 11
345
+ 343 6
346
+ 344 4
347
+ 345 5
348
+ 346 18
349
+ 347 13
350
+ 348 13
351
+ 349 3
352
+ 350 4
353
+ 351 13
354
+ 352 14
355
+ 353 15
356
+ 354 6
357
+ 355 11
358
+ 356 0
359
+ 357 11
360
+ 358 13
361
+ 359 3
362
+ 360 1
363
+ 361 2
364
+ 362 8
365
+ 363 11
366
+ 364 18
367
+ 365 14
368
+ 366 6
369
+ 367 6
370
+ 368 15
371
+ 369 18
372
+ 370 2
373
+ 371 18
374
+ 372 1
375
+ 373 17
376
+ 374 6
377
+ 375 6
378
+ 376 0
379
+ 377 17
380
+ 378 18
381
+ 379 18
382
+ 380 10
383
+ 381 1
384
+ 382 6
385
+ 383 18
386
+ 384 8
387
+ 385 3
388
+ 386 17
389
+ 387 2
390
+ 388 14
391
+ 389 3
392
+ 390 1
393
+ 391 3
394
+ 392 8
395
+ 393 8
396
+ 394 2
397
+ 395 14
398
+ 396 18
399
+ 397 6
400
+ 398 18
401
+ 399 16
402
+ 400 6
403
+ 401 1
404
+ 402 1
405
+ 403 1
406
+ 404 1
407
+ 405 2
408
+ 406 18
409
+ 407 9
410
+ 408 1
411
+ 409 6
412
+ 410 8
413
+ 411 5
414
+ 412 18
415
+ 413 6
416
+ 414 13
417
+ 415 3
418
+ 416 0
419
+ 417 6
420
+ 418 5
421
+ 419 14
422
+ 420 2
423
+ 421 18
424
+ 422 6
425
+ 423 11
426
+ 424 18
427
+ 425 18
428
+ 426 2
429
+ 427 16
430
+ 428 2
431
+ 429 8
432
+ 430 3
433
+ 431 18
434
+ 432 18
435
+ 433 13
436
+ 434 18
437
+ 435 17
438
+ 436 15
439
+ 437 3
440
+ 438 1
441
+ 439 14
442
+ 440 17
443
+ 441 2
444
+ 442 2
445
+ 443 3
446
+ 444 4
447
+ 445 16
448
+ 446 15
449
+ 447 18
450
+ 448 8
451
+ 449 13
452
+ 450 16
453
+ 451 13
454
+ 452 18
455
+ 453 18
456
+ 454 1
457
+ 455 6
458
+ 456 6
459
+ 457 16
460
+ 458 11
461
+ 459 6
462
+ 460 17
463
+ 461 11
464
+ 462 6
465
+ 463 6
466
+ 464 4
467
+ 465 18
468
+ 466 6
469
+ 467 6
470
+ 468 8
471
+ 469 2
472
+ 470 0
473
+ 471 2
474
+ 472 1
475
+ 473 4
476
+ 474 8
477
+ 475 0
478
+ 476 3
479
+ 477 8
480
+ 478 14
481
+ 479 14
482
+ 480 6
483
+ 481 13
484
+ 482 16
485
+ 483 18
486
+ 484 16
487
+ 485 0
488
+ 486 18
489
+ 487 16
490
+ 488 1
491
+ 489 4
492
+ 490 17
493
+ 491 13
494
+ 492 1
495
+ 493 1
496
+ 494 15
497
+ 495 6
498
+ 496 18
499
+ 497 0
500
+ 498 2
501
+ 499 0
502
+ 500 15
503
+ 501 4
504
+ 502 1
505
+ 503 8
506
+ 504 4
507
+ 505 6
508
+ 506 13
509
+ 507 18
510
+ 508 1
511
+ 509 18
512
+ 510 11
513
+ 511 0
514
+ 512 18
515
+ 513 14
516
+ 514 18
517
+ 515 14
518
+ 516 8
519
+ 517 9
520
+ 518 17
521
+ 519 8
522
+ 520 1
523
+ 521 18
524
+ 522 1
525
+ 523 11
526
+ 524 8
527
+ 525 6
528
+ 526 2
529
+ 527 4
530
+ 528 6
531
+ 529 17
532
+ 530 3
533
+ 531 2
534
+ 532 16
535
+ 533 0
536
+ 534 1
537
+ 535 0
538
+ 536 13
539
+ 537 18
540
+ 538 12
541
+ 539 1
542
+ 540 16
543
+ 541 0
544
+ 542 8
545
+ 543 14
546
+ 544 11
547
+ 545 8
548
+ 546 3
549
+ 547 13
550
+ 548 2
551
+ 549 18
552
+ 550 15
553
+ 551 6
554
+ 552 14
555
+ 553 4
556
+ 554 9
557
+ 555 0
558
+ 556 18
559
+ 557 2
560
+ 558 17
561
+ 559 18
562
+ 560 3
563
+ 561 8
564
+ 562 14
565
+ 563 14
566
+ 564 18
567
+ 565 6
568
+ 566 11
569
+ 567 18
570
+ 568 1
571
+ 569 13
572
+ 570 14
573
+ 571 13
574
+ 572 18
575
+ 573 2
576
+ 574 6
577
+ 575 4
578
+ 576 13
579
+ 577 13
580
+ 578 14
581
+ 579 14
582
+ 580 18
583
+ 581 18
584
+ 582 13
585
+ 583 3
586
+ 584 15
587
+ 585 3
588
+ 586 8
589
+ 587 18
590
+ 588 18
591
+ 589 13
592
+ 590 1
593
+ 591 18
594
+ 592 16
595
+ 593 1
596
+ 594 16
597
+ 595 0
598
+ 596 14
599
+ 597 6
600
+ 598 3
601
+ 599 13
602
+ 600 16
603
+ 601 1
604
+ 602 1
605
+ 603 14
606
+ 604 2
607
+ 605 6
608
+ 606 18
609
+ 607 1
610
+ 608 3
611
+ 609 6
612
+ 610 14
613
+ 611 8
614
+ 612 5
615
+ 613 3
616
+ 614 18
617
+ 615 2
618
+ 616 8
619
+ 617 18
620
+ 618 6
621
+ 619 8
622
+ 620 1
623
+ 621 2
624
+ 622 0
625
+ 623 2
626
+ 624 14
627
+ 625 8
628
+ 626 13
629
+ 627 13
630
+ 628 14
631
+ 629 6
632
+ 630 6
633
+ 631 3
634
+ 632 0
635
+ 633 18
636
+ 634 8
637
+ 635 5
638
+ 636 11
639
+ 637 2
640
+ 638 6
641
+ 639 8
642
+ 640 1
643
+ 641 17
644
+ 642 6
645
+ 643 17
646
+ 644 14
647
+ 645 3
648
+ 646 18
649
+ 647 1
650
+ 648 12
651
+ 649 14
652
+ 650 14
653
+ 651 18
654
+ 652 1
655
+ 653 4
656
+ 654 0
657
+ 655 13
658
+ 656 18
659
+ 657 14
660
+ 658 0
661
+ 659 14
662
+ 660 16
663
+ 661 15
664
+ 662 6
665
+ 663 16
666
+ 664 3
667
+ 665 3
668
+ 666 2
669
+ 667 18
670
+ 668 13
671
+ 669 6
672
+ 670 4
673
+ 671 14
674
+ 672 17
675
+ 673 18
676
+ 674 2
677
+ 675 14
678
+ 676 3
679
+ 677 18
680
+ 678 3
681
+ 679 18
682
+ 680 1
683
+ 681 14
684
+ 682 13
685
+ 683 3
686
+ 684 18
687
+ 685 12
688
+ 686 18
689
+ 687 8
690
+ 688 4
691
+ 689 1
692
+ 690 14
693
+ 691 2
694
+ 692 4
695
+ 693 14
696
+ 694 4
697
+ 695 12
698
+ 696 11
699
+ 697 6
700
+ 698 8
701
+ 699 17
702
+ 700 13
703
+ 701 2
704
+ 702 3
705
+ 703 9
706
+ 704 0
707
+ 705 18
708
+ 706 5
709
+ 707 1
710
+ 708 8
711
+ 709 6
712
+ 710 14
713
+ 711 12
714
+ 712 18
715
+ 713 13
716
+ 714 4
717
+ 715 0
718
+ 716 17
719
+ 717 6
720
+ 718 4
721
+ 719 1
722
+ 720 11
723
+ 721 17
724
+ 722 18
725
+ 723 3
726
+ 724 14
727
+ 725 6
728
+ 726 17
729
+ 727 4
730
+ 728 13
731
+ 729 2
732
+ 730 1
733
+ 731 11
734
+ 732 8
735
+ 733 8
736
+ 734 2
737
+ 735 0
738
+ 736 18
739
+ 737 4
740
+ 738 1
741
+ 739 0
742
+ 740 13
743
+ 741 6
744
+ 742 6
745
+ 743 17
746
+ 744 1
747
+ 745 2
748
+ 746 8
749
+ 747 0
750
+ 748 8
751
+ 749 18
752
+ 750 13
753
+ 751 0
754
+ 752 18
755
+ 753 1
756
+ 754 6
757
+ 755 16
758
+ 756 6
759
+ 757 6
760
+ 758 18
761
+ 759 6
762
+ 760 8
763
+ 761 8
764
+ 762 4
765
+ 763 0
766
+ 764 18
767
+ 765 1
768
+ 766 15
769
+ 767 16
770
+ 768 16
771
+ 769 4
772
+ 770 18
773
+ 771 6
774
+ 772 13
775
+ 773 1
776
+ 774 1
777
+ 775 3
778
+ 776 4
779
+ 777 3
780
+ 778 3
781
+ 779 4
782
+ 780 0
783
+ 781 11
784
+ 782 17
785
+ 783 8
786
+ 784 18
787
+ 785 18
788
+ 786 9
789
+ 787 14
790
+ 788 14
791
+ 789 11
792
+ 790 6
793
+ 791 18
794
+ 792 2
795
+ 793 4
796
+ 794 13
797
+ 795 13
798
+ 796 16
799
+ 797 13
800
+ 798 8
801
+ 799 6
802
+ 800 18
803
+ 801 3
804
+ 802 13
805
+ 803 18
806
+ 804 18
807
+ 805 4
808
+ 806 2
809
+ 807 2
810
+ 808 2
811
+ 809 9
812
+ 810 10
813
+ 811 1
814
+ 812 3
815
+ 813 12
816
+ 814 6
817
+ 815 4
818
+ 816 13
819
+ 817 11
820
+ 818 2
821
+ 819 2
822
+ 820 17
823
+ 821 13
824
+ 822 18
825
+ 823 18
826
+ 824 6
827
+ 825 14
828
+ 826 6
829
+ 827 18
830
+ 828 0
831
+ 829 14
832
+ 830 2
833
+ 831 8
834
+ 832 4
835
+ 833 8
836
+ 834 11
837
+ 835 8
838
+ 836 3
839
+ 837 11
840
+ 838 13
841
+ 839 17
842
+ 840 0
843
+ 841 18
844
+ 842 4
845
+ 843 14
846
+ 844 14
847
+ 845 6
848
+ 846 5
849
+ 847 14
850
+ 848 6
851
+ 849 6
852
+ 850 1
853
+ 851 2
854
+ 852 8
855
+ 853 13
856
+ 854 1
857
+ 855 4
858
+ 856 1
859
+ 857 0
860
+ 858 1
861
+ 859 18
862
+ 860 14
863
+ 861 6
864
+ 862 0
865
+ 863 3
866
+ 864 2
867
+ 865 18
868
+ 866 6
869
+ 867 3
870
+ 868 16
871
+ 869 6
872
+ 870 13
873
+ 871 10
874
+ 872 2
875
+ 873 18
876
+ 874 1
877
+ 875 13
878
+ 876 12
879
+ 877 8
880
+ 878 1
881
+ 879 8
882
+ 880 4
883
+ 881 9
884
+ 882 17
885
+ 883 3
886
+ 884 1
887
+ 885 8
888
+ 886 15
889
+ 887 18
890
+ 888 18
891
+ 889 8
892
+ 890 4
893
+ 891 16
894
+ 892 3
895
+ 893 16
896
+ 894 16
897
+ 895 18
898
+ 896 13
899
+ 897 6
900
+ 898 9
901
+ 899 14
902
+ 900 14
903
+ 901 13
904
+ 902 6
905
+ 903 11
906
+ 904 8
907
+ 905 13
908
+ 906 17
909
+ 907 14
910
+ 908 14
911
+ 909 15
912
+ 910 12
913
+ 911 14
914
+ 912 15
915
+ 913 0
916
+ 914 3
917
+ 915 17
918
+ 916 18
919
+ 917 18
920
+ 918 15
921
+ 919 16
922
+ 920 9
923
+ 921 16
924
+ 922 2
925
+ 923 16
926
+ 924 18
927
+ 925 2
928
+ 926 18
929
+ 927 3
930
+ 928 3
931
+ 929 6
932
+ 930 18
933
+ 931 2
934
+ 932 18
935
+ 933 13
936
+ 934 2
937
+ 935 2
938
+ 936 1
939
+ 937 4
940
+ 938 6
941
+ 939 1
942
+ 940 3
943
+ 941 18
944
+ 942 17
945
+ 943 13
946
+ 944 13
947
+ 945 6
948
+ 946 10
949
+ 947 14
950
+ 948 0
951
+ 949 4
952
+ 950 3
953
+ 951 18
954
+ 952 1
955
+ 953 0
956
+ 954 16
957
+ 955 18
958
+ 956 13
959
+ 957 11
960
+ 958 2
961
+ 959 6
962
+ 960 18
963
+ 961 2
964
+ 962 4
965
+ 963 18
966
+ 964 13
967
+ 965 13
968
+ 966 18
969
+ 967 6
970
+ 968 16
971
+ 969 11
972
+ 970 17
973
+ 971 1
974
+ 972 6
975
+ 973 1
976
+ 974 15
977
+ 975 16
978
+ 976 18
979
+ 977 6
980
+ 978 14
981
+ 979 15
982
+ 980 11
983
+ 981 3
984
+ 982 6
985
+ 983 2
986
+ 984 14
987
+ 985 13
988
+ 986 18
989
+ 987 16
990
+ 988 1
991
+ 989 6
992
+ 990 0
993
+ 991 1
994
+ 992 14
995
+ 993 15
996
+ 994 18
997
+ 995 5
998
+ 996 11
999
+ 997 13
1000
+ 998 14
1001
+ 999 4
1002
+ 1000 4
1003
+ 1001 18
1004
+ 1002 2
1005
+ 1003 4
1006
+ 1004 1
1007
+ 1005 2
1008
+ 1006 4
1009
+ 1007 13
1010
+ 1008 18
1011
+ 1009 4
1012
+ 1010 17
1013
+ 1011 0
1014
+ 1012 2
1015
+ 1013 1
1016
+ 1014 1
1017
+ 1015 6
1018
+ 1016 8
1019
+ 1017 0
1020
+ 1018 14
1021
+ 1019 17
1022
+ 1020 12
1023
+ 1021 2
1024
+ 1022 4
1025
+ 1023 4
1026
+ 1024 1
1027
+ 1025 8
1028
+ 1026 8
1029
+ 1027 18
1030
+ 1028 3
1031
+ 1029 15
1032
+ 1030 17
1033
+ 1031 12
1034
+ 1032 17
1035
+ 1033 18
1036
+ 1034 4
1037
+ 1035 10
1038
+ 1036 6
1039
+ 1037 6
1040
+ 1038 6
1041
+ 1039 18
1042
+ 1040 8
1043
+ 1041 11
1044
+ 1042 4
1045
+ 1043 5
1046
+ 1044 5
1047
+ 1045 17
1048
+ 1046 16
1049
+ 1047 6
1050
+ 1048 16
1051
+ 1049 14
1052
+ 1050 9
1053
+ 1051 17
1054
+ 1052 14
1055
+ 1053 18
1056
+ 1054 1
1057
+ 1055 17
1058
+ 1056 1
1059
+ 1057 17
1060
+ 1058 14
1061
+ 1059 6
1062
+ 1060 6
1063
+ 1061 0
1064
+ 1062 15
1065
+ 1063 13
1066
+ 1064 8
1067
+ 1065 13
1068
+ 1066 8
1069
+ 1067 0
1070
+ 1068 13
1071
+ 1069 6
1072
+ 1070 17
1073
+ 1071 18
1074
+ 1072 1
1075
+ 1073 18
1076
+ 1074 13
1077
+ 1075 6
1078
+ 1076 11
1079
+ 1077 6
1080
+ 1078 18
1081
+ 1079 18
1082
+ 1080 0
1083
+ 1081 4
1084
+ 1082 1
1085
+ 1083 13
1086
+ 1084 16
1087
+ 1085 3
1088
+ 1086 0
1089
+ 1087 13
1090
+ 1088 17
1091
+ 1089 2
1092
+ 1090 6
1093
+ 1091 8
1094
+ 1092 18
1095
+ 1093 18
1096
+ 1094 14
1097
+ 1095 17
1098
+ 1096 11
1099
+ 1097 17
1100
+ 1098 11
1101
+ 1099 12
1102
+ 1100 18
1103
+ 1101 13
1104
+ 1102 4
1105
+ 1103 13
1106
+ 1104 3
1107
+ 1105 6
1108
+ 1106 6
1109
+ 1107 14
1110
+ 1108 14
1111
+ 1109 0
1112
+ 1110 1
1113
+ 1111 5
1114
+ 1112 2
1115
+ 1113 17
1116
+ 1114 8
1117
+ 1115 11
1118
+ 1116 6
1119
+ 1117 6
1120
+ 1118 0
1121
+ 1119 16
1122
+ 1120 16
1123
+ 1121 6
1124
+ 1122 8
1125
+ 1123 11
1126
+ 1124 8
1127
+ 1125 13
1128
+ 1126 8
1129
+ 1127 0
1130
+ 1128 4
1131
+ 1129 2
1132
+ 1130 0
1133
+ 1131 18
1134
+ 1132 11
1135
+ 1133 2
1136
+ 1134 11
1137
+ 1135 1
1138
+ 1136 3
1139
+ 1137 3
1140
+ 1138 1
1141
+ 1139 6
1142
+ 1140 14
1143
+ 1141 6
1144
+ 1142 18
1145
+ 1143 17
1146
+ 1144 14
1147
+ 1145 1
1148
+ 1146 1
1149
+ 1147 1
1150
+ 1148 18
1151
+ 1149 8
1152
+ 1150 10
1153
+ 1151 3
1154
+ 1152 6
1155
+ 1153 18
1156
+ 1154 8
1157
+ 1155 6
1158
+ 1156 18
1159
+ 1157 4
1160
+ 1158 4
1161
+ 1159 13
1162
+ 1160 0
1163
+ 1161 6
1164
+ 1162 0
1165
+ 1163 14
1166
+ 1164 14
1167
+ 1165 3
1168
+ 1166 1
1169
+ 1167 1
1170
+ 1168 14
1171
+ 1169 18
1172
+ 1170 0
1173
+ 1171 0
1174
+ 1172 8
1175
+ 1173 14
1176
+ 1174 8
1177
+ 1175 8
1178
+ 1176 17
1179
+ 1177 8
1180
+ 1178 0
1181
+ 1179 8
1182
+ 1180 1
1183
+ 1181 8
1184
+ 1182 3
1185
+ 1183 13
1186
+ 1184 3
1187
+ 1185 14
1188
+ 1186 18
1189
+ 1187 9
1190
+ 1188 6
1191
+ 1189 1
1192
+ 1190 14
1193
+ 1191 8
1194
+ 1192 18
1195
+ 1193 12
1196
+ 1194 10
1197
+ 1195 8
1198
+ 1196 6
1199
+ 1197 13
1200
+ 1198 14
1201
+ 1199 6
1202
+ 1200 8
1203
+ 1201 14
1204
+ 1202 2
1205
+ 1203 8
1206
+ 1204 11
1207
+ 1205 9
1208
+ 1206 2
1209
+ 1207 18
1210
+ 1208 8
1211
+ 1209 2
1212
+ 1210 13
1213
+ 1211 4
1214
+ 1212 0
1215
+ 1213 3
1216
+ 1214 11
1217
+ 1215 13
1218
+ 1216 0
1219
+ 1217 6
1220
+ 1218 18
1221
+ 1219 8
1222
+ 1220 1
1223
+ 1221 6
1224
+ 1222 16
1225
+ 1223 0
1226
+ 1224 8
1227
+ 1225 0
1228
+ 1226 18
1229
+ 1227 0
1230
+ 1228 13
1231
+ 1229 3
1232
+ 1230 6
1233
+ 1231 18
1234
+ 1232 13
1235
+ 1233 1
1236
+ 1234 0
1237
+ 1235 9
1238
+ 1236 2
1239
+ 1237 3
1240
+ 1238 17
1241
+ 1239 8
1242
+ 1240 3
1243
+ 1241 13
1244
+ 1242 4
1245
+ 1243 6
1246
+ 1244 6
1247
+ 1245 18
1248
+ 1246 6
1249
+ 1247 18
1250
+ 1248 13
1251
+ 1249 3
1252
+ 1250 18
1253
+ 1251 18
1254
+ 1252 16
1255
+ 1253 12
1256
+ 1254 4
1257
+ 1255 13
1258
+ 1256 3
1259
+ 1257 14
1260
+ 1258 1
1261
+ 1259 5
1262
+ 1260 18
1263
+ 1261 13
1264
+ 1262 13
1265
+ 1263 3
1266
+ 1264 2
1267
+ 1265 8
1268
+ 1266 3
1269
+ 1267 18
1270
+ 1268 15
1271
+ 1269 11
1272
+ 1270 8
1273
+ 1271 2
1274
+ 1272 5
1275
+ 1273 8
1276
+ 1274 6
1277
+ 1275 10
1278
+ 1276 17
1279
+ 1277 8
1280
+ 1278 8
1281
+ 1279 1
1282
+ 1280 18
1283
+ 1281 13
1284
+ 1282 6
1285
+ 1283 10
1286
+ 1284 5
1287
+ 1285 12
1288
+ 1286 9
1289
+ 1287 3
1290
+ 1288 8
1291
+ 1289 14
1292
+ 1290 11
1293
+ 1291 4
1294
+ 1292 3
1295
+ 1293 13
1296
+ 1294 6
1297
+ 1295 8
1298
+ 1296 6
1299
+ 1297 14
1300
+ 1298 1
1301
+ 1299 6
1302
+ 1300 13
1303
+ 1301 2
1304
+ 1302 13
1305
+ 1303 15
1306
+ 1304 8
1307
+ 1305 6
1308
+ 1306 16
1309
+ 1307 18
1310
+ 1308 1
1311
+ 1309 18
1312
+ 1310 1
1313
+ 1311 0
1314
+ 1312 3
1315
+ 1313 4
1316
+ 1314 14
1317
+ 1315 2
1318
+ 1316 11
1319
+ 1317 6
1320
+ 1318 1
1321
+ 1319 1
1322
+ 1320 14
1323
+ 1321 17
1324
+ 1322 1
1325
+ 1323 4
1326
+ 1324 13
1327
+ 1325 8
1328
+ 1326 14
1329
+ 1327 0
1330
+ 1328 3
1331
+ 1329 17
1332
+ 1330 11
1333
+ 1331 4
1334
+ 1332 3
1335
+ 1333 5
1336
+ 1334 6
1337
+ 1335 12
1338
+ 1336 11
1339
+ 1337 6
1340
+ 1338 18
1341
+ 1339 17
1342
+ 1340 4
1343
+ 1341 0
1344
+ 1342 8
1345
+ 1343 13
1346
+ 1344 5
1347
+ 1345 2
1348
+ 1346 8
1349
+ 1347 16
1350
+ 1348 17
1351
+ 1349 18
1352
+ 1350 6
1353
+ 1351 0
1354
+ 1352 10
1355
+ 1353 13
1356
+ 1354 13
1357
+ 1355 11
1358
+ 1356 1
1359
+ 1357 8
1360
+ 1358 8
1361
+ 1359 6
1362
+ 1360 2
1363
+ 1361 13
1364
+ 1362 14
1365
+ 1363 14
1366
+ 1364 5
1367
+ 1365 0
1368
+ 1366 17
1369
+ 1367 13
1370
+ 1368 3
1371
+ 1369 1
1372
+ 1370 14
1373
+ 1371 1
1374
+ 1372 0
1375
+ 1373 6
1376
+ 1374 6
1377
+ 1375 3
1378
+ 1376 18
1379
+ 1377 1
1380
+ 1378 0
1381
+ 1379 6
1382
+ 1380 14
1383
+ 1381 15
1384
+ 1382 9
1385
+ 1383 11
1386
+ 1384 18
1387
+ 1385 18
1388
+ 1386 3
1389
+ 1387 18
1390
+ 1388 6
1391
+ 1389 8
1392
+ 1390 3
1393
+ 1391 18
1394
+ 1392 14
1395
+ 1393 1
1396
+ 1394 9
1397
+ 1395 18
1398
+ 1396 18
1399
+ 1397 18
1400
+ 1398 6
1401
+ 1399 18
1402
+ 1400 15
1403
+ 1401 1
1404
+ 1402 0
1405
+ 1403 3
1406
+ 1404 2
1407
+ 1405 8
1408
+ 1406 9
1409
+ 1407 4
1410
+ 1408 18
1411
+ 1409 18
1412
+ 1410 3
1413
+ 1411 13
1414
+ 1412 11
1415
+ 1413 13
1416
+ 1414 0
1417
+ 1415 6
1418
+ 1416 3
1419
+ 1417 18
1420
+ 1418 14
1421
+ 1419 3
1422
+ 1420 9
1423
+ 1421 17
1424
+ 1422 18
1425
+ 1423 18
1426
+ 1424 14
1427
+ 1425 6
1428
+ 1426 1
1429
+ 1427 16
1430
+ 1428 6
1431
+ 1429 14
1432
+ 1430 18
1433
+ 1431 14
1434
+ 1432 18
1435
+ 1433 1
1436
+ 1434 18
1437
+ 1435 4
1438
+ 1436 6
1439
+ 1437 0
1440
+ 1438 6
1441
+ 1439 8
1442
+ 1440 2
1443
+ 1441 14
1444
+ 1442 11
1445
+ 1443 11
1446
+ 1444 3
1447
+ 1445 13
1448
+ 1446 4
1449
+ 1447 3
1450
+ 1448 18
1451
+ 1449 18
1452
+ 1450 13
1453
+ 1451 14
1454
+ 1452 8
1455
+ 1453 11
1456
+ 1454 12
1457
+ 1455 14
1458
+ 1456 18
1459
+ 1457 16
1460
+ 1458 18
1461
+ 1459 8
1462
+ 1460 18
1463
+ 1461 13
1464
+ 1462 8
1465
+ 1463 1
1466
+ 1464 16
1467
+ 1465 16
1468
+ 1466 0
1469
+ 1467 13
1470
+ 1468 1
1471
+ 1469 15
1472
+ 1470 6
1473
+ 1471 6
1474
+ 1472 8
1475
+ 1473 12
1476
+ 1474 4
1477
+ 1475 14
1478
+ 1476 10
1479
+ 1477 13
1480
+ 1478 2
1481
+ 1479 18
1482
+ 1480 17
1483
+ 1481 0
1484
+ 1482 4
1485
+ 1483 2
1486
+ 1484 3
1487
+ 1485 11
1488
+ 1486 11
1489
+ 1487 11
1490
+ 1488 1
1491
+ 1489 1
1492
+ 1490 11
1493
+ 1491 18
1494
+ 1492 9
1495
+ 1493 0
1496
+ 1494 14
1497
+ 1495 4
1498
+ 1496 2
1499
+ 1497 14
1500
+ 1498 15
1501
+ 1499 4
1502
+ 1500 4
1503
+ 1501 18
1504
+ 1502 18
1505
+ 1503 14
1506
+ 1504 6
1507
+ 1505 6
1508
+ 1506 4
1509
+ 1507 0
1510
+ 1508 13
1511
+ 1509 8
1512
+ 1510 18
1513
+ 1511 11
1514
+ 1512 17
1515
+ 1513 8
1516
+ 1514 1
1517
+ 1515 18
1518
+ 1516 18
1519
+ 1517 13
1520
+ 1518 1
1521
+ 1519 17
1522
+ 1520 14
1523
+ 1521 2
1524
+ 1522 13
1525
+ 1523 0
1526
+ 1524 14
1527
+ 1525 14
1528
+ 1526 2
1529
+ 1527 4
1530
+ 1528 18
1531
+ 1529 13
1532
+ 1530 6
1533
+ 1531 18
1534
+ 1532 6
1535
+ 1533 4
1536
+ 1534 18
1537
+ 1535 14
1538
+ 1536 18
1539
+ 1537 14
1540
+ 1538 6
1541
+ 1539 2
1542
+ 1540 18
1543
+ 1541 0
1544
+ 1542 14
1545
+ 1543 6
1546
+ 1544 14
1547
+ 1545 13
1548
+ 1546 3
1549
+ 1547 8
1550
+ 1548 3
1551
+ 1549 13
1552
+ 1550 11
1553
+ 1551 18
1554
+ 1552 16
1555
+ 1553 6
1556
+ 1554 11
1557
+ 1555 18
1558
+ 1556 3
1559
+ 1557 14
1560
+ 1558 1
1561
+ 1559 8
1562
+ 1560 2
1563
+ 1561 3
1564
+ 1562 6
1565
+ 1563 15
1566
+ 1564 2
1567
+ 1565 14
1568
+ 1566 15
1569
+ 1567 6
1570
+ 1568 13
1571
+ 1569 13
1572
+ 1570 8
1573
+ 1571 11
1574
+ 1572 0
1575
+ 1573 18
1576
+ 1574 16
1577
+ 1575 1
1578
+ 1576 0
1579
+ 1577 6
1580
+ 1578 3
1581
+ 1579 3
1582
+ 1580 6
1583
+ 1581 0
1584
+ 1582 3
1585
+ 1583 13
1586
+ 1584 6
1587
+ 1585 6
1588
+ 1586 16
1589
+ 1587 13
1590
+ 1588 0
1591
+ 1589 11
1592
+ 1590 9
1593
+ 1591 13
1594
+ 1592 6
1595
+ 1593 11
1596
+ 1594 13
1597
+ 1595 14
1598
+ 1596 1
1599
+ 1597 6
1600
+ 1598 18
1601
+ 1599 2
1602
+ 1600 1
1603
+ 1601 2
1604
+ 1602 2
1605
+ 1603 5
1606
+ 1604 18
1607
+ 1605 18
1608
+ 1606 18
1609
+ 1607 13
1610
+ 1608 5
1611
+ 1609 18
1612
+ 1610 8
1613
+ 1611 3
1614
+ 1612 2
1615
+ 1613 12
1616
+ 1614 14
1617
+ 1615 18
1618
+ 1616 2
1619
+ 1617 0
1620
+ 1618 11
1621
+ 1619 13
1622
+ 1620 18
1623
+ 1621 14
1624
+ 1622 18
1625
+ 1623 0
1626
+ 1624 2
1627
+ 1625 9
1628
+ 1626 4
1629
+ 1627 11
1630
+ 1628 14
1631
+ 1629 4
1632
+ 1630 18
1633
+ 1631 3
1634
+ 1632 6
1635
+ 1633 5
1636
+ 1634 2
1637
+ 1635 2
1638
+ 1636 6
1639
+ 1637 18
1640
+ 1638 18
1641
+ 1639 4
1642
+ 1640 18
1643
+ 1641 1
1644
+ 1642 18
1645
+ 1643 16
1646
+ 1644 4
1647
+ 1645 18
1648
+ 1646 1
1649
+ 1647 1
1650
+ 1648 10
1651
+ 1649 18
1652
+ 1650 13
1653
+ 1651 11
1654
+ 1652 15
1655
+ 1653 10
1656
+ 1654 6
1657
+ 1655 8
1658
+ 1656 8
1659
+ 1657 15
1660
+ 1658 0
1661
+ 1659 13
1662
+ 1660 14
1663
+ 1661 4
1664
+ 1662 18
1665
+ 1663 13
1666
+ 1664 6
1667
+ 1665 2
1668
+ 1666 17
1669
+ 1667 2
1670
+ 1668 8
1671
+ 1669 8
1672
+ 1670 3
1673
+ 1671 3
1674
+ 1672 1
1675
+ 1673 18
1676
+ 1674 14
1677
+ 1675 6
1678
+ 1676 16
1679
+ 1677 13
1680
+ 1678 2
1681
+ 1679 18
1682
+ 1680 13
1683
+ 1681 0
1684
+ 1682 6
1685
+ 1683 0
1686
+ 1684 2
1687
+ 1685 4
1688
+ 1686 11
1689
+ 1687 0
1690
+ 1688 1
1691
+ 1689 1
1692
+ 1690 14
1693
+ 1691 16
1694
+ 1692 9
1695
+ 1693 4
1696
+ 1694 0
1697
+ 1695 18
1698
+ 1696 2
1699
+ 1697 0
1700
+ 1698 1
1701
+ 1699 18
1702
+ 1700 3
1703
+ 1701 13
1704
+ 1702 1
1705
+ 1703 11
1706
+ 1704 14
1707
+ 1705 18
1708
+ 1706 3
1709
+ 1707 1
1710
+ 1708 12
1711
+ 1709 8
1712
+ 1710 8
1713
+ 1711 17
1714
+ 1712 2
1715
+ 1713 17
1716
+ 1714 3
1717
+ 1715 17
1718
+ 1716 13
1719
+ 1717 18
1720
+ 1718 0
1721
+ 1719 1
1722
+ 1720 3
1723
+ 1721 1
1724
+ 1722 3
1725
+ 1723 8
1726
+ 1724 0
1727
+ 1725 8
1728
+ 1726 0
1729
+ 1727 14
1730
+ 1728 10
1731
+ 1729 14
1732
+ 1730 0
1733
+ 1731 18
1734
+ 1732 8
1735
+ 1733 15
1736
+ 1734 14
1737
+ 1735 3
1738
+ 1736 2
1739
+ 1737 18
1740
+ 1738 1
1741
+ 1739 1
1742
+ 1740 18
1743
+ 1741 15
1744
+ 1742 5
1745
+ 1743 15
1746
+ 1744 13
1747
+ 1745 13
1748
+ 1746 10
1749
+ 1747 13
1750
+ 1748 14
1751
+ 1749 14
1752
+ 1750 12
1753
+ 1751 18
1754
+ 1752 13
1755
+ 1753 18
1756
+ 1754 9
1757
+ 1755 13
1758
+ 1756 14
1759
+ 1757 1
1760
+ 1758 3
1761
+ 1759 4
1762
+ 1760 14
1763
+ 1761 18
1764
+ 1762 17
1765
+ 1763 14
1766
+ 1764 13
1767
+ 1765 6
1768
+ 1766 8
1769
+ 1767 11
1770
+ 1768 1
1771
+ 1769 8
1772
+ 1770 2
1773
+ 1771 6
1774
+ 1772 3
1775
+ 1773 6
1776
+ 1774 6
1777
+ 1775 18
1778
+ 1776 14
1779
+ 1777 17
1780
+ 1778 18
1781
+ 1779 1
1782
+ 1780 6
1783
+ 1781 18
1784
+ 1782 8
1785
+ 1783 17
1786
+ 1784 17
1787
+ 1785 4
1788
+ 1786 6
1789
+ 1787 14
1790
+ 1788 3
1791
+ 1789 13
1792
+ 1790 0
1793
+ 1791 6
1794
+ 1792 18
1795
+ 1793 2
1796
+ 1794 18
1797
+ 1795 4
1798
+ 1796 1
1799
+ 1797 6
1800
+ 1798 18
1801
+ 1799 14
1802
+ 1800 8
1803
+ 1801 6
1804
+ 1802 18
1805
+ 1803 13
1806
+ 1804 6
1807
+ 1805 4
1808
+ 1806 8
1809
+ 1807 18
1810
+ 1808 6
1811
+ 1809 4
1812
+ 1810 18
1813
+ 1811 0
1814
+ 1812 18
1815
+ 1813 13
1816
+ 1814 6
1817
+ 1815 11
1818
+ 1816 14
1819
+ 1817 13
1820
+ 1818 1
1821
+ 1819 18
1822
+ 1820 16
1823
+ 1821 16
1824
+ 1822 9
1825
+ 1823 11
1826
+ 1824 13
1827
+ 1825 13
1828
+ 1826 13
1829
+ 1827 16
1830
+ 1828 0
1831
+ 1829 8
1832
+ 1830 0
1833
+ 1831 8
1834
+ 1832 1
1835
+ 1833 2
1836
+ 1834 4
1837
+ 1835 17
1838
+ 1836 10
1839
+ 1837 13
1840
+ 1838 18
1841
+ 1839 14
1842
+ 1840 18
1843
+ 1841 18
1844
+ 1842 18
1845
+ 1843 8
1846
+ 1844 3
1847
+ 1845 17
1848
+ 1846 18
1849
+ 1847 1
1850
+ 1848 18
1851
+ 1849 17
1852
+ 1850 13
1853
+ 1851 6
1854
+ 1852 18
1855
+ 1853 13
1856
+ 1854 6
1857
+ 1855 4
1858
+ 1856 3
1859
+ 1857 16
1860
+ 1858 5
1861
+ 1859 8
1862
+ 1860 1
1863
+ 1861 8
1864
+ 1862 17
1865
+ 1863 17
1866
+ 1864 6
1867
+ 1865 13
1868
+ 1866 18
1869
+ 1867 1
1870
+ 1868 15
1871
+ 1869 16
1872
+ 1870 6
1873
+ 1871 13
1874
+ 1872 6
1875
+ 1873 6
1876
+ 1874 12
1877
+ 1875 1
1878
+ 1876 18
1879
+ 1877 13
1880
+ 1878 18
1881
+ 1879 4
1882
+ 1880 13
1883
+ 1881 8
1884
+ 1882 6
1885
+ 1883 11
1886
+ 1884 14
1887
+ 1885 12
1888
+ 1886 13
1889
+ 1887 12
1890
+ 1888 11
1891
+ 1889 13
1892
+ 1890 18
1893
+ 1891 18
1894
+ 1892 3
1895
+ 1893 6
1896
+ 1894 17
1897
+ 1895 18
1898
+ 1896 18
1899
+ 1897 6
1900
+ 1898 18
1901
+ 1899 6
1902
+ 1900 1
1903
+ 1901 0
1904
+ 1902 18
1905
+ 1903 8
1906
+ 1904 3
1907
+ 1905 3
1908
+ 1906 16
1909
+ 1907 18
1910
+ 1908 17
1911
+ 1909 8
1912
+ 1910 14
1913
+ 1911 18
1914
+ 1912 4
1915
+ 1913 4
1916
+ 1914 14
1917
+ 1915 18
1918
+ 1916 17
1919
+ 1917 13
1920
+ 1918 1
1921
+ 1919 17
1922
+ 1920 2
1923
+ 1921 9
1924
+ 1922 13
1925
+ 1923 8
1926
+ 1924 2
1927
+ 1925 17
1928
+ 1926 2
1929
+ 1927 6
1930
+ 1928 4
1931
+ 1929 18
1932
+ 1930 6
1933
+ 1931 4
1934
+ 1932 17
1935
+ 1933 2
1936
+ 1934 17
1937
+ 1935 6
1938
+ 1936 18
1939
+ 1937 13
1940
+ 1938 6
1941
+ 1939 5
1942
+ 1940 6
1943
+ 1941 5
1944
+ 1942 8
1945
+ 1943 14
1946
+ 1944 3
1947
+ 1945 15
1948
+ 1946 3
1949
+ 1947 6
1950
+ 1948 8
1951
+ 1949 18
1952
+ 1950 14
1953
+ 1951 6
1954
+ 1952 6
1955
+ 1953 8
1956
+ 1954 5
1957
+ 1955 18
1958
+ 1956 3
1959
+ 1957 8
1960
+ 1958 3
1961
+ 1959 13
1962
+ 1960 17
1963
+ 1961 18
1964
+ 1962 6
1965
+ 1963 6
1966
+ 1964 8
1967
+ 1965 18
1968
+ 1966 0
1969
+ 1967 15
1970
+ 1968 14
1971
+ 1969 11
1972
+ 1970 3
1973
+ 1971 2
1974
+ 1972 14
1975
+ 1973 1
1976
+ 1974 1
1977
+ 1975 13
1978
+ 1976 17
1979
+ 1977 8
1980
+ 1978 18
1981
+ 1979 2
1982
+ 1980 13
1983
+ 1981 6
1984
+ 1982 4
1985
+ 1983 13
1986
+ 1984 1
1987
+ 1985 18
1988
+ 1986 18
1989
+ 1987 4
1990
+ 1988 17
1991
+ 1989 18
1992
+ 1990 14
1993
+ 1991 2
1994
+ 1992 4
1995
+ 1993 18
1996
+ 1994 18
1997
+ 1995 14
1998
+ 1996 2
1999
+ 1997 8
2000
+ 1998 6
2001
+ 1999 11
2002
+ 2000 11
2003
+ 2001 14
2004
+ 2002 1
2005
+ 2003 6
2006
+ 2004 11
2007
+ 2005 13
2008
+ 2006 8
2009
+ 2007 6
2010
+ 2008 0
2011
+ 2009 8
2012
+ 2010 13
2013
+ 2011 1
2014
+ 2012 13
2015
+ 2013 6
2016
+ 2014 18
2017
+ 2015 4
2018
+ 2016 6
2019
+ 2017 8
2020
+ 2018 12
2021
+ 2019 6
2022
+ 2020 18
2023
+ 2021 4
2024
+ 2022 14
2025
+ 2023 14
2026
+ 2024 18
2027
+ 2025 11
2028
+ 2026 18
2029
+ 2027 14
2030
+ 2028 13
2031
+ 2029 18
2032
+ 2030 13
2033
+ 2031 13
2034
+ 2032 5
2035
+ 2033 4
2036
+ 2034 3
2037
+ 2035 18
2038
+ 2036 18
2039
+ 2037 1
2040
+ 2038 6
2041
+ 2039 1
2042
+ 2040 1
2043
+ 2041 15
2044
+ 2042 6
2045
+ 2043 3
2046
+ 2044 3
2047
+ 2045 6
2048
+ 2046 0
2049
+ 2047 11
2050
+ 2048 14
2051
+ 2049 5
2052
+ 2050 3
2053
+ 2051 13
2054
+ 2052 4
2055
+ 2053 1
2056
+ 2054 6
2057
+ 2055 4
2058
+ 2056 18
2059
+ 2057 18
2060
+ 2058 1
2061
+ 2059 18
2062
+ 2060 18
2063
+ 2061 4
2064
+ 2062 3
2065
+ 2063 0
2066
+ 2064 4
2067
+ 2065 0
2068
+ 2066 8
2069
+ 2067 6
2070
+ 2068 18
2071
+ 2069 2
2072
+ 2070 8
2073
+ 2071 4
2074
+ 2072 18
2075
+ 2073 8
2076
+ 2074 8
2077
+ 2075 16
2078
+ 2076 6
2079
+ 2077 6
2080
+ 2078 17
2081
+ 2079 17
2082
+ 2080 6
2083
+ 2081 8
2084
+ 2082 2
2085
+ 2083 8
2086
+ 2084 6
2087
+ 2085 0
2088
+ 2086 6
2089
+ 2087 11
2090
+ 2088 17
2091
+ 2089 0
2092
+ 2090 9
2093
+ 2091 8
2094
+ 2092 11
2095
+ 2093 4
2096
+ 2094 6
2097
+ 2095 3
2098
+ 2096 4
2099
+ 2097 14
2100
+ 2098 6
2101
+ 2099 6
2102
+ 2100 9
2103
+ 2101 0
2104
+ 2102 14
2105
+ 2103 13
2106
+ 2104 13
2107
+ 2105 3
2108
+ 2106 4
2109
+ 2107 14
2110
+ 2108 2
2111
+ 2109 14
2112
+ 2110 18
2113
+ 2111 16
2114
+ 2112 17
2115
+ 2113 15
2116
+ 2114 14
2117
+ 2115 9
2118
+ 2116 17
2119
+ 2117 0
2120
+ 2118 13
2121
+ 2119 3
2122
+ 2120 6
2123
+ 2121 8
2124
+ 2122 14
2125
+ 2123 18
2126
+ 2124 18
2127
+ 2125 13
2128
+ 2126 2
2129
+ 2127 10
2130
+ 2128 18
2131
+ 2129 18
2132
+ 2130 16
2133
+ 2131 5
2134
+ 2132 11
2135
+ 2133 1
2136
+ 2134 3
2137
+ 2135 6
2138
+ 2136 14
2139
+ 2137 8
2140
+ 2138 12
2141
+ 2139 17
2142
+ 2140 3
2143
+ 2141 17
2144
+ 2142 9
2145
+ 2143 11
2146
+ 2144 10
2147
+ 2145 16
2148
+ 2146 3
2149
+ 2147 17
2150
+ 2148 11
2151
+ 2149 18
2152
+ 2150 17
2153
+ 2151 10
2154
+ 2152 17
2155
+ 2153 13
2156
+ 2154 14
2157
+ 2155 0
2158
+ 2156 2
2159
+ 2157 6
2160
+ 2158 18
2161
+ 2159 17
2162
+ 2160 2
2163
+ 2161 8
2164
+ 2162 9
2165
+ 2163 8
2166
+ 2164 6
2167
+ 2165 2
2168
+ 2166 8
2169
+ 2167 4
2170
+ 2168 13
2171
+ 2169 8
2172
+ 2170 5
2173
+ 2171 15
2174
+ 2172 2
2175
+ 2173 13
2176
+ 2174 6
2177
+ 2175 17
2178
+ 2176 1
2179
+ 2177 6
2180
+ 2178 18
2181
+ 2179 11
2182
+ 2180 14
2183
+ 2181 1
2184
+ 2182 14
2185
+ 2183 6
2186
+ 2184 8
2187
+ 2185 10
2188
+ 2186 6
2189
+ 2187 6
2190
+ 2188 14
2191
+ 2189 8
2192
+ 2190 6
2193
+ 2191 17
2194
+ 2192 2
2195
+ 2193 8
2196
+ 2194 11
2197
+ 2195 3
2198
+ 2196 16
2199
+ 2197 8
2200
+ 2198 8
2201
+ 2199 8
2202
+ 2200 11
2203
+ 2201 6
2204
+ 2202 11
2205
+ 2203 14
2206
+ 2204 17
2207
+ 2205 17
2208
+ 2206 6
2209
+ 2207 2
2210
+ 2208 1
2211
+ 2209 11
2212
+ 2210 14
2213
+ 2211 2
2214
+ 2212 18
2215
+ 2213 2
2216
+ 2214 8
2217
+ 2215 14
2218
+ 2216 12
2219
+ 2217 9
2220
+ 2218 4
2221
+ 2219 14
2222
+ 2220 8
2223
+ 2221 8
2224
+ 2222 13
2225
+ 2223 17
2226
+ 2224 13
2227
+ 2225 6
2228
+ 2226 4
2229
+ 2227 18
2230
+ 2228 6
2231
+ 2229 1
2232
+ 2230 6
2233
+ 2231 4
2234
+ 2232 18
2235
+ 2233 18
2236
+ 2234 11
2237
+ 2235 14
2238
+ 2236 17
2239
+ 2237 13
2240
+ 2238 13
2241
+ 2239 6
2242
+ 2240 11
2243
+ 2241 15
2244
+ 2242 11
2245
+ 2243 18
2246
+ 2244 6
2247
+ 2245 1
2248
+ 2246 14
2249
+ 2247 13
2250
+ 2248 11
2251
+ 2249 16
2252
+ 2250 13
2253
+ 2251 18
2254
+ 2252 14
2255
+ 2253 1
2256
+ 2254 6
2257
+ 2255 5
2258
+ 2256 0
2259
+ 2257 1
2260
+ 2258 15
2261
+ 2259 1
2262
+ 2260 3
2263
+ 2261 18
2264
+ 2262 6
2265
+ 2263 3
2266
+ 2264 14
2267
+ 2265 17
2268
+ 2266 0
2269
+ 2267 13
2270
+ 2268 14
2271
+ 2269 17
2272
+ 2270 8
2273
+ 2271 10
2274
+ 2272 8
2275
+ 2273 3
2276
+ 2274 0
2277
+ 2275 18
2278
+ 2276 2
2279
+ 2277 18
2280
+ 2278 1
2281
+ 2279 6
2282
+ 2280 1
2283
+ 2281 18
2284
+ 2282 9
2285
+ 2283 6
2286
+ 2284 1
2287
+ 2285 4
2288
+ 2286 4
2289
+ 2287 3
2290
+ 2288 13
2291
+ 2289 4
2292
+ 2290 15
2293
+ 2291 14
2294
+ 2292 6
2295
+ 2293 18
2296
+ 2294 15
2297
+ 2295 1
2298
+ 2296 8
2299
+ 2297 9
2300
+ 2298 8
2301
+ 2299 18
2302
+ 2300 13
2303
+ 2301 14
2304
+ 2302 6
2305
+ 2303 11
2306
+ 2304 2
2307
+ 2305 3
2308
+ 2306 2
2309
+ 2307 18
2310
+ 2308 14
2311
+ 2309 14
2312
+ 2310 3
2313
+ 2311 5
2314
+ 2312 16
2315
+ 2313 4
2316
+ 2314 2
2317
+ 2315 4
2318
+ 2316 18
2319
+ 2317 18
2320
+ 2318 13
2321
+ 2319 11
2322
+ 2320 6
2323
+ 2321 2
2324
+ 2322 18
2325
+ 2323 14
2326
+ 2324 4
2327
+ 2325 18
2328
+ 2326 4
2329
+ 2327 16
2330
+ 2328 11
2331
+ 2329 6
2332
+ 2330 11
2333
+ 2331 4
2334
+ 2332 2
2335
+ 2333 18
2336
+ 2334 1
2337
+ 2335 8
2338
+ 2336 4
2339
+ 2337 8
2340
+ 2338 18
2341
+ 2339 8
2342
+ 2340 13
2343
+ 2341 6
2344
+ 2342 11
2345
+ 2343 1
2346
+ 2344 11
2347
+ 2345 14
2348
+ 2346 5
2349
+ 2347 6
2350
+ 2348 13
2351
+ 2349 0
2352
+ 2350 6
2353
+ 2351 15
2354
+ 2352 17
2355
+ 2353 6
2356
+ 2354 4
2357
+ 2355 8
2358
+ 2356 8
2359
+ 2357 2
2360
+ 2358 18
2361
+ 2359 14
2362
+ 2360 10
2363
+ 2361 6
2364
+ 2362 6
2365
+ 2363 17
2366
+ 2364 14
2367
+ 2365 13
2368
+ 2366 17
2369
+ 2367 11
2370
+ 2368 11
2371
+ 2369 18
2372
+ 2370 16
2373
+ 2371 16
2374
+ 2372 0
2375
+ 2373 4
2376
+ 2374 13
2377
+ 2375 6
2378
+ 2376 14
2379
+ 2377 9
2380
+ 2378 0
2381
+ 2379 3
2382
+ 2380 14
2383
+ 2381 1
2384
+ 2382 0
2385
+ 2383 16
2386
+ 2384 11
2387
+ 2385 3
2388
+ 2386 2
2389
+ 2387 16
2390
+ 2388 2
2391
+ 2389 18
2392
+ 2390 11
2393
+ 2391 14
2394
+ 2392 8
2395
+ 2393 18
2396
+ 2394 14
2397
+ 2395 1
2398
+ 2396 8
2399
+ 2397 0
2400
+ 2398 6
2401
+ 2399 2
2402
+ 2400 13
2403
+ 2401 12
2404
+ 2402 8
2405
+ 2403 13
2406
+ 2404 6
2407
+ 2405 18
2408
+ 2406 17
2409
+ 2407 13
2410
+ 2408 16
2411
+ 2409 16
2412
+ 2410 18
2413
+ 2411 17
2414
+ 2412 6
2415
+ 2413 15
2416
+ 2414 6
2417
+ 2415 13
2418
+ 2416 1
2419
+ 2417 6
2420
+ 2418 18
2421
+ 2419 18
2422
+ 2420 6
2423
+ 2421 14
2424
+ 2422 8
2425
+ 2423 11
2426
+ 2424 1
2427
+ 2425 1
2428
+ 2426 18
2429
+ 2427 2
2430
+ 2428 14
2431
+ 2429 13
2432
+ 2430 4
2433
+ 2431 6
2434
+ 2432 3
2435
+ 2433 0
2436
+ 2434 18
2437
+ 2435 6
2438
+ 2436 14
2439
+ 2437 18
2440
+ 2438 18
2441
+ 2439 16
2442
+ 2440 18
2443
+ 2441 6
2444
+ 2442 4
2445
+ 2443 11
2446
+ 2444 4
2447
+ 2445 6
2448
+ 2446 2
2449
+ 2447 16
2450
+ 2448 13
2451
+ 2449 13
2452
+ 2450 3
2453
+ 2451 4
2454
+ 2452 6
2455
+ 2453 14
2456
+ 2454 16
2457
+ 2455 6
2458
+ 2456 3
2459
+ 2457 14
2460
+ 2458 18
2461
+ 2459 3
2462
+ 2460 17
2463
+ 2461 4
2464
+ 2462 6
2465
+ 2463 17
2466
+ 2464 14
2467
+ 2465 1
2468
+ 2466 6
2469
+ 2467 0
2470
+ 2468 18
2471
+ 2469 4
2472
+ 2470 8
2473
+ 2471 14
2474
+ 2472 1
2475
+ 2473 18
2476
+ 2474 13
2477
+ 2475 4
2478
+ 2476 6
2479
+ 2477 6
2480
+ 2478 4
2481
+ 2479 9
2482
+ 2480 1
2483
+ 2481 16
2484
+ 2482 2
2485
+ 2483 2
2486
+ 2484 18
2487
+ 2485 14
2488
+ 2486 18
2489
+ 2487 6
2490
+ 2488 3
2491
+ 2489 9
2492
+ 2490 11
2493
+ 2491 18
2494
+ 2492 0
2495
+ 2493 8
2496
+ 2494 5
2497
+ 2495 17
2498
+ 2496 3
2499
+ 2497 5
2500
+ 2498 18
2501
+ 2499 1
2502
+ 2500 1
2503
+ 2501 2
2504
+ 2502 2
2505
+ 2503 0
2506
+ 2504 0
2507
+ 2505 11
2508
+ 2506 9
2509
+ 2507 16
2510
+ 2508 6
2511
+ 2509 2
2512
+ 2510 16
2513
+ 2511 8
2514
+ 2512 18
2515
+ 2513 8
2516
+ 2514 13
2517
+ 2515 17
2518
+ 2516 2
2519
+ 2517 14
2520
+ 2518 6
2521
+ 2519 13
2522
+ 2520 8
2523
+ 2521 18
2524
+ 2522 1
2525
+ 2523 1
2526
+ 2524 13
2527
+ 2525 2
2528
+ 2526 18
2529
+ 2527 1
2530
+ 2528 3
2531
+ 2529 4
2532
+ 2530 15
2533
+ 2531 8
2534
+ 2532 14
2535
+ 2533 8
2536
+ 2534 14
2537
+ 2535 2
2538
+ 2536 17
2539
+ 2537 8
2540
+ 2538 8
2541
+ 2539 6
2542
+ 2540 8
2543
+ 2541 3
2544
+ 2542 16
2545
+ 2543 0
2546
+ 2544 1
2547
+ 2545 14
2548
+ 2546 3
2549
+ 2547 8
2550
+ 2548 16
2551
+ 2549 11
2552
+ 2550 1
2553
+ 2551 0
2554
+ 2552 18
2555
+ 2553 17
2556
+ 2554 4
2557
+ 2555 3
2558
+ 2556 6
2559
+ 2557 14
2560
+ 2558 6
2561
+ 2559 13
2562
+ 2560 18
2563
+ 2561 1
2564
+ 2562 6
2565
+ 2563 6
2566
+ 2564 16
2567
+ 2565 6
2568
+ 2566 18
2569
+ 2567 18
2570
+ 2568 16
2571
+ 2569 14
2572
+ 2570 4
2573
+ 2571 18
2574
+ 2572 8
2575
+ 2573 18
2576
+ 2574 4
2577
+ 2575 17
2578
+ 2576 0
2579
+ 2577 1
2580
+ 2578 4
2581
+ 2579 13
2582
+ 2580 3
2583
+ 2581 13
2584
+ 2582 11
2585
+ 2583 0
2586
+ 2584 17
2587
+ 2585 2
2588
+ 2586 9
2589
+ 2587 13
2590
+ 2588 18
2591
+ 2589 6
2592
+ 2590 3
2593
+ 2591 2
2594
+ 2592 18
2595
+ 2593 8
2596
+ 2594 18
2597
+ 2595 14
2598
+ 2596 0
2599
+ 2597 18
2600
+ 2598 1
2601
+ 2599 8
2602
+ 2600 11
2603
+ 2601 6
2604
+ 2602 6
2605
+ 2603 18
2606
+ 2604 0
2607
+ 2605 0
2608
+ 2606 3
2609
+ 2607 8
2610
+ 2608 18
2611
+ 2609 15
2612
+ 2610 6
2613
+ 2611 18
2614
+ 2612 6
2615
+ 2613 1
2616
+ 2614 13
2617
+ 2615 14
2618
+ 2616 6
2619
+ 2617 17
2620
+ 2618 8
2621
+ 2619 17
2622
+ 2620 11
2623
+ 2621 0
2624
+ 2622 8
2625
+ 2623 6
2626
+ 2624 13
2627
+ 2625 3
2628
+ 2626 1
2629
+ 2627 14
2630
+ 2628 0
2631
+ 2629 15
2632
+ 2630 4
2633
+ 2631 6
2634
+ 2632 6
2635
+ 2633 13
2636
+ 2634 4
2637
+ 2635 4
2638
+ 2636 1
2639
+ 2637 18
2640
+ 2638 1
2641
+ 2639 2
2642
+ 2640 1
2643
+ 2641 0
2644
+ 2642 1
2645
+ 2643 8
2646
+ 2644 1
2647
+ 2645 1
2648
+ 2646 15
2649
+ 2647 16
2650
+ 2648 18
2651
+ 2649 16
2652
+ 2650 13
2653
+ 2651 18
2654
+ 2652 14
2655
+ 2653 12
2656
+ 2654 4
2657
+ 2655 8
2658
+ 2656 2
2659
+ 2657 14
2660
+ 2658 12
2661
+ 2659 14
2662
+ 2660 17
2663
+ 2661 5
2664
+ 2662 18
2665
+ 2663 18
2666
+ 2664 3
2667
+ 2665 8
2668
+ 2666 18
2669
+ 2667 18
2670
+ 2668 18
2671
+ 2669 4
2672
+ 2670 18
2673
+ 2671 16
2674
+ 2672 16
2675
+ 2673 18
2676
+ 2674 6
2677
+ 2675 13
2678
+ 2676 15
2679
+ 2677 10
2680
+ 2678 16
2681
+ 2679 11
2682
+ 2680 6
2683
+ 2681 18
2684
+ 2682 6
2685
+ 2683 8
2686
+ 2684 17
2687
+ 2685 2
2688
+ 2686 2
2689
+ 2687 6
2690
+ 2688 8
2691
+ 2689 8
2692
+ 2690 8
2693
+ 2691 0
2694
+ 2692 4
2695
+ 2693 18
2696
+ 2694 15
2697
+ 2695 11
2698
+ 2696 14
2699
+ 2697 11
2700
+ 2698 15
2701
+ 2699 13
2702
+ 2700 6
2703
+ 2701 11
2704
+ 2702 0
2705
+ 2703 1
2706
+ 2704 6
2707
+ 2705 8
2708
+ 2706 18
2709
+ 2707 6
2710
+ 2708 2
2711
+ 2709 13
2712
+ 2710 8
2713
+ 2711 8
2714
+ 2712 11
2715
+ 2713 16
2716
+ 2714 2
2717
+ 2715 16
2718
+ 2716 5
runs/Dec30_11-45-28_01d221258d33/events.out.tfevents.1703937347.01d221258d33.3921.1 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3d6ac416513d27a45691c8ea80d9ae60547139206d0534ed99690644b848496c
3
+ size 405
train_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 10.0,
3
+ "train_loss": 0.2016566672197012,
4
+ "train_runtime": 574.5493,
5
+ "train_samples": 6800,
6
+ "train_samples_per_second": 118.354,
7
+ "train_steps_per_second": 1.862
8
+ }
trainer_state.json ADDED
@@ -0,0 +1,178 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.8615721366809934,
3
+ "best_model_checkpoint": "./output/relation_extraction_bert_base_uncased/checkpoint-963",
4
+ "epoch": 10.0,
5
+ "eval_steps": 500,
6
+ "global_step": 1070,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 1.0,
13
+ "learning_rate": 4.5e-05,
14
+ "loss": 1.2511,
15
+ "step": 107
16
+ },
17
+ {
18
+ "epoch": 1.0,
19
+ "eval_f1": 0.7907449232122132,
20
+ "eval_loss": 0.6098188161849976,
21
+ "eval_runtime": 2.957,
22
+ "eval_samples_per_second": 405.813,
23
+ "eval_steps_per_second": 6.425,
24
+ "step": 107
25
+ },
26
+ {
27
+ "epoch": 2.0,
28
+ "learning_rate": 4e-05,
29
+ "loss": 0.437,
30
+ "step": 214
31
+ },
32
+ {
33
+ "epoch": 2.0,
34
+ "eval_f1": 0.8452978511771352,
35
+ "eval_loss": 0.5166792869567871,
36
+ "eval_runtime": 2.8484,
37
+ "eval_samples_per_second": 421.296,
38
+ "eval_steps_per_second": 6.671,
39
+ "step": 214
40
+ },
41
+ {
42
+ "epoch": 3.0,
43
+ "learning_rate": 3.5e-05,
44
+ "loss": 0.1921,
45
+ "step": 321
46
+ },
47
+ {
48
+ "epoch": 3.0,
49
+ "eval_f1": 0.8552983432267793,
50
+ "eval_loss": 0.5445510745048523,
51
+ "eval_runtime": 2.9775,
52
+ "eval_samples_per_second": 403.017,
53
+ "eval_steps_per_second": 6.381,
54
+ "step": 321
55
+ },
56
+ {
57
+ "epoch": 4.0,
58
+ "learning_rate": 3e-05,
59
+ "loss": 0.0795,
60
+ "step": 428
61
+ },
62
+ {
63
+ "epoch": 4.0,
64
+ "eval_f1": 0.8526607872188615,
65
+ "eval_loss": 0.7041279077529907,
66
+ "eval_runtime": 2.8817,
67
+ "eval_samples_per_second": 416.422,
68
+ "eval_steps_per_second": 6.593,
69
+ "step": 428
70
+ },
71
+ {
72
+ "epoch": 5.0,
73
+ "learning_rate": 2.5e-05,
74
+ "loss": 0.0334,
75
+ "step": 535
76
+ },
77
+ {
78
+ "epoch": 5.0,
79
+ "eval_f1": 0.8567909830709438,
80
+ "eval_loss": 0.7774203419685364,
81
+ "eval_runtime": 2.9813,
82
+ "eval_samples_per_second": 402.511,
83
+ "eval_steps_per_second": 6.373,
84
+ "step": 535
85
+ },
86
+ {
87
+ "epoch": 6.0,
88
+ "learning_rate": 2e-05,
89
+ "loss": 0.0124,
90
+ "step": 642
91
+ },
92
+ {
93
+ "epoch": 6.0,
94
+ "eval_f1": 0.8490240342835185,
95
+ "eval_loss": 0.808628261089325,
96
+ "eval_runtime": 2.6913,
97
+ "eval_samples_per_second": 445.878,
98
+ "eval_steps_per_second": 7.06,
99
+ "step": 642
100
+ },
101
+ {
102
+ "epoch": 7.0,
103
+ "learning_rate": 1.5e-05,
104
+ "loss": 0.0056,
105
+ "step": 749
106
+ },
107
+ {
108
+ "epoch": 7.0,
109
+ "eval_f1": 0.860117487560933,
110
+ "eval_loss": 0.8614501953125,
111
+ "eval_runtime": 2.7072,
112
+ "eval_samples_per_second": 443.256,
113
+ "eval_steps_per_second": 7.018,
114
+ "step": 749
115
+ },
116
+ {
117
+ "epoch": 8.0,
118
+ "learning_rate": 1e-05,
119
+ "loss": 0.003,
120
+ "step": 856
121
+ },
122
+ {
123
+ "epoch": 8.0,
124
+ "eval_f1": 0.8613618380674043,
125
+ "eval_loss": 0.9245680570602417,
126
+ "eval_runtime": 2.7083,
127
+ "eval_samples_per_second": 443.078,
128
+ "eval_steps_per_second": 7.015,
129
+ "step": 856
130
+ },
131
+ {
132
+ "epoch": 9.0,
133
+ "learning_rate": 5e-06,
134
+ "loss": 0.0014,
135
+ "step": 963
136
+ },
137
+ {
138
+ "epoch": 9.0,
139
+ "eval_f1": 0.8615721366809934,
140
+ "eval_loss": 0.9300327301025391,
141
+ "eval_runtime": 2.9509,
142
+ "eval_samples_per_second": 406.653,
143
+ "eval_steps_per_second": 6.439,
144
+ "step": 963
145
+ },
146
+ {
147
+ "epoch": 10.0,
148
+ "learning_rate": 0.0,
149
+ "loss": 0.0011,
150
+ "step": 1070
151
+ },
152
+ {
153
+ "epoch": 10.0,
154
+ "eval_f1": 0.8613345463465772,
155
+ "eval_loss": 0.9421382546424866,
156
+ "eval_runtime": 2.9527,
157
+ "eval_samples_per_second": 406.409,
158
+ "eval_steps_per_second": 6.435,
159
+ "step": 1070
160
+ },
161
+ {
162
+ "epoch": 10.0,
163
+ "step": 1070,
164
+ "total_flos": 4443650073600000.0,
165
+ "train_loss": 0.2016566672197012,
166
+ "train_runtime": 574.5493,
167
+ "train_samples_per_second": 118.354,
168
+ "train_steps_per_second": 1.862
169
+ }
170
+ ],
171
+ "logging_steps": 500,
172
+ "max_steps": 1070,
173
+ "num_train_epochs": 10,
174
+ "save_steps": 500,
175
+ "total_flos": 4443650073600000.0,
176
+ "trial_name": null,
177
+ "trial_params": null
178
+ }