File size: 1,715 Bytes
94be387
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
{
  "additional_special_tokens": [
    "__afr__",
    "__amh__",
    "__arb__",
    "__ary__",
    "__arz__",
    "__asm__",
    "__azj__",
    "__bel__",
    "__ben__",
    "__bos__",
    "__bul__",
    "__cat__",
    "__ceb__",
    "__ces__",
    "__ckb__",
    "__cmn__",
    "__cmn_Hant__",
    "__cym__",
    "__dan__",
    "__deu__",
    "__ell__",
    "__eng__",
    "__est__",
    "__eus__",
    "__fin__",
    "__fra__",
    "__fuv__",
    "__gaz__",
    "__gle__",
    "__glg__",
    "__guj__",
    "__heb__",
    "__hin__",
    "__hrv__",
    "__hun__",
    "__hye__",
    "__ibo__",
    "__ind__",
    "__isl__",
    "__ita__",
    "__jav__",
    "__jpn__",
    "__kan__",
    "__kat__",
    "__kaz__",
    "__khk__",
    "__khm__",
    "__kir__",
    "__kor__",
    "__lao__",
    "__lit__",
    "__lug__",
    "__luo__",
    "__lvs__",
    "__mai__",
    "__mal__",
    "__mar__",
    "__mkd__",
    "__mlt__",
    "__mni__",
    "__mya__",
    "__nld__",
    "__nno__",
    "__nob__",
    "__npi__",
    "__nya__",
    "__ory__",
    "__pan__",
    "__pbt__",
    "__pes__",
    "__pol__",
    "__por__",
    "__ron__",
    "__rus__",
    "__sat__",
    "__slk__",
    "__slv__",
    "__sna__",
    "__snd__",
    "__som__",
    "__spa__",
    "__srp__",
    "__swe__",
    "__swh__",
    "__tam__",
    "__tel__",
    "__tgk__",
    "__tgl__",
    "__tha__",
    "__tur__",
    "__ukr__",
    "__urd__",
    "__uzn__",
    "__vie__",
    "__yor__",
    "__yue__",
    "__zlm__",
    "__zul__",
    "<MINED_DATA>",
    "<MMT_BT_DATA>",
    "<SMT_BT_DATA>"
  ],
  "bos_token": "<s>",
  "cls_token": "<s>",
  "eos_token": "</s>",
  "pad_token": "<pad>",
  "sep_token": "</s>",
  "unk_token": "<unk>"
}