Upload tokenizer
22a24c6
verified
|
▁
|
|
[pad]
|
|
[unk]
|
|
[cls]
|
|
[sep]
|
|
[mask]
|
|
[bos]
|
|
[eos]
|
|
|
|
!
|
|
"
|
|
$
|
|
&
|
|
'
|
|
(
|
|
)
|
|
*
|
|
+
|
|
,
|
|
-
|
|
.
|
|
/
|
|
0
|
|
1
|
|
2
|
|
3
|
|
4
|
|
5
|
|
6
|
|
7
|
|
8
|
|
9
|
|
:
|
|
;
|
|
=
|
|
>
|
|
?
|
|
@
|
|
A
|
|
B
|
|
C
|
|
D
|
|
E
|
|
F
|
|
G
|
|
H
|
|
I
|
|
J
|
|
K
|
|
L
|
|
M
|
|
N
|
|
O
|
|
P
|
|
Q
|
|
R
|
|
S
|
|
T
|
|
U
|
|
V
|
|
W
|
|
X
|
|
Y
|
|
Z
|
|
[
|
|
\
|
|
]
|
|
_
|
|
a
|
|
b
|
|
c
|
|
d
|
|
e
|
|
f
|
|
g
|
|
h
|
|
i
|
|
j
|
|
k
|
|
l
|
|
m
|
|
n
|
|
o
|
|
p
|
|
q
|
|
r
|
|
s
|
|
t
|
|
u
|
|
v
|
|
w
|
|
x
|
|
y
|
|
z
|
|
|
|
¡
|
|
«
|
|
³
|
|
·
|
|
¹
|
|
»
|
|
½
|
|
À
|
|
Á
|
|
Â
|
|
Ã
|
|
Ä
|
|
Å
|
|
Æ
|
|
Ç
|
|
È
|
|
É
|
|
Ê
|
|
Ë
|
|
Ì
|
|
Í
|
|
Î
|
|
Ï
|
|
Ð
|
|
Ñ
|
|
Ò
|
|
Ó
|
|
Ô
|
|
Õ
|
|
Ö
|
|
×
|
|
Ø
|
|
Ù
|
|
Ú
|
|
Û
|
|
Ü
|
|
Ý
|
|
Þ
|
|
ß
|
|
à
|
|
á
|
|
â
|
|
ã
|
|
ä
|
|
å
|
|
æ
|
|
ç
|
|
è
|
|
é
|
|
ê
|
|
ë
|
|
ì
|
|
í
|
|
î
|
|
ï
|
|
ð
|
|
ñ
|
|
ò
|
|
ó
|
|
ô
|
|
õ
|
|
ö
|
|
÷
|
|
ø
|
|
ù
|
|
ú
|
|
û
|
|
ü
|
|
ý
|
|
þ
|
|
ÿ
|
|
Ā
|
|
ā
|
|
Ă
|
|
ă
|
|
Ą
|
|
ą
|
|
Ć
|
|
ć
|
|
Ċ
|
|
ċ
|
|
Č
|
|
č
|
|
Ď
|
|
ď
|
|
Đ
|
|
đ
|
|
Ē
|
|
ē
|
|
Ė
|
|
ė
|
|
Ę
|
|
ę
|
|
Ě
|
|
ě
|
|
Ğ
|
|
ğ
|
|
Ġ
|
|
ġ
|
|
Ģ
|
|
ģ
|
|
Ħ
|
|
ħ
|
|
Ī
|
|
ī
|
|
Ĭ
|
|
ĭ
|
|
İ
|
|
ı
|
|
Ķ
|
|
ķ
|
|
Ļ
|
|
ļ
|
|
Ľ
|
|
ľ
|
|
Ł
|
|
ł
|
|
Ń
|
|
ń
|
|
Ņ
|
|
ņ
|
|
Ň
|
|
ň
|
|
Ō
|
|
ō
|
|
Ő
|
|
ő
|
|
Œ
|
|
œ
|
|
Ř
|
|
ř
|
|
Ś
|
|
ś
|
|
Ş
|
|
ş
|
|
Š
|
|
š
|
|
Ţ
|
|
ţ
|
|
Ť
|
|
ť
|
|
Ũ
|
|
ũ
|
|
Ū
|
|
ū
|
|
Ŭ
|
|
ŭ
|
|
Ů
|
|
ů
|
|
Ű
|
|
ű
|
|
Ų
|
|
ų
|
|
Ŵ
|
|
ŵ
|
|
Ÿ
|
|
Ź
|
|
ź
|
|
Ż
|
|
ż
|
|
Ž
|
|
ž
|
|
Ə
|
|
Ơ
|
|
ơ
|
|
ǃ
|
|
Ș
|
|
ș
|
|
Ț
|
|
ț
|
|
ə
|
|
ʹ
|
|
ʻ
|
|
ʼ
|
|
ʽ
|
|
ʿ
|
|
̄
|
|
̇
|
|
Α
|
|
α
|
|
Ё
|
|
Є
|
|
І
|
|
Ї
|
|
Ј
|
|
Љ
|
|
А
|
|
Б
|
|
В
|
|
Г
|
|
Д
|
|
Е
|
|
Ж
|
|
З
|
|
И
|
|
Й
|
|
К
|
|
Л
|
|
М
|
|
Н
|
|
О
|
|
П
|
|
Р
|
|
С
|
|
Т
|
|
У
|
|
Ф
|
|
Х
|
|
Ц
|
|
Ч
|
|
Ш
|
|
Щ
|
|
Ъ
|
|
Ы
|
|
Ь
|
|
Э
|
|
Ю
|
|
Я
|
|
а
|
|
б
|
|
в
|
|
г
|
|
д
|
|
е
|
|
ж
|
|
з
|
|
и
|
|
й
|
|
к
|
|
л
|
|
м
|
|
н
|
|
о
|
|
п
|
|
р
|
|
с
|
|
т
|
|
у
|
|
ф
|
|
х
|
|
ц
|
|
ч
|
|
ш
|
|
щ
|
|
ъ
|
|
ы
|
|
ь
|
|
э
|
|
ю
|
|
я
|
|
ё
|
|
є
|
|
і
|
|
ї
|
|
ј
|
|
љ
|
|
Ҫ
|
|
ҫ
|
|
Ү
|
|
ү
|
|
Ӱ
|
|
ӱ
|
|
Ԛ
|
|
ԛ
|
|
Ԝ
|
|
ԝ
|
|
Ḍ
|
|
ḍ
|
|
Ḥ
|
|
ḥ
|
|
Ḫ
|
|
ḫ
|
|
Ḱ
|
|
ḱ
|
|
Ṃ
|
|
ṃ
|
|
Ṅ
|
|
ṅ
|
|
Ṇ
|
|
ṇ
|
|
Ṛ
|
|
ṛ
|
|
Ṣ
|
|
ṣ
|
|
Ṭ
|
|
ṭ
|
|
Ạ
|
|
ạ
|
|
Ả
|
|
ả
|
|
Ấ
|
|
ấ
|
|
Ắ
|
|
ắ
|
|
Ề
|
|
ề
|
|
Ễ
|
|
ễ
|
|
Ệ
|
|
ệ
|
|
Ị
|
|
ị
|
|
Ọ
|
|
ọ
|
|
Ồ
|
|
ồ
|
|
Ợ
|
|
ợ
|
|
Ừ
|
|
ừ
|
|
Ử
|
|
ử
|
|
Ỹ
|
|
ỹ
|
|
‑
|
|
–
|
|
—
|
|
‘
|
|
’
|
|
…
|
|
′
|
|
⁶
|
|
₄
|
|
₆
|
|
₈
|
|
№
|
|
Ꞌ
|
|
ꞌ
|
|
𝒪
|
|
|
