Upload tokenizer.json
Browse files- tokenizer.json +1 -82
tokenizer.json
CHANGED
|
@@ -9024,87 +9024,6 @@
|
|
| 9024 |
}
|
| 9025 |
]
|
| 9026 |
},
|
| 9027 |
-
"post_processor": {
|
| 9028 |
-
"type": "TemplateProcessing",
|
| 9029 |
-
"single": [
|
| 9030 |
-
{
|
| 9031 |
-
"SpecialToken": {
|
| 9032 |
-
"id": "<s>",
|
| 9033 |
-
"type_id": 0
|
| 9034 |
-
}
|
| 9035 |
-
},
|
| 9036 |
-
{
|
| 9037 |
-
"Sequence": {
|
| 9038 |
-
"id": "A",
|
| 9039 |
-
"type_id": 0
|
| 9040 |
-
}
|
| 9041 |
-
},
|
| 9042 |
-
{
|
| 9043 |
-
"SpecialToken": {
|
| 9044 |
-
"id": "</s>",
|
| 9045 |
-
"type_id": 0
|
| 9046 |
-
}
|
| 9047 |
-
}
|
| 9048 |
-
],
|
| 9049 |
-
"pair": [
|
| 9050 |
-
{
|
| 9051 |
-
"SpecialToken": {
|
| 9052 |
-
"id": "<s>",
|
| 9053 |
-
"type_id": 0
|
| 9054 |
-
}
|
| 9055 |
-
},
|
| 9056 |
-
{
|
| 9057 |
-
"Sequence": {
|
| 9058 |
-
"id": "A",
|
| 9059 |
-
"type_id": 0
|
| 9060 |
-
}
|
| 9061 |
-
},
|
| 9062 |
-
{
|
| 9063 |
-
"SpecialToken": {
|
| 9064 |
-
"id": "</s>",
|
| 9065 |
-
"type_id": 0
|
| 9066 |
-
}
|
| 9067 |
-
},
|
| 9068 |
-
{
|
| 9069 |
-
"SpecialToken": {
|
| 9070 |
-
"id": "<s>",
|
| 9071 |
-
"type_id": 1
|
| 9072 |
-
}
|
| 9073 |
-
},
|
| 9074 |
-
{
|
| 9075 |
-
"Sequence": {
|
| 9076 |
-
"id": "B",
|
| 9077 |
-
"type_id": 1
|
| 9078 |
-
}
|
| 9079 |
-
},
|
| 9080 |
-
{
|
| 9081 |
-
"SpecialToken": {
|
| 9082 |
-
"id": "</s>",
|
| 9083 |
-
"type_id": 1
|
| 9084 |
-
}
|
| 9085 |
-
}
|
| 9086 |
-
],
|
| 9087 |
-
"special_tokens": {
|
| 9088 |
-
"</s>": {
|
| 9089 |
-
"id": "</s>",
|
| 9090 |
-
"ids": [
|
| 9091 |
-
2
|
| 9092 |
-
],
|
| 9093 |
-
"tokens": [
|
| 9094 |
-
"</s>"
|
| 9095 |
-
]
|
| 9096 |
-
},
|
| 9097 |
-
"<s>": {
|
| 9098 |
-
"id": "<s>",
|
| 9099 |
-
"ids": [
|
| 9100 |
-
1
|
| 9101 |
-
],
|
| 9102 |
-
"tokens": [
|
| 9103 |
-
"<s>"
|
| 9104 |
-
]
|
| 9105 |
-
}
|
| 9106 |
-
}
|
| 9107 |
-
},
|
| 9108 |
"decoder": {
|
| 9109 |
"type": "ByteLevel",
|
| 9110 |
"add_prefix_space": true,
|
|
@@ -409640,4 +409559,4 @@
|
|
| 409640 |
"åIJİ æ±ī书"
|
| 409641 |
]
|
| 409642 |
}
|
| 409643 |
-
}
|
|
|
|
| 9024 |
}
|
| 9025 |
]
|
| 9026 |
},
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 9027 |
"decoder": {
|
| 9028 |
"type": "ByteLevel",
|
| 9029 |
"add_prefix_space": true,
|
|
|
|
| 409559 |
"åIJİ æ±ī书"
|
| 409560 |
]
|
| 409561 |
}
|
| 409562 |
+
}
|