| {"bos_token": "[CLS]", "eos_token": "[SEP]", "unk_token": "<unk>", "sep_token": "[SEP]", "pad_token": "<pad>", "cls_token": "[CLS]", "mask_token": {"content": "[MASK]", "single_word": false, "lstrip": true, "rstrip": false, "normalized": true}, "additional_special_tokens": ["<s>", "</s>", "<2acf>", "<2eng>", "<2aoa>", "<2bah>", "<2brc>", "<2bzj>", "<2bzk>", "<2cri>", "<2crs>", "<2dcr>", "<2djk>", "<2ara>", "<2ceb>", "<2deu>", "<2fra>", "<2nep>", "<2zho>", "<2fab>", "<2fng>", "<2fpe>", "<2gcf>", "<2gcr>", "<2gpe>", "<2gul>", "<2gyn>", "<2hat>", "<2aze>", "<2icr>", "<2jam>", "<2kea>", "<2spa>", "<2kri>", "<2ktu>", "<2lou>", "<2mart1259>", "<2mfe>", "<2mue>", "<2pap>", "<2por>", "<2pcm>", "<2pov>", "<2pre>", "<2rcf>", "<2sag>", "<2srm>", "<2srn>", "<2svc>", "<2tpi>", "<2trf>", "<2wes>"]} |