autohome-roberta-large

简介 Brief Introduction

善于处理NLU任务，采用全词掩码的，中文版的1.1亿参数RoBERTa-large。

模型分类 Model Taxonomy

需求 Demand	任务 Task	系列 Series	模型 Model	参数 Parameter	额外 Extra
通用 General	自然语言理解 NLU	RoBERTa	RoBERTa	390M	中文 Chinese

模型信息 Model Information

参考论文：RoBERTa: A Robustly Optimized BERT Pretraining Approach

为了得到一个中文版的autohome-roberta-large（390M），我们用autohome口碑板块语料库(1.2G)进行二次预训练。模型初始化参数采用hfl/chinese-bert-wwm-ext-large的参数进行初始化，我们在MLM中使用了全词掩码(wwm)的方式。具体地，我们在二次预训练阶段中使用了transformers框架大概花费了4张A100约11小时。

使用 Usage

from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch

tokenizer=AutoTokenizer.from_pretrained('ChaosW/autohome-roberta-large')
model=AutoModelForMaskedLM.from_pretrained('ChaosW/autohome-roberta-large')
text = '生活的真谛是[MASK]。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=0)
print(fillmask_pipe(text, top_k=10))

参考 Reference

本readme参考 https://huggingface.co/IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese

下一步计划 Feature Work

下一步将推出基于汽车论坛数据的定制化预训练模型