File size: 1,769 Bytes
b710e16 ac7113b b710e16 ac7113b 00847a3 b710e16 ac7113b a0d0be6 ac7113b a0d0be6 ac7113b 75237b6 ac7113b a0d0be6 ac7113b 16ea761 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 |
---
language:
- zh
license: mit
tags:
- RoBERTa
inference: true
widget:
- text: "生活的真谛是[MASK]"
---
# autohome-roberta-large
## 简介 Brief Introduction
善于处理NLU任务，采用全词掩码的，中文版的1.1亿参数RoBERTa-large。
## 模型分类 Model Taxonomy
| 需求 Demand | 任务 Task | 系列 Series | 模型 Model | 参数 Parameter | 额外 Extra |
| :----: | :----: | :----: | :----: | :----: | :----: |
| 通用 General | 自然语言理解 NLU | RoBERTa | RoBERTa | 390M | 中文 Chinese |
## 模型信息 Model Information
参考论文：[RoBERTa: A Robustly Optimized BERT Pretraining Approach](https://arxiv.org/abs/1907.11692)
为了得到一个中文版的autohome-roberta-large（390M），我们用autohome口碑板块语料库(1.2G)进行二次预训练。模型初始化参数采用hfl/chinese-bert-wwm-ext-large的参数进行初始化，我们在MLM中使用了全词掩码(wwm)的方式。具体地，我们在二次预训练阶段中使用了[transformers框架](https://github.com/huggingface/transformers)大概花费了4张A100约11小时。
## 使用 Usage
```python
from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch
tokenizer=AutoTokenizer.from_pretrained('ChaosW/autohome-roberta-large')
model=AutoModelForMaskedLM.from_pretrained('ChaosW/autohome-roberta-large')
text = '生活的真谛是[MASK]。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=0)
print(fillmask_pipe(text, top_k=10))
```
## 参考 Reference
本readme参考 https://huggingface.co/IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese
## 下一步计划 Feature Work
下一步将推出基于汽车论坛数据的定制化预训练模型 |