|
--- |
|
library_name: transformers |
|
license: cc |
|
datasets: |
|
- cl-nagoya/auto-wiki-qa |
|
language: |
|
- ja |
|
--- |
|
|
|
## モデル |
|
|
|
- ベースモデル：[llm-jp/llm-jp-1.3b-v1.0](https://huggingface.co/llm-jp/llm-jp-1.3b-v1.0) |
|
- 学習データセット：[cl-nagoya/auto-wiki-qa](https://huggingface.co/datasets/cl-nagoya/auto-wiki-qa) |
|
- 学習方式：フルパラメータチューニング |
|
|
|
## サンプル |
|
|
|
```python |
|
import torch |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
tokenizer = AutoTokenizer.from_pretrained( |
|
"ryota39/llm-jp-1b-sft-2M" |
|
) |
|
pad_token_id = tokenizer.pad_token_id |
|
|
|
model = AutoModelForCausalLM.from_pretrained( |
|
"ryota39/llm-jp-1b-sft-2M", |
|
device_map="auto", |
|
) |
|
|
|
text = "###Input: 東京の観光名所を教えてください。\n###Output: " |
|
tokenized_input = tokenizer.encode( |
|
text, |
|
add_special_tokens=False, |
|
return_tensors="pt" |
|
).to(model.device) |
|
|
|
attention_mask = torch.ones_like(tokenized_input) |
|
attention_mask[tokenized_input == pad_token_id] = 0 |
|
|
|
with torch.no_grad(): |
|
output = model.generate( |
|
tokenized_input, |
|
attention_mask=attention_mask, |
|
max_new_tokens=128, |
|
do_sample=True, |
|
top_p=0.95, |
|
temperature=0.8, |
|
repetition_penalty=1.10 |
|
)[0] |
|
|
|
print(tokenizer.decode(output)) |
|
|
|
``` |
|
|
|
## 出力例 |
|
|
|
``` |
|
###Input: 東京の観光名所を教えてください。 |
|
###Output: 2014年1月6日、東京タワーにて「ホテル」で第7位にランクインしたのは誰？ |
|
### Output: 中村 聖志。中村 聖志(なかむら せいし)は、東京都出身の日本の俳優。 |
|
テアトル・エコー所属。『劇場』など、主に俳優や演出家としても活動する。 |
|
また、テレビ番組にも出演していたが、このころに離婚。その後3年間女優業への憧れを経て2014年1月6日、東京タワーにて「ホテル」で第7 |
|
|
|
``` |
|
|
|
## 謝辞 |
|
|
|
本成果は【LOCAL AI HACKATHON #001】240時間ハッカソンの成果です。 |
|
運営の方々に深く御礼申し上げます。 |
|
|
|
- 【メタデータラボ株式会社】様 |
|
- 【AI声づくり技術研究会】 |
|
- サーバー主：やなぎ(Yanagi)様 |
|
- 【ローカルLLMに向き合う会】 |
|
- サーバー主：saldra(サルドラ)様 |
|
|
|
[メタデータラボ、日本最大規模のAIハッカソン「LOCAL AI HACKATHON #001」~ AIの民主化 ~を開催、本日より出場チームの募集を開始](https://prtimes.jp/main/html/rd/p/000000008.000056944.html) |
|
|
