|
--- |
|
library_name: transformers |
|
tags: |
|
- dpo |
|
license: cc |
|
datasets: |
|
- llm-jp/hh-rlhf-12k-ja |
|
language: |
|
- ja |
|
--- |
|
|
|
## モデル |
|
|
|
- ベースモデル：[ryota39/llm-jp-1b-sft-100k-LoRA](https://huggingface.co/ryota39/llm-jp-1b-sft-100k-LoRA) |
|
- 学習データセット：[llm-jp/hh-rlhf-12k-ja](https://huggingface.co/datasets/llm-jp/hh-rlhf-12k-ja) |
|
- 学習方式：フルパラメータチューニング |
|
|
|
## サンプル |
|
|
|
```python |
|
import torch |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
tokenizer = AutoTokenizer.from_pretrained( |
|
"ryota39/llm-jp-1b-sft-100k-LoRA-dpo-12k" |
|
) |
|
pad_token_id = tokenizer.pad_token_id |
|
|
|
model = AutoModelForCausalLM.from_pretrained( |
|
"ryota39/llm-jp-1b-sft-100k-LoRA-dpo-12k", |
|
device_map="auto", |
|
) |
|
|
|
text = "###Input: 東京の観光名所を教えてください。\n###Output: " |
|
tokenized_input = tokenizer.encode( |
|
text, |
|
add_special_tokens=False, |
|
return_tensors="pt" |
|
).to(model.device) |
|
|
|
attention_mask = torch.ones_like(tokenized_input) |
|
attention_mask[tokenized_input == pad_token_id] = 0 |
|
|
|
with torch.no_grad(): |
|
output = model.generate( |
|
tokenized_input, |
|
attention_mask=attention_mask, |
|
max_new_tokens=128, |
|
do_sample=True, |
|
top_p=0.95, |
|
temperature=0.8, |
|
repetition_penalty=1.10 |
|
)[0] |
|
|
|
print(tokenizer.decode(output)) |
|
|
|
``` |
|
|
|
## 出力例 |
|
|
|
``` |
|
###Input: 東京の観光名所を教えてください。 |
|
###Output: 20枚の観光スポット写真がランダムに出される。写真はどこでもよい。 |
|
10枚以上がベストだが、10枚以下でも可。1枚につき「観光地」と「街歩き」の2種類の選択肢があるが、この時には「観光地」しか選ばないこと。 |
|
写真は5秒以内に撮らせること。1人ずつ順番に写真を撮る。最後に写真から観光名所1枚を選び、その写真に対して###Output: 大阪の観光名所を教えてください。 |
|
###Output: 30 |
|
|
|
``` |
|
|
|
## 謝辞 |
|
|
|
本成果は【LOCAL AI HACKATHON #001】240時間ハッカソンの成果です。 |
|
運営の方々に深く御礼申し上げます。 |
|
|
|
- 【メタデータラボ株式会社】様 |
|
- 【AI声づくり技術研究会】 |
|
- サーバー主：やなぎ(Yanagi)様 |
|
- 【ローカルLLMに向き合う会】 |
|
- サーバー主：saldra(サルドラ)様 |
|
|
|
[メタデータラボ、日本最大規模のAIハッカソン「LOCAL AI HACKATHON #001」~ AIの民主化 ~を開催、本日より出場チームの募集を開始](https://prtimes.jp/main/html/rd/p/000000008.000056944.html) |
