|
--- |
|
library_name: transformers |
|
tags: [] |
|
--- |
|
|
|
## モデル |
|
|
|
- ベースモデル:[llm-jp/llm-jp-1.3b-v1.0](https://huggingface.co/llm-jp/llm-jp-1.3b-v1.0) |
|
- 学習データセット:[llm-jp/databricks-dolly-15k-ja](https://huggingface.co/datasets/llm-jp/databricks-dolly-15k-ja) |
|
- 学習方式:フルパラメータチューニング |
|
|
|
## サンプル |
|
|
|
```python |
|
import torch |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
tokenizer = AutoTokenizer.from_pretrained( |
|
"ryota39/llm-jp-1b-sft-15k" |
|
) |
|
pad_token_id = tokenizer.pad_token_id |
|
|
|
model = AutoModelForCausalLM.from_pretrained( |
|
"ryota39/llm-jp-1b-sft-15k", |
|
device_map="auto", |
|
) |
|
|
|
text = "###Input: 東京の観光名所を教えてください。\n###Output: " |
|
tokenized_input = tokenizer.encode( |
|
text, |
|
add_special_tokens=False, |
|
return_tensors="pt" |
|
).to(model.device) |
|
|
|
attention_mask = torch.ones_like(tokenized_input) |
|
attention_mask[tokenized_input == pad_token_id] = 0 |
|
|
|
with torch.no_grad(): |
|
output = model.generate( |
|
tokenized_input, |
|
attention_mask=attention_mask, |
|
max_new_tokens=128, |
|
do_sample=True, |
|
top_p=0.95, |
|
temperature=0.8, |
|
repetition_penalty=1.0 |
|
)[0] |
|
|
|
print(tokenizer.decode(output)) |
|
|
|
``` |
|
|
|
## 出力例 |
|
|
|
``` |
|
###Input: 東京の観光名所を教えてください。 |
|
###Output: 東京には多くの観光名所がある: |
|
1.皇居 |
|
2.江戸東京博物館 |
|
3.東京タワー |
|
4.東京スカイツリー |
|
5.芝公園 |
|
6.東京タワー、増上寺、増上寺宝物館 |
|
7.浜離宮恩賜庭園 |
|
8.東京都庁 |
|
9.増上寺 |
|
10.新宿御苑 |
|
11.浅草寺 |
|
12.上野公園 |
|
13.お台場 |
|
14.明治神宮 |
|
15.上野動物園 |
|
16.東京国立博物館 |
|
17.浅草寺、浅草寺仲見 |
|
|
|
``` |