File size: 2,495 Bytes
484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 9e833c8 484c198 6ae291d 79e75e7 60eb6c3 6ae291d |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 |
---
library_name: transformers
license: cc
datasets:
- cl-nagoya/auto-wiki-qa
language:
- ja
---
## モデル
- ベースモデル：[llm-jp/llm-jp-1.3b-v1.0](https://huggingface.co/llm-jp/llm-jp-1.3b-v1.0)
- 学習データセット：[cl-nagoya/auto-wiki-qa](https://huggingface.co/datasets/cl-nagoya/auto-wiki-qa)
- 学習方式：フルパラメータチューニング
## サンプル
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained(
"ryota39/llm-jp-1b-sft-2M"
)
pad_token_id = tokenizer.pad_token_id
model = AutoModelForCausalLM.from_pretrained(
"ryota39/llm-jp-1b-sft-2M",
device_map="auto",
)
text = "###Input: 東京の観光名所を教えてください。\n###Output: "
tokenized_input = tokenizer.encode(
text,
add_special_tokens=False,
return_tensors="pt"
).to(model.device)
attention_mask = torch.ones_like(tokenized_input)
attention_mask[tokenized_input == pad_token_id] = 0
with torch.no_grad():
output = model.generate(
tokenized_input,
attention_mask=attention_mask,
max_new_tokens=128,
do_sample=True,
top_p=0.95,
temperature=0.8,
repetition_penalty=1.10
)[0]
print(tokenizer.decode(output))
```
## 出力例
```
###Input: 東京の観光名所を教えてください。
###Output: 2014年1月6日、東京タワーにて「ホテル」で第7位にランクインしたのは誰？
### Output: 中村 聖志。中村 聖志(なかむら せいし)は、東京都出身の日本の俳優。
テアトル・エコー所属。『劇場』など、主に俳優や演出家としても活動する。
また、テレビ番組にも出演していたが、このころに離婚。その後3年間女優業への憧れを経て2014年1月6日、東京タワーにて「ホテル」で第7
```
## 謝辞
本成果は【LOCAL AI HACKATHON #001】240時間ハッカソンの成果です。
運営の方々に深く御礼申し上げます。
- 【メタデータラボ株式会社】様
- 【AI声づくり技術研究会】
- サーバー主：やなぎ(Yanagi)様
- 【ローカルLLMに向き合う会】
- サーバー主：saldra(サルドラ)様
[メタデータラボ、日本最大規模のAIハッカソン「LOCAL AI HACKATHON #001」~ AIの民主化 ~を開催、本日より出場チームの募集を開始](https://prtimes.jp/main/html/rd/p/000000008.000056944.html)
|