|
--- |
|
license: llama2 |
|
--- |
|
|
|
# `moneyforward/houou-instruction-7b-v2` |
|
|
|
|
|
# Overview |
|
The model was trained by supervised fine-tuning (SFT) using an instruction dataset (4802 data) created through joint research with the Institute of Physical and Chemical Research (RIKEN). |
|
|
|
**The instruction data is the first dataset created from scratch, written in Japanese.** |
|
|
|
The data details is [here](https://liat-aip.sakura.ne.jp/wp/llm%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E4%BD%9C%E6%88%90/). |
|
|
|
|
|
As a pre-trained model, we used [rinna/youri-7b](https://huggingface.co/rinna/youri-7b). |
|
|
|
|
|
|
|
* **Authors** |
|
|
|
- [Atsushi Kojima](https://huggingface.co/atsushi-mf) |
|
- Ikuo Kitagishi |
|
|
|
|
|
--- |
|
|
|
# How to use the model |
|
|
|
~~~~python |
|
import torch |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
tokenizer = AutoTokenizer.from_pretrained("moneyforward/houou-instruction-7b-v2") |
|
model = AutoModelForCausalLM.from_pretrained("moneyforward/houou-instruction-7b-v2") |
|
|
|
if torch.cuda.is_available(): |
|
model = model.to("cuda") |
|
|
|
|
|
instruction = "日本のおすすめの観光地を3つ教えてください。" |
|
input = "" |
|
|
|
if input == "": |
|
prompt = f""" |
|
以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。 |
|
|
|
### 指示: |
|
{instruction} |
|
|
|
### 応答: |
|
""" |
|
else: |
|
prompt = f""" |
|
以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。 |
|
|
|
### 指示: |
|
{instruction} |
|
|
|
### 入力: |
|
{input} |
|
|
|
### 応答: |
|
""" |
|
|
|
token_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") |
|
|
|
with torch.no_grad(): |
|
output_ids = model.generate( |
|
token_ids.to(model.device), |
|
max_new_tokens=2048, |
|
do_sample=True, |
|
temperature=0.5, |
|
pad_token_id=tokenizer.pad_token_id, |
|
bos_token_id=tokenizer.bos_token_id, |
|
eos_token_id=tokenizer.eos_token_id, |
|
) |
|
|
|
output = tokenizer.decode(output_ids.tolist()[0]) |
|
output = output.split("### 応答:")[1] |
|
print(output) |
|
|
|
""" |
|
日本は四季折々の美しい風景や、数々の伝統文化を持つ国です。観光地も数多くありますが、その中から3つ、おすすめの観光地をご紹介します。 |
|
|
|
1）京都府：清水寺、金閣寺、伏見稲荷大社 |
|
|
|
京都は、日本の歴史上とても重要な役割を果たした場所です。清水寺では、「音羽の滝」の水を飲むと美容効果があるといわれています。金閣寺はその名の通り、金で覆われた三層の建造物です。伏見稲荷大社は稲荷神社の総本山で、奥社へ向かう参道に並ぶ鳥居の数は圧巻です。 |
|
|
|
2）北海道：知床五湖、美瑛町（ケンとメリーの木、パッチワークの丘など）、旭川市（旭山動物園） |
|
|
|
知床半島は、世界自然遺産に登録されています。知床五湖は、その知床半島の自然を満喫できるハイキングコースです。美瑛町は、丘陵地に色とりどりの花が植えられたパッチワークのような風景が広がっています。旭川市にある旭山動物園は、人気がある動物園で、夜行性動物の見やすさが工夫されています。 |
|
|
|
3）東京都：浅草（浅草寺、仲見世通り、東京スカイツリー）、上野恩賜公園（上野の森美術館、国立西洋美術館など）、日本橋（三越前の日本国道路元標、R.M.V.日本橋など） |
|
|
|
東京にも観光地はたくさんあります。浅草は、昔ながらの下町の雰囲気が残り、老若男女を問わず楽しめる観光地です。上野には、美術館や博物館が多く、上野恩賜公園（上野の森）内を散策するだけでも十分に楽しめます。日本橋は、国道路元標やR.M.V.日本橋など、歴史を感じられる橋であり、最新の技術を感じられる橋でもあります。 |
|
|
|
この他にも日本には魅力的な観光地がたくさんあります。ぜひ訪れてみてください。 |
|
|
|
""" |
|
~~~~ |
|
|
|
# Evaluation results of [rakuda-benchmark](https://huggingface.co/datasets/yuzuai/rakuda-questions) |
|
|
|
We evaluated the performance of houou-instruction-v1 through GPT-4 automatic evaluation. |
|
|
|
As for the comparison model, we used gpt-3.5-turbo-1106. |
|
|
|
|
|
|
|
| houou-instruction-v2<br>win rate| gpt-3.5-turbo-1106 win rate | tie | |
|
| -- | -- |-- | |
|
| **67.5** | 30 | 2.5 | |
|
|
|
|
|
|
|
--- |
|
|
|
# License |
|
[The llama2 license](https://ai.meta.com/llama/license/) |
|
|
|
We have permission from RIKEN to use RIKEN's instruction data for this initiative. |
