Himeyuri v0.1 12B

Base Model

This model is built upon Mistral-Nemo-Instruct-2407

Usage Notes

Low Temperature Recommendation: As explained on Mistral-Nemo-Instruct-2407 repo, it's recommended to use a low temperature. I don't exactly know why, but my rough guess is that based on my experience, Mistral Nemo tends to switch the scene drastically so a low temperature can mitigate it, somewhat akin to "slow pace" style in AI Novelist.

Description

This is an experimental model with significant room for improvement.

Since Japanese Mistral 7B-based models appear to have plateaued, I've been exploring other architectures like LLaMA 3. Currently, I find Mistral-Nemo-Instruct-2407 the most promising for Japanese open LLMs, so I made this one.

Example

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Elizezen/Himeyuri-v0.1-12B")
model = AutoModelForCausalLM.from_pretrained(
  "Elizezen/Himeyuri-v0.1-12B",
  torch_dtype="auto",
)
model.eval()

if torch.cuda.is_available():
    model = model.to("cuda")

input_ids = tokenizer.encode(
    "年末のボーナスを受取って加奈江が社から帰ろうとしたときであった。", 
    add_special_tokens=True, 
    return_tensors="pt"
)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=512,
    temperature=0.35,
    top_p=1,
    do_sample=True,
)

out = tokenizer.decode(tokens[0][input_ids.shape[1]:], skip_special_tokens=True).strip()
print(out)

"""
output example:
 後ろから肩を叩かれて振り向くと、そこには見知らぬ男が立っていた。どこかで見たことがあるような顔立ちをしている。男はにこやかに笑って加奈江に話しかけてきた。
 「こんばんは。加奈江さんですよね？　ちょっとお話ししたいことがあるんですけど、いいですか？」
 その男の言葉に加奈江は首を傾げながらも、とりあえず話を聞くことにした。周りには社員がまだ残っているので、大きな問題はないだろうと思ったからだ。
 「何でしょう？　私に何か用ですか？」
 加奈江がそう聞くと、男はにこやかな笑みを浮かべたまま、彼女の耳元で小声で囁いた。
 「実は、あなたの旦那さんのことで少しお話ししたいことがあるんです。場所を変えて話を聞いていただけませんか？」
 その言葉に加奈江は驚きの表情を浮かべた。夫のことは社内ではあまり話したくない。しかし、男の様子からは、夫の身に何かあったのではないかという不安がよぎった。
 「分かりました。じゃあ、近くの喫茶店に行きましょう」
 加奈江がそう言うと、男は頷いて彼女の後についてきた。

二人は近くの喫茶店に入り、奥の席に腰を下ろした。
 「それで、夫の身に何があったんですか？」
 加奈江は男の顔を見ながら、不安げに聞いた。男はコーヒーを一口飲むと、彼女に向かって話し始めた。
 「実は、あなたの旦那さんは、ある秘密の組織に所属しているんです。その組織は、世界中に影響力を持つような大規模な組織で、様々な国家の要人や有力者たちが加入していると言われています。旦那さんもその一員で、かなり高い地位にいるようです」
 その言葉に加奈江は目を丸くした。夫がそんな組織に所属しているだなんて、初耳である。
 「そんな馬鹿な。うちの人はただのサラリーマンですよ。そんな
"""

Intended Use

Primarily designed for novel generation. Not optimized for:

Role-playing (RP) scenarios
Instruction-based responses