youjunhyeok/solar-ko-recovery-11b-chat

Model

• base model: beomi/Solar-Ko-Recovery-11B

Dataset

• jojo0217/korean_rlhf_dataset
• jojo0217/korean_safe_conversation
• HAERAE-HUB/qarv-instruct-ko
• HAERAE-HUB/Korean-Human-Judgements
• HAERAE-HUB/K2-Feedback
• changpt/ko-lima-vicuna
• maywell/kiqu_samples
• CarrotAI/ko-instruction-dataset
• 4n3mone/vector_bench
• youjunhyeok/llama3_train

Load Model

Use the following Python code to load the model:

from transformers import AutoTokenizer, AutoModelForCausalLM

path = 'youjunhyeok/solar-ko-recovery-11b-chat-v1'

model = AutoModelForCausalLM.from_pretrained(path)
tokenizer = AutoTokenizer.from_pretrained(path)
model.to('cuda')

Chat

def chat(message):
    messages = [
        {"role": "system", "content": "당신은 인공지능 어시스턴트입니다. 친절하고 상세한 답변을 해주세요."},
        {"role": "user", "content": message},
    ]

    input_ids = tokenizer.apply_chat_template(
        messages,
        add_generation_prompt=True, 
        tokenize=True, 
        return_tensors="pt"
    ).to(model.device)

    outputs = model.generate(
        input_ids,
        max_new_tokens=1024,
        do_sample=True,
        temperature=0.9,
        top_p=0.95,
    )
    response = outputs[0][input_ids.shape[-1]:]
    print(tokenizer.decode(response, skip_special_tokens=True))

chat('태양의 흑점 폭발에 대해 설명해줘.')

Output

넵! 태양의 흑점 폭발에 대해 설명해드리겠습니다.
태양의 흑점 폭발은 태양의 표면에 있는 흑점이 폭발하여 생기는 현상입니다.
흑점은 태양의 자기장이 강한 부분으로, 그 부위의 자기장이 폭발하면서 에너지를 방출하는 것이지요.
이 폭발은 태양의 에너지 변화로 이어져 지구에 다양한 영향을 미칠 수 있습니다.
예를 들어, 지구의 통신 시스템에 교란을 일으키거나 GPS 등의 장비에 오류가 발생할 수 있습니다.
또한, 태양에서 방출된 에너지가 지구에 도달하여 오로라를 발생시키기도 하지요.
따라서, 태양의 흑점 폭발은 태양의 활동성과 관련이 깊으며, 태양의 자기장 변화를 연구하는 데에도 중요한 지표가 됩니다.
더 궁금하신 점이 있으면 언제든지 말씀해 주세요!

Llama_factory Train Config

{data_dir}, {dataset_name}, {output_dir} is variable

bf16: true
cutoff_len: 2048
dataset: k2-feedback,kiqu_samples,ko_lima_vicuna,ko-instruction-data,korean-human-judgements,rlhf_dataset,safe_conversation,qarv-instruct-ko,vector_bench,llama3_train
dataset_dir: {data_dir}
ddp_timeout: 180000000
do_train: true
eval_steps: 250
eval_strategy: steps
finetuning_type: lora
flash_attn: auto
gradient_accumulation_steps: 4
include_num_input_tokens_seen: true
learning_rate: 1.0e-06
logging_steps: 5
lora_alpha: 16
lora_dropout: 0.05
lora_rank: 16
lora_target: all
lr_scheduler_type: inverse_sqrt
max_grad_norm: 1.0
max_samples: 100000
model_name_or_path: beomi/Solar-Ko-Recovery-11B
num_train_epochs: 2.0
optim: adamw_torch
output_dir: saves/SOLAR-10.7B/lora/solar-ko-recovery-instruct-v2
packing: false
per_device_eval_batch_size: 8
per_device_train_batch_size: 8
plot_loss: true
preprocessing_num_workers: 16
report_to: none
save_steps: 250
stage: sft
template: solar
val_size: 0.05
warmup_steps: 250