---
license: cc-by-nc-sa-4.0
language:
- ko
tags:
- medical
datasets:
- sean0042/KorMedMCQA
- ChuGyouk/AI_healthcare_QA_samples_Sonnet3.5
- ChuGyouk/HFH4_ultrachat_200k_ko
---

# 🏥 Ko-Med-Gemma-2-9b-it

![image](./Korean-Medical-Gemma2.png)

⚠️ **The output of this model should not be considered as professional medical advice, diagnosis, or treatment. For accurate diagnosis and treatment of any specific medical issue, please consult a qualified physician or healthcare professional. Also, the commercial usage of this model is prohibited.**

## 🚀 Training
We did continued fine-tuning using [rtzr/ko-gemma-2-9b-it](https://huggingface.co/rtzr/ko-gemma-2-9b-it) as a base model. We trained 1.5 epoch on our dataset and the training time was about 65 hours. 1 A100-80G NVIDIA GPU is used.

## 🎁 Dataset

~~The dataset in the tag is not all of our training data~~

Our dataset consists of 449,500 data in total, including English/Korean medical data and English/Korean general domain data. It includes both single-turn and multi-turn, and includes doctor-patient conversations as well as medical exam QA with reasoning.

Korean medical data includes some that are translated from English medical data, while others are not.

## 🏆 Evaluation

### [KorMedMCQA](https://arxiv.org/abs/2403.01469)

[[KorMedMCQA (한국어 의학 벤치마크) Dataset]](https://huggingface.co/datasets/sean0042/KorMedMCQA)

We have uploaded the full results (including the exact outputs) in Google Drive [[here](https://drive.google.com/drive/folders/1EaZv9SQKJ1Zaw97ijg0j1UqZJY-N2OX1?usp=sharing)].

#### Method

We followed the lm-eval direct generation method proposed in the original paper, but modified a little bit.

See my modified lm-evaluation-harness repo [[here](https://github.com/GyoukChu/lm-evaluation-harness/tree/main/lm_eval/tasks/kormedmcqa)].
1. <u>Since there are many (relatively) easy problems in the nurse category so that the final average score tends to be high</u>, **weight_by_size was set to false** during mean aggregation.
2. Change the few-shot split from 'dev' to 'fewshot'
3. Add 'dentist' category.
4. Add multiple 'eos' tokens for generation_kwargs. (Since various recent models use different eos tokens.)

#### Note
- Due to the batch inference issue of gemma-2 models [here](https://huggingface.co/google/gemma-2-9b-it/discussions/43), we used **batch_size=1**. (Also, The batch size is automatically 1 for closed-sourced models through API. (except openAI batch API)) We hope that there is no big difference from the case where batch_size=8.
- Other settings: num_fewshot=5, seed=42, 1 A100-80G NVIDIA GPU.
- (WANT) TODO: Do for other random seeds twice more and calculate average as the final score.

#### Results (5-shots, Direct Generation)

| Model                                          | Doctor | Dentist | Nurse | Pharm | Avg |
|------------------------------------------------|-------|-------|-------|-------|-------|
| **Closed Source**                              |       |       |       |       |       |
| gpt-4o-2024-08-06 †                            | 85.75 | 78.91 | 91.00 | 85.65 | 85.33 |
| gpt-4o-2024-05-13 †                            | 85.98 | 60.67 ‡ | 84.97 | 84.18 | 78.95 |
| gpt-4o-mini-2024-07-18 †                       | 66.20 | 61.16 | 79.50 | 69.94 | 69.20 |
| HyperCLOVA X HCX-003 §                         | 49.89 | 50.31 | 72.55 | 62.26 | 58.75 |
| HyperCLOVA X HCX-DASH-001 §                    | 43.22 | 42.42 | 60.02 | 47.80 | 48.36 |
| solar-1-mini-chat-240612 §                     | 43.45 | 39.21 | 57.52 | 46.33 | 46.63 |
| **Gemma-2 9B Family**                          |       |       |       |       |       |
| **ChuGyouk/ko-med-gemma-2-9b-it-merge2 (Ours, Merged)** | 57.47 | **56.60** | **76.42** | 68.36 | **64.71** |
| **ChuGyouk/ko-med-gemma-2-9b-it-merge1 (Ours, merged)** | **57.93** | 55.86 | 75.06 | **68.93** | 64.44 |
| **ChuGyouk/ko-med-gemma-2-9b-it-base (Ours, Base)** | 57.47 | 55.24 | 76.08 | 68.81 | 64.40 |
| rtzr/ko-gemma-2-9b-it                          | 54.02 | 53.14 | 73.46 | 64.63 | 61.32 |
| google/gemma-2-9b-it                           | 52.41 | 52.90 | 73.58 | 64.29 | 60.80 |
| **Korean Models**                              |       |       |       |       |       |
| LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct           | 47.13 | 46.98 | 69.36 | 56.27 | 54.93 |
| yanolja/EEVE-Korean-Instruct-10.8B-v1.0        | 44.37 | 41.18 | 66.63 | 57.29 | 52.37 |
| upstage/SOLAR-10.7B-Instruct-v1.0              | 40.23 | 36.13 | 55.58 | 52.88 | 46.21 |
| **Multilingual Models**                        |       |       |       |       |       |
| Qwen/Qwen2-7B-Instruct                         | 44.60 | 45.75 | 65.95 | 57.74 | 53.51 |
| meta-llama/Meta-Llama-3.1-8B-Instruct          | 39.77 | 41.68 | 59.34 | 56.61 | 49.35 |
| **>10B Models**                                |       |       |       |       |       |
| google/gemma-2-27b-it (27.2B)                  | 58.85 | 56.47 | 79.27 | 71.86 | 66.61 |
| CohereForAI/c4ai-command-r-08-2024 (32.3B)     | 63.91 | 53.14 | 75.28 | 69.38 | 65.43 |
| mistralai/Mistral-Nemo-Instruct-2407 (12.2B)   | 42.53 | 44.51 | 66.17 | 56.38 | 52.40 |

† : For the answers of GPT, we received a lot of responses in the form of "정답: A", "정답은 B", "정답은 C 입니다". We manually changed these answers to simply A, B, and C, and then re-measured the score.

‡ : For the dentist results of gpt-4o-2024-05-13, responses like "정답을 제공해드리겠습니다:" are observed quite frequently, so the actual score is expected to be slightly higher.

## 📚 Example

### Python Code
```python
import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


model_id = "ChuGyouk/ko-med-gemma-2-9b-it-merge2"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

model.eval()
# KorMedMCQA Doctor Test 2022 2nd period Question 61, Answer is B, 세균수막염
input_prompt = "다음 의학 시험 문제에 대해 보기 A~E 중 정답을 선택하세요. 선택 이유를 구체적으로 제공하세요."
question = "6세 여아가 하루 전부터 머리가 아프고 구토를 하여 병원에 왔다. 혈압 100/60 mmHg, 맥박 110회/분, 호흡 25회/분, 체온 38.7℃이다. 졸려하고, 목경직과 커니그(Kernig) 징후는 양성이지만, 뇌신경마비나 부분신경 징후는 없다. 검사 결과는 다음과 같다. 진단은?\n혈액: 혈색소 13.8g/dL, 백혈구 14,200/mm^3, 혈소판 135,000/mm^3 총단백질 7.4 g/dL, 알부민 4.3 g/dL, 포도당 105 mg/dL, C-반응단백질 120 mg/L (참고치, <10) 프로칼시토닌 90 ng/mL (참고치, 0.00-0.49) 결핵특이 인터페론감마(interferon-γ) 방출측정 음성소변: 적혈구 5～10/고배율시야, 백혈구 20～30/고배율시야, 뇌척수액: 압력 240 mmH2O, 백혈구 650/mm^3 (다형핵백혈구 90%, 림프구 10%), 단백질 112 mg/dL, 포도당 35 mg/dL, 올리고클론띠 음성 아데노신탈아미노효소활성도(ADA) 4.1 U/L (참고치, <10)"
A = "결핵수막염"
B = "세균수막염"
C = "자가면역뇌염"
D = "바이러스수막염"
E = "급성파종뇌척수염"
instruction = f"{input_prompt}\n\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\nE. {E}"

messages = [
    {
        "role": "user", 
        "content": instruction
    }
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<end_of_turn>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.7,
    top_p=1.0,
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
```

### Output
```markdown
정답은 B입니다. 세균수막염.

다음은 각 선택지에 대한 설명입니다:

A. 결핵수막염: 결핵특이 인터페론-감마 방출측정이 음성이므로 결핵수막염은 가능성이 낮습니다.

B. 세균수막염: 환자는 고열, 구토, 두통, 목경직, 커니그 징후 양성 등 세균수막염의 전형적인 증상을 보입니다. 혈액 검사에서 백혈구 증가가 나타나며, 뇌척수액 검사에서 백혈구 수가 높고(650/mm3), 다형핵백혈구가 차지하는 비율이 높으며(90%), 포도당 수치가 낮고(35 mg/dL), 단백질 수치가 높습니다(112 mg/dL). 이러한 소견은 세균성 염증을 나타냅니다.

C. 자가면역뇌염: 자가면역뇌염은 일반적으로 뇌신경마비나 부분신경 징후를 동반하지만, 이 환자는 이러한 증상을 보이지 않습니다. 또한, 뇌척수액 검사에서 ADA 활성도가 정상 범위에 있으므로 자가면역뇌염은 가능성이 낮습니다.

D. 바이러스수막염: 바이러스수막염은 일반적으로 백혈구 수치가 낮고(200/mm3 이하), 단백질 수치가 낮으며, 포도당 수치는 정상 또는 약간 낮을 수 있습니다. 이 환자는 세균성 염증의 증거가 있으며, 바이러스 침습을 나타내는 특이적인 소견이 없습니다.

E. 급성파종뇌척수염: 급성파종뇌척수염은 일반적으로 다양한 신경학적 결손을 동반하며, 뇌척수액에서 올리고클론띠가 나타납니다. 이 환자는 뇌신경마비나 부분신경 징후가 없으며, 올리고클론띠도 나타나지 않습니다.

결론적으로, 환자의 임상 증상과 뇌척수액 검사 결과는 세균성 수막염을 가장 가능성이 높은 진단으로 지지합니다.
```

### Other Example
```markdown
# "타이레놀을 먹었는데도 불구하고 두통이 너무 심해요. 어떻게 해야 하나요?"

두통이 심하시다니 안타깝습니다. 타이레놀을 복용했음에도 불구하고 두통이 지속된다면, 다음과 같은 방법을 고려해 볼 수 있습니다:

1. **충분한 휴식과 수분 섭취**: 두통이 심할 때는 조용한 곳에서 휴식을 취하고 충분한 수분을 섭취하는 것이 도움이 될 수 있습니다.

2. **냉찜질**: 얼음팩이나 차가운 물로 적신 수건을 이마나 목에 대어 냉찜질을 해보세요.

3. **카페인 섭취**: 적당량의 카페인은 두통을 완화시킬 수 있습니다. 커피나 차를 조금 마셔보세요.

4. **스트레칭**: 목과 어깨를 부드럽게 스트레칭하여 긴장을 풀어보세요.

5. **다른 진통제**: 타이레놀 외에 이부프로펜이나 나프록센과 같은 다른 진통제를 복용해 볼 수 있습니다. 하지만 복용 전에 반드시 약사나 의사와 상담하세요.

6. **의사 상담**: 두통이 지속되거나 심해진다면, 의사와 상담하여 원인을 파악하고 적절한 치료를 받는 것이 중요합니다.

두통의 원인은 다양할 수 있으므로, 정확한 진단과 치료를 위해 의료 전문가의 도움을 받는 것이 가장 좋습니다.
```

## MergeKit Details

This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).

### Merge Details
#### Merge Method

This model was merged using the DARE TIES merge method using [google/gemma-2-9b-it](https://huggingface.co/google/gemma-2-9b-it) as a base.

#### Models Merged

The following models were included in the merge:
* [rtzr/ko-gemma-2-9b-it](https://huggingface.co/rtzr/ko-gemma-2-9b-it)
* [ChuGyouk/ko-med-gemma-2-9b-it-base](https://huggingface.co/ChuGyouk/ko-med-gemma-2-9b-it-base)

#### Configuration

The following YAML configuration was used to produce this model:

```yaml
models:
  - model: google/gemma-2-9b-it
  # No parameters necessary for base model
  - model: rtzr/ko-gemma-2-9b-it
    parameters:
      density: 0.53
      weight: 0.4
  - model: ChuGyouk/ko-med-gemma-2-9b-it-base
    parameters:
      density: 0.53
      weight: 0.6
merge_method: dare_ties
base_model: google/gemma-2-9b-it
parameters:
  int8_mask: true
dtype: bfloat16
```

#### Configuration for ChuGyouk/ko-med-gemma-2-9b-it-merge1 Model
```yaml
models:
  - model: rtzr/ko-gemma-2-9b-it
  - model: ChuGyouk/ko-med-gemma-2-9b-it-base
    parameters:
      density: 0.5
      weight: 0.5
merge_method: dare_ties
base_model: rtzr/ko-gemma-2-9b-it
parameters:
  int8_mask: true
dtype: bfloat16
```

## Contact

```
kyouwook@kaist.ac.kr
magicwho@unist.ac.kr
```