File size: 12,694 Bytes
c8febca a16509b 507d8bc a16509b 507d8bc a16509b 507d8bc a16509b 507d8bc a16509b 507d8bc 3791712 507d8bc 3791712 507d8bc 3791712 a16509b 507d8bc a16509b 2ca1209 a16509b 507d8bc a16509b |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 |
---
license: apache-2.0
datasets:
- Vikhrmodels/GrandMaster-PRO-MAX
- Vikhrmodels/Grounded-RAG-RU-v2
language:
- en
- ru
base_model:
- mistralai/Mistral-Nemo-Instruct-2407
---
## Vikhr-Nemo-12B-Instruct-R-21-09-24
### Описание
**Vikhr-Nemo** - это наша флагманская унимодальная LLM (Large Language Model) представляющая из себя улучшенную версию [mistralai/Mistral-Nemo-Instruct-2407](https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407) командой **VikhrModels**, адаптированную преимущественно для русского и английского языков. Для ее обучения мы использовали несколько этапов включаюзих в себя **SFT** и **SMPO** - нашу собственную вариацию DPO, подробнее читайте в секции *"Как эта модель создавалась"*.
Модель оптимизированна для различных вариантов использования, включая ризонинг, суммаризацию, код, roleplay, поддержание диалога. Vikhr-Nemo обладает возможностью многоязычной генерации, и высокопроизводительными возможностями RAG. Модель иммет лучшие оценки среди прочих на наших инструктивных и RAG бенчарках и, поэтому, мы верим, что в некоторыых случаях может использоваться как локальная замена для gpt-4o-mini от OpenAI.
Весь использованный код для обучения выложен в нашем репозитории [effective_llm_alignment](https://github.com/VikhrModels/effective_llm_alignment/) на GitHub, а основаные датасеты дсотупны в нашем [профиле на HF](https://huggingface.co/Vikhrmodels).
### Особенности
1. Высокое качество генераций на русском и английском языках, а также некоторых других языках, благодаря датасету [Grandmaster-PRO-MAX](https://huggingface.co/datasets/Vikhrmodels/GrandMaster-PRO-MAX) и исходной модели.
2. Поддержка системных промптов для регулриования стиля ответов
3. Поддержка до 128k токенов контекста благодаря исходной модели
4. Grounded RAG режим - модель имеет специальную роль documents и специальный режим работы для поиска идентификаторов релевантных вопросу пользователя документов и использования их для ответа на вопрос, вдохновлено аналогичной способность модели Command-R
### Метрики и оценка качества
Модель оценивалась на нашем русскоязычном опен-сорс SBS бенчмарке [ru-arena-general](https://github.com/VikhrModels/ru_llm_arena) (50 вопросов по 10 топикам), где судьей выступает gpt-4-1106-preview и [бенчмарке](https://colab.research.google.com/drive/16730rWQ4-yGqWoooLs0Ece_16frmOniP?usp=sharing) для RAG на основе тестового сета [Grounded-RAG-v2](https://huggingface.co/datasets/Vikhrmodels/Grounded-RAG-RU-v2), где судей выступа gpt-4o.
#### Результаты на Ru-Arena-General
В качестве референсых отвеов, с которыми сравниваются модели выступают ответы от gpt-3.5-turbo-0125, поэтому она имеет винрейт 50%.
Здесь приведена лишь часть лидерборда, подробнее смотрите в репозитории бенчмарка.
| Model Name | Winrate | 95% CI | Average # Tokens |
|--------------------------------------------------|--------|--------------------|------------------|
| gpt-4-1106-preview | 90.9 | (-1.3, 1.0) | 541 |
| gpt-4o-mini | 83.9 | (-1.8, 1.1) | 448 |
| **vikhr-nemo-12b-instruct-r-21-09-24** | **79.8** | (-2.2, 1.9) | **627** |
| gemma-2-9b-it-sppo-iter3 | 73.6 | (-1.6, 2.2) | 509 |
| gemma-2-9b-it | 69.2 | (-2.5, 1.9) | 459 |
| t-lite-instruct-0.1 | 64.7 | (-2.1, 1.7) | 810 |
| vikhr-llama3.1-8b-instruct-r-21-09-24 | 63.4 | (-2.1, 2.5) | 618 |
| suzume-llama-3-8B-multilingual-orpo-borda-half | 57.1 | (-1.9, 2.2) | 682 |
| mistral-nemo-instruct-2407 | 50.5 | (-2.7, 2.6) | 403 |
| gpt-3.5-turbo-0125 | 50.0 | (0.0, 0.0) | 220 |
| c4ai-command-r-v01 | 49.0 | (-1.7, 2.2) | 529 |
| meta-llama-3.1-8b-instruct | 43.1 | (-2.8, 2.3) | 628 |
#### Результаты на бенчмарке RAG
Тут для оценки качества модель-судья gpt-4o была проинструктирована учитывать релеватность и фактологичкскую полноту ответов исходя из документов и реферсного ответа от gpt-4-1106-preview.
Подробности промптов и оценок смотрите в коде бенчмарка доступно на [коллабе](https://colab.research.google.com/drive/16730rWQ4-yGqWoooLs0Ece_16frmOniP?usp=sharing)
<table>
<thead>
<tr>
<th rowspan="2">question_type</th>
<th colspan="3">gpt-4o</th>
</tr>
<tr>
<th>judge_correct_percent</th>
<th>avg_answer_match_rougeL</th>
<th>avg_abs_indexes_diff</th>
</tr>
</thead>
<tbody>
<tr>
<td>in_domain</td>
<td>73%</td>
<td>0.34</td>
<td>NaN</td>
</tr>
<tr>
<td>out_of_domain</td>
<td>81%</td>
<td>0.20</td>
<td>NaN</td>
</tr>
</tbody>
</table>
<table>
<thead>
<tr>
<th style="visibility: hidden;" rowspan="2">question_type</th>
<th colspan="3">Vikhr-Nemo-12B-Instruct-R-21-09-24</th>
</tr>
<tr>
<th style="visibility: hidden;">judge_correct_percent</th>
<th style="visibility: hidden;">avg_answer_match_rougeL</th>
<th style="visibility: hidden;">avg_abs_indexes_diff</th>
</tr>
</thead>
<tbody>
<tr>
<td>in_domain</td>
<td>68%</td>
<td>0.41</td>
<td>0</td>
</tr>
<tr>
<td>out_of_domain</td>
<td>92%</td>
<td>0.52</td>
<td>0</td>
</tr>
</tbody>
</table>
<table>
<thead>
<tr>
<th style="visibility: hidden;" rowspan="2">question_type</th>
<th colspan="3">gpt-4-mini</th>
</tr>
<tr>
<th style="visibility: hidden;">judge_correct_percent</th>
<th style="visibility: hidden;">avg_answer_match_rougeL</th>
<th style="visibility: hidden;">avg_abs_indexes_diff</th>
</tr>
</thead>
<tbody>
<tr>
<td>in_domain</td>
<td>65%</td>
<td>0.33</td>
<td>NaN</td>
</tr>
<tr>
<td>out_of_domain</td>
<td>73%</td>
<td>0.18</td>
<td>NaN</td>
</tr>
</tbody>
</table>
<table>
<thead>
<tr>
<th style="visibility: hidden;" rowspan="2">question_type</th>
<th colspan="3">gpt-3.5-turbo-0125 </th>
</tr>
<tr>
<th style="visibility: hidden;">judge_correct_percent</th>
<th style="visibility: hidden;">avg_answer_match_rougeL</th>
<th style="visibility: hidden;">avg_abs_indexes_diff</th>
</tr>
</thead>
<tbody>
<tr>
<td>in_domain</td>
<td>49%</td>
<td>0.28</td>
<td>NaN</td>
</tr>
<tr>
<td>out_of_domain</td>
<td>76%</td>
<td>0.20</td>
<td>NaN</td>
</tr>
</tbody>
</table>
### Как эта модель создавалась
#### Инструктивная SFT часть
Для SFT этапа обучения модели мы подготовили наш большой (150к инструкций) инструктивный синтетический датасет [Vikhrmodels/GrandMaster-PRO-MAX](https://huggingface.co/datasets/Vikhrmodels/GrandMaster-PRO-MAX). Его особенностью является встроеный CoT (Chain-Of-Thought), для сбора которого мы использовали модифицированный промет для gpt-4-turbo, подробности в карточке датасета.
Кроме того для того чтобы сделать RAG Grounding мы подготовили другой синтетический датасет - [Vikhrmodels/Grounded-RAG-RU-v2](https://huggingface.co/datasets/Vikhrmodels/Grounded-RAG-RU-v2), его пайплайн сборки достаточно сложный для короткого описания и полробнее об этом вы можете прочитать в его карточке.
#### Этап алайнмента с SMPO
Для дальнейшего улучшения качества ответов мы использовали следущий пайплайн:
1) Обучили кастомную Reward модель (она пока не будет выкладываться в открытый доступ)
2) Дедуплицировали и отфилтровали используя RM модель оригинальный датасет Vikhrmodels/GrandMaster-PRO-MAX, получив порядка 10к самых высококачественных и разнообразных диалогов.
3) Сделали Rejection Samping с SFT чекпоинтом используя полученный датасет и Reward модель. (Генерировали 7 гипотез и брали только 2 самые худшие как rejected)
4) Дообучили SFT чекпоинт с помощью нашего метода SMPO используя полученный датасет из этапа 3. SMPO был спроектирован и выбран как метод для повышения стабильности тренировки преференсов в условиях Rejection Samping и достижения нужного margin.
Реализацию SMPO, rejection sampling и тд можно найти в нашей библиотеке [effective_llm_alignment](https://github.com/VikhrModels/effective_llm_alignment/) на GitHub
### Как работать с RAG
Роль documents представляет из себя список словарей с описанием контента документов, с примнением json.dumps(array). \
Контент документов представлен в **3** случайных форматах: **Markdown**, **HTML**, **Plain Text**. Контент кажддого документа - случайный чанк из статьи длиной до 4к символов.
```json
[
{
"doc_id": (0..5),
"title": "(null or str)",
"content": "(html or markdown or plain text)"
}
]
```
### Нюансы и ограничения
- Модель имеет низкий уровень безопасности ответов и нацелена на правильное и полное выполенние инстуркций, имейте это ввиду при использовании
- Системные промпты не предназначены для описание персонажей, используйте их только для спецификации стиля ответа (вроде "answer only in json format"). Кроме того они должны быть на английском, так как так было в датасете, здесь от английского не зависит язык ответа.
- RAG режим требует обязательного наличия системного промпта описаного в секции *Как работать с RAG*
### Авторы
|