Обратная связь
Заинтересован в этой модели, соответственно где будет проще вести обратную связь, если возникнут предложения, пожелания, замечания и вопросы?
У модели есть понятие системной инструкции? А то допустим у мистраль смол, Немо нет такого понятия и относится ко всему промпту модель очень слабо на больших контекстах
Заинтересован в этой модели, соответственно где будет проще вести обратную связь, если возникнут предложения, пожелания, замечания и вопросы?
У модели есть понятие системной инструкции? А то допустим у мистраль смол, Немо нет такого понятия и относится ко всему промпту модель очень слабо на больших контекстах
Думаю, здесь будет проще всего вести обратную связь)
Модель обучена на основе qwen 2.5 14b, у которой по умолчанию есть system prompt:
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
Также, судя по тестам, которые проводили люди с localllama, qwen 2.5 14b отлично себя показывает даже на контексте 64к+. Мне пока самому лично не доводилось проверить такие большие контексты, но на 32к он вёл себя по-прежнему весьма достойно.
еще по поводу формата, я почти не пользовался chatml, слышал только что он достаточно гибкий, я правильно понимаю что проблем не будет при использовании в групповых чатах, где может быть:
user replay
bot1 replay
bot3 replay
> system lorebook inject
user replay
bot6 replay
bot1 replay
user replay
bot2 replay
а ну и из описания я понимаю, что мне стоит русифицировать вообще все инструкции, лорбуки и карточки?
еще вопрос про цензуру, тут полный анценз? или какие то темы все еще зацензурены?
еще по поводу формата, я почти не пользовался chatml, слышал только что он достаточно гибкий, я правильно понимаю что проблем не будет при использовании в групповых чатах, где может быть:
user replay bot1 replay bot3 replay > system lorebook inject user replay bot6 replay bot1 replay user replay bot2 replayа ну и из описания я понимаю, что мне стоит русифицировать вообще все инструкции, лорбуки и карточки?
еще вопрос про цензуру, тут полный анценз? или какие то темы все еще зацензурены?
В групповых чатах проверял, проблем не заметил. На счёт русификации инструкций, карточек и лорбуков - совсем не обязательно. Она хорошо принимает входные данные как на английском, так и на русском, но желательно, чтобы вывод и ввод был на русском (сделать ей промпт просто, чтобы она отвечала на русском языке), ибо обучалась она на русском датасете, там работа стабильнее. Я проверял, как она обобщает данные на английском в том числе (английский ввод - английский вывод), и изредка могут проявляться признаки нестабильности. В качестве компромисса, можно делать ввод на английском (все карточки и лорбуки оставить на английском), а вывод попросить её делать на русском. Я тестировал её в таком режиме достаточно долго, и оно не отличалось по точности от русского ввода - вывода, полагаю, лучший вариант.
На счёт цензуры. Пока я не делал JailBreak модели, в датасете пока были включены следующие данные: аугментированная донельзя (в 30 раз) книга правил Gurps Basic Set (Формат вопрос по правилам системы - ответ, + суммаризации глав), + РП датасет в формате гурпса (Запрос игрока - Ответ гейм мастера). Но пока что не обрабатывал случаи NSFW и прочих тем, попадающие под цензуру, в этом плане моделька ванильна. Но на тестах она не упиралась в особый пацифизм, и позволяла делать игроку всё, что он захочет. Отказы только получал при тестах на откровенное NSFW.
Кстати говоря, за основу рекомендую брать карточку ГМа, которую я составил для sillyTavern под эту модель, ссылка на неё в readMe или просто рядом с весами модели Game Master.png. Там и пример карточки, и пример лорбука. Постарался обработать максимум возможных случаев, дабы заставить модель грамотно вести партию.
Пока я не делал JailBreak модели
с одной стороны даже и хорошо, не случится очередного момента хорни лупа, где бот просто не может отлипнуть от тебя превращая всю сессию в дом содома, с другой стороны, иногда хочется использовать модель именно в этих целях в других сессиях, чисто нарративный сторителлинг, да и жестокие сцены для того же нарратива и глубины хочется видеть, а хорошо тюненых моделей на русский язык почти нет, так что буду рад если появится варианты с анцензом и тюн на базе 32б (хотя я сомневаюсь что осилю больше чем 3q xxs квант для 32б)
почитал вашу карточку, выглядит хорошо, в целом у меня аналогичный нарратор для группового чата используется, но не то чтобы очень эффективно выходило, с системной GURPS в кратце ознакомлен, но ни разу не играл по ней, будет интересно попробовать с ллм такое.
@AlexBefest можешь выложить еще пресет семплеров генерации текста? у меня как-то пока странным выходит общение с ллм. Иногда буквы или слова неправильно пишет, несколько водянисто и легкое ощущение GPTизма, темпа 0.6-0.75, все остальное по умолчанию, немного подергал за настройки пенальти повторений, но сильно не перекручивал чтобы не усугублять искажение слов, не то чтобы вышло хорошо.
@AlexBefest можешь выложить еще пресет семплеров генерации текста? у меня как-то пока странным выходит общение с ллм. Иногда буквы или слова неправильно пишет, несколько водянисто и легкое ощущение GPTизма, темпа 0.6-0.75, все остальное по умолчанию, немного подергал за настройки пенальти повторений, но сильно не перекручивал чтобы не усугублять искажение слов, не то чтобы вышло хорошо.
Тут, к сожалению, уже проблема оригинального Квена, у него оооочень много ГПТизма, тоже с товарищами кровь из глаз от этого... Я буду пробовать составлять отдельный датасет креативного живого письма, дабы исправлять эту проблему в будущем. К сожалению, пока твиками параметров семплеров этого не исправить особо.
Было бы здорово добавить пример игровой сессии, потому что у меня модель просто вываливала простыни текста, включая мои действия как игрока (использовал карточку гейм мастера отсюда, если что). Никаких попыток предложить бросить кубик и т.п. Не очень понятно, то ли это я делаю что-то не так, то ли проблема в настройках, коих масса. Мне больше интересна способность модели вести игровую сессию, чем собственно правила.
Было бы здорово добавить пример игровой сессии, потому что у меня модель просто вываливала простыни текста, включая мои действия как игрока. Никаких попыток предложить бросить кубик и т.п. Не очень понятно, то ли это я делаю что-то не так, то ли проблема в настройках, коих масса. Мне больше интересна способность модели вести игровую сессию, чем собственно правила.
Броски, к сожалению больная тема... Пока это самая главная проблема, модель даже после специального дообучения на датасете бросков отказывается сама предлагать игроку проверить навык/атрибут на успех. Приходится брать инициативу в свои руки. Пока разбираюсь, что с этим можно сделать.
Да даже без бросков было б интересно почитать лог одной сессии, чтобы прочувствовать, собственно, эффект дообучения по сравнению с базовой моделью, которой дали небольшой промпт для ролеплея...
Да даже без бросков было б интересно почитать лог одной сессии, чтобы прочувствовать, собственно, эффект дообучения по сравнению с базовой моделью, которой дали небольшой промпт для ролеплея...
К сожалению, прямо сюда закинуть файлик jsonl фейс не даёт, и прямо текстом тоже не даёт. Залью на временный файлообменник. Вот как раз недавно играл партию с ней, не до конца, но по крайней мере фрагмент: https://drive.google.com/file/d/1qFomtWlvIAGNJODZhpHgwa0oSjQNugOL/view?usp=drive_link
Спасибо! Только файл заприваченный, предлагает доступ запросить.
Спасибо! Только файл заприваченный, предлагает доступ запросить.
Прошу прощения, теперь должно пустить) https://drive.google.com/file/d/1qFomtWlvIAGNJODZhpHgwa0oSjQNugOL/view?usp=sharing