This model was trained using Andrej Karpathy's code on texts by the Russian poet Nikolay Nekrasov. Models of this type well represent individual poetic style.
Model was trained with size 512 and 3 layers, dropout 0.5.
There are 2 checkpoints of this model presented in the repository. One after 44 epochs with loss 0.9298, the other after 50 epochs with loss 0.9312. These metrics are in the file name.
Usage
The procedure for installing the required software is described by Karpathy, torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.
th sample.lua lm_lstm_epoch50.00_0.9312
Train data
Train data is free and inclded in this repository as input.txt file.
What for?
In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.
Publication
The texts that produced this model were used in an experiment to define poetic style.
Samples
epoch 44, loss 0.9298, temperature 0.3
Солнце и молодой невеждой,
Под небо молодой не должна -
Не верит он под головой,
И в ней под небо подобно и полна,
Под ней подводы домой,
Подавленной весь дом,
Под обольщается в ней показалась,
И в дому подзабыл он не свой не порок
И в огорченный мой день,
Но подавно воспевал.
Слышно заперлась на белой доме
И подступит они в доме поднимали,
Добрая лазурные порывой
epoch 44,_loss 0.9298,_temperature 0.6
Каков был домой на короне,
Вот и демон добрый свободы:
Под небо досталося мальчики,
На слове не спали,
А ты ей старуха не таи...
Да под ним получше любила,
Что покойника к нему не трудно волнуется,
А проснусь за коробейников,
Не ведали в том же вечера,
И насмешит и под полной братом
К такой-то сосну справлялся в семьи,
И дума уж безгласный красной,
Как в покой продавал либерал.
epoch 50.0,_loss 0.9312,_temperature 0.5
Видит живет и поймет,
Кто было солнце молодых,
Но меж тем не видал до крови,
На обороте дело покойно.
Кто ж ты может быть, наши места!
Не против больной лишь взор их волна,
Не спал в наш могила мне занималась,
Но не погляди над каждой дороги
Проводил до седоков подкосили,
Не найдет в село весь могила,
Которым пропустился с тех пор,
Когда в песенке моей поэта
Словно как подставляющих конь,
Вольготно нет весело,
Весь нас бранит дед на своем
И как достал веселье предо мной
epoch 50.0,_loss 0.9312,_temperature 0.7
Вздрогнула ты смешно души
Его сон кланяясь:
Не продавал и мужик!
Его не тронули колосья
И каратель держала странно,
Без кашка и подлецитет,
В Никиторах на гроб... Не пожалели светлый,
От барин мой труд и некрасного
Восторг ревностью тебя предела
В домах тел и светских жизни ногам.
В картину подивился. "Воспоминание
Ямщик Омарились!"-
По паратикам, бледность отвечай
И дорога тут избрал:
Как книги не часто одна всё наживал.
У ком и дышат песня облеченной.
BibTeX entry and citation info
@misc{orekhov2023identifying,
title={Identifying the style by a qualified reader on a short fragment of generated poetry},
author={Boris Orekhov},
year={2023},
eprint={2306.02771},
archivePrefix={arXiv},
primaryClass={cs.CL}
}