NLP Course documentation

Модели-декодировщики

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Модели-декодировщики

Ask a Question

Декодировщики используют только компонент декодирования трансформера. На каждом этапе для текущего слова слой внимания может получить доступ только к словам, которые были расположены до него в предложении. Такие модели часто называются авторегрессионными моделями.

Процесс предобучения декодировщиков обычно заключается в предсказании следующего слова в предложении.

Такие модели лучше всего подходят для задач, связанных с генерацией текста.

Представителями этого семейства моделей являются: