Базовое использование завершено!
Отличная работа по изучению курса до этого места! Напомним, что в этой главе вы:
- Узнали об основных составляющих блоках модели Transformer.
- Узнали, из чего состоит конвейер токенизации.
- Узнали, как использовать модель Transformer на практике.
- Узнали, как использовать токенизатор для преобразования текста в тензоры, понятные модели.
- Настроили токенизатор и модель вместе, чтобы перейти от текста к прогнозам.
- Узнали об ограничениях входных идентификаторов и познакомились с масками внимания.
- Поиграли с универсальными и настраиваемыми методами токенизатора.
С этого момента вы должны свободно ориентироваться в документации 🤗 Transformers: лексикон будет звучать знакомо, и вы уже познакомились с методами, которые будете использовать чаще всего.