Introduction

Dans le chapitre 2 nous avons étudié comment utiliser les tokenizers et les modèles pré-entraînés pour faire des prédictions. Mais que faire si vous souhaitez finetuner un modèle pré-entraîné pour votre propre jeu de données ? C’est le sujet de ce chapitre ! Vous allez apprendre à :

• savoir comment préparer un très grand jeu de données à partir du Hub,
• savoir comment utiliser l’API de haut niveau Trainer pour finetuner un modèle,
• savoir comment utiliser une boucle d’entraînement personnalisée,
• savoir comment tirer parti de la bibliothèque 🤗 Accelerate pour exécuter facilement cette boucle d’entraînement personnalisée sur n’importe quelle configuration distribuée. configuration distribuée

Afin de télécharger vos checkpoints entraînés sur le Hub Hugging Face, vous aurez besoin d’un compte huggingface.co : créer un compte