Expert NLP et transformeurs pour équipes techniques

Parcours

Le formateur est ingénieur IA et chercheur en doctorat spécialisé en deep learning, grands modèles de langage et traitement automatique du langage. Il maîtrise notamment Python, PyTorch, Hugging Face Transformers, NLTK et les principes de conception de jeux de données et d’évaluation des sorties de modèles.

Son expérience inclut la conception et l’entraînement, depuis les fondations, d’un modèle de langage de type GPT. Ce travail couvre la tokenisation, le traitement des données, l’attention causale, l’attention multi-têtes, les embeddings positionnels et une boucle d’entraînement optimisée. Il constitue une base concrète pour expliquer le fonctionnement des transformeurs au-delà de leur simple utilisation.

Le parcours pédagogique commence par les données textuelles et la tokenisation, puis aborde les représentations, le mécanisme d’attention et l’entraînement d’un petit modèle. Des ateliers permettent aux participants de lire, modifier et tester du code PyTorch, avant une discussion sur l’évaluation de la génération et la qualité des réponses produites.

Approche pédagogique

1. 1Cadrage des usages textuels visés par les participants
2. 2Introduction aux données, corpus et opérations de tokenisation
3. 3Explication visuelle des mécanismes d’attention
4. 4Lecture et expérimentation de code PyTorch
5. 5Tests de génération et analyse de la qualité des résultats
6. 6Synthèse des pratiques à poursuivre dans les projets

Publics accompagnés

• Développeurs logiciels
• Data scientists
• Ingénieurs IA
• Étudiants en informatique

Secteurs d’intervention

Ses 4 formations