Formateur ou formatrice en tests et observabilité des applications LLM — Région Tanger Tétouan Al Hoceïma

Villes concernées

Votre rôle chez FormaGroup

Vous aiderez des équipes techniques à mieux tester et suivre des applications fondées sur des modèles de langage. La mission s’adresse notamment aux ingénieurs IA, aux développeurs d’applications LLM, aux responsables techniques et aux équipes de mise en production. Les interventions peuvent être proposées en présentiel ou à distance.

Missions confiées

1. 1Présenter les principaux risques et modes de défaillance des applications LLM, puis amener les participants à relier ces risques à leurs cas d’usage.
2. 2Guider la conception de jeux de tests et de jeux de référence représentatifs, afin que les participants puissent mesurer la qualité des réponses de leurs applications.
3. 3Faire pratiquer l’évaluation de la pertinence, de la fidélité et de la robustesse des réponses, notamment pour les systèmes RAG.
4. 4Expliquer les risques d’injection de prompt et de divulgation de données, puis encadrer des exercices de filtrage des entrées et de contrôle des sorties.
5. 5Accompagner la mise en place de traces et d’indicateurs d’usage, ainsi que le suivi des versions en production.
6. 6Aider les participants à formaliser un plan de mise en production, à documenter les limites de leur application et à préparer une procédure de gestion d’incident.

Programme de formation à animer

Une maîtrise pédagogique des thèmes suivants est attendue :

Public à former

Approche pédagogique attendue

• Vous alternez apports structurés et exercices de conception de jeux de tests représentatifs.
• Vous encadrez des mises en pratique pour évaluer la pertinence, la fidélité et la robustesse des réponses, y compris dans des systèmes RAG.
• Vous proposez des exercices sur l’injection de prompt, le filtrage des entrées et le contrôle des sorties, en tenant compte de la protection des données.
• Vous accompagnez la création de traces et d’indicateurs ainsi que la préparation d’un plan de mise en production et d’une procédure d’incident.

Profil recherché

• Vous disposez d’une expertise confirmée en évaluation, sécurité et observabilité des applications utilisant des modèles de langage.
• Vous avez une expérience de la formation d’adultes et savez adapter vos explications à des profils techniques variés.
• Vous êtes capable d’enseigner la conception de tests, l’évaluation de systèmes RAG, la prévention des injections de prompt et la protection des données.
• Vous savez expliquer comment mettre en place des traces, suivre des indicateurs et documenter des contrôles en contexte de production.

Atouts appréciés

• Une pratique de la mise en production d’applications LLM vous permettra d’illustrer les sujets par des situations opérationnelles.
• La capacité à relier les choix de test et de suivi à une procédure concrète de contrôle ou d’incident sera appréciée.

Disponibilité et mobilité

Compétences clés

Mots-clés de l’offre