Animer des formations en évaluation, sécurité et observabilité LLM | Région Drâa Tafilalet

Villes concernées

Votre rôle chez FormaGroup

Cette mission s’adresse à une personne capable d’accompagner des équipes techniques dans la mise en place de tests, de contrôles de sécurité et de pratiques de suivi pour des applications utilisant des modèles de langage. Les interventions peuvent se dérouler en présentiel ou à distance, auprès d’entreprises et de particuliers dans la région, notamment à Errachidia, Ouarzazate, Midelt, Tinghir ou Zagora.

Missions confiées

1. 1Présenter les risques et modes de défaillance des applications LLM, puis aider les participants à relier ces risques aux usages de leurs propres projets.
2. 2Guider la conception de jeux de tests représentatifs et de jeux de référence, afin d’évaluer la pertinence, la fidélité et la robustesse des réponses.
3. 3Animer des exercices d’évaluation des réponses et des systèmes RAG, en faisant analyser les résultats et les limites des méthodes utilisées.
4. 4Faire repérer les injections de prompt et les risques de divulgation, puis encadrer des exercices sur le filtrage des entrées, la protection des données et le contrôle des sorties.
5. 5Expliquer la mise en place du traçage, de l’observabilité et du suivi des versions pour des applications LLM en production.
6. 6Accompagner les participants dans la préparation d’un plan de mise en production et la documentation des contrôles et procédures d’incident.

Programme de formation à animer

Une maîtrise pédagogique des thèmes suivants est attendue :

Public à former

Approche pédagogique attendue

• Faites alterner apports structurés et cas pratiques portant sur les risques et défaillances d’applications LLM.
• Encadrez la création de jeux de tests et l’analyse d’exemples pour mesurer la pertinence, la fidélité et la robustesse des réponses.
• Proposez des exercices de repérage d’injections de prompt et de divulgation, ainsi que de contrôle des entrées et des sorties.
• Appuyez les séquences sur des mises en situation de traçage, de suivi des versions et de préparation d’une procédure d’incident.
• Amenez les participants à documenter les limites des applications et les contrôles retenus.

Profil recherché

• Vous disposez d’une expertise confirmée en évaluation, sécurité et observabilité des applications LLM, notamment sur les tests, les risques et le suivi en production.
• Vous avez une expérience de la formation d’adultes et savez rendre accessibles des sujets techniques à des participants aux profils variés.
• Vous êtes en mesure d’enseigner la conception de jeux de tests, l’évaluation des systèmes RAG, la prévention des injections de prompt et la protection des données.
• Vous savez expliquer le traçage, les indicateurs d’usage, le suivi des versions ainsi que la préparation d’une mise en production et d’une procédure d’incident.

Disponibilité et mobilité

Compétences clés

Mots-clés de l’offre