Formateur en évaluation, sécurité et observabilité LLM — Région Casablanca Settat

Villes concernées

Votre rôle chez FormaGroup

Cette mission consiste à transmettre des méthodes concrètes pour tester, sécuriser et suivre des applications utilisant des modèles de langage. Les interventions peuvent être proposées en présentiel ou à distance, auprès d’entreprises et de particuliers dans la région, notamment à Casablanca, El Jadida, Mohammedia et Settat.

Missions confiées

1. 1Animer le module consacré aux risques et modes de défaillance des applications LLM, en reliant les notions aux situations rencontrées lors de leur conception et de leur exploitation.
2. 2Accompagner les participants dans la conception de jeux de tests et de jeux de référence représentatifs, puis dans l’évaluation de la pertinence, de la fidélité et de la robustesse des réponses.
3. 3Faire pratiquer l’évaluation des systèmes RAG et aider les participants à identifier les limites des réponses produites par ces systèmes.
4. 4Encadrer des exercices de détection des injections de prompt, de filtrage des entrées, de protection des données et de contrôle des sorties.
5. 5Présenter les principes de traçage et d’observabilité, puis guider la mise en place de traces et d’indicateurs d’usage ainsi que le suivi des versions.
6. 6Faire élaborer un plan de mise en production et une procédure d’incident, en intégrant la documentation des limites et des contrôles à effectuer.

Programme de formation à animer

Une maîtrise pédagogique des thèmes suivants est attendue :

Public à former

Approche pédagogique attendue

• Faire concevoir aux participants un jeu de tests représentatif et un jeu de référence à partir des objectifs d’une application LLM.
• Proposer des exercices d’évaluation des réponses et des systèmes RAG selon leur pertinence, leur fidélité et leur robustesse.
• Mettre en situation les risques d’injection de prompt et de divulgation afin de travailler le filtrage des entrées et le contrôle des sorties.
• Guider la création de traces et d’indicateurs d’usage, puis leur articulation avec le suivi des versions.
• Faire produire des éléments directement réutilisables, tels que la documentation des limites, un plan de mise en production et une procédure d’incident.

Profil recherché

• Vous disposez d’une expertise confirmée en évaluation, sécurité et observabilité des applications LLM, en cohérence avec les sujets de la formation.
• Vous savez expliquer et enseigner la conception de jeux de tests, l’évaluation des réponses et des systèmes RAG, ainsi que les enjeux de robustesse et de fidélité.
• Vous êtes en mesure de former des adultes et d’adapter vos explications aux ingénieurs IA, développeurs d’applications LLM, responsables techniques et équipes de mise en production.
• Vous pouvez guider des exercices pratiques portant sur les injections de prompt, la protection des données, le traçage et la préparation à la mise en production.

Atouts appréciés

• Une pratique de la formation auprès de publics techniques variés vous aidera à ajuster le niveau de détail et les exemples aux besoins des participants.
• La capacité à illustrer les notions par des cas d’usage liés au déploiement et au suivi d’applications LLM constituera un atout.

Disponibilité et mobilité

Compétences clés

Mots-clés de l’offre