Parcours
Le formateur a participé à la mise en place de mécanismes d’évaluation pour une solution RAG d’analyse documentaire et à l’industrialisation de solutions IA avec des outils d’observabilité. Son expérience associe l’analyse de la qualité des réponses, le suivi des exécutions et l’identification des limites d’un système fondé sur des modèles de langage.
Cette formation s’adresse aux équipes IA qui ne veulent pas se limiter à une démonstration fonctionnelle. Elle aborde les notions de jeux de tests, de critères d’évaluation, de pertinence de la récupération, de fidélité des réponses et de traçabilité des chaînes d’exécution.
L’intervenant propose un parcours concret : définition du cas d’usage, sélection de requêtes représentatives, construction d’un protocole de tests, lecture des traces et analyse des résultats. Les participants repartent avec une démarche pour prioriser les améliorations d’une application LLM ou RAG.
Domaines d’expertise
- Évaluation d’applications LLM
- Évaluation de systèmes RAG
- Faithfulness
- Pertinence de la récupération
- Ragas
- LangSmith
- Langfuse
- Observabilité des workflows IA
Certifications et références
- Databricks Generative AI Engineer – Associate
- IBM Big Data Engineer Certificate Explorer
Approche pédagogique
- 1Définir les risques et attentes de qualité du cas d’usage
- 2Constituer un échantillon de requêtes représentatives
- 3Choisir les critères d’évaluation adaptés
- 4Collecter traces, réponses et éléments de contexte
- 5Analyser les écarts et identifier leurs causes possibles
- 6Formaliser un plan d’amélioration et de suivi
Publics accompagnés
- Ingénieurs IA
- Data scientists
- Développeurs
- Architectes logiciels
- Responsables de produits IA
Secteurs d’intervention
Ses 9 formations
Formation évaluation et observabilité des applications LLM
Mettre en place des critères de qualité et une observabilité utile pour faire progresser les applications fondées sur les LLM.
Formation NLP et traitement automatique du langage avec PyTorch
Transformer des données textuelles en modèles exploitables, de l’exploration des corpus à l’évaluation des prédictions.
Formation deep learning et vision par ordinateur avec PyTorch
Développer une démarche de vision par ordinateur, de la préparation des données à l’évaluation d’un modèle de détection.
Formation IA agentique pour développeurs à Casablanca
Apprendre à concevoir des agents IA qui raisonnent, appellent des outils et exécutent des workflows métier contrôlés.
Formation RAG et LangChain pour équipes IA à Casablanca
Concevoir des applications RAG capables d’exploiter des documents métier avec des réponses plus pertinentes et traçables.
Formation Docker et déploiement d’applications IA pour DevOps
Un accompagnement pratique pour conteneuriser, déployer et observer des applications data et IA.
Formation Python pour l’analyse de données en entreprise
Des bases Python aux analyses exploitables, avec une approche structurée de préparation et de visualisation des données.
Formation machine learning avec Python pour équipes data
Une formation appliquée au cycle complet de création et d’évaluation de modèles de machine learning avec Python.
Formation Azure AI et IA générative pour équipes techniques
Un formateur orienté projets pour concevoir des assistants, systèmes RAG et solutions d’IA générative industrialisables.
Ce formateur correspond à votre projet ? FormaGroup vous met en relation et organise la formation : programme, dates, lieu ou classe virtuelle.
Contacter le formateur