Formateur·rice en traitement distribué avec Apache Spark et PySpark — Région Tanger Tétouan Al Hoceïma

Villes concernées

Votre rôle chez FormaGroup

Vous accompagnerez des data engineers, des data analysts et des développeurs Python dans la prise en main de Spark pour traiter des volumes importants de données. La mission consiste à transmettre des méthodes applicables aux projets de données, de la manipulation des DataFrames à la construction et à l’optimisation de pipelines.

Missions confiées

1. 1Présenter l’architecture Spark et son environnement d’exécution afin d’expliquer comment les traitements sont distribués.
2. 2Guider les participants dans la manipulation de DataFrames avec PySpark, notamment pour réaliser des transformations, des agrégations et des jointures.
3. 3Faire pratiquer le chargement et l’écriture de données dans des formats courants, en abordant le partitionnement et les choix de stockage.
4. 4Encadrer la construction de traitements distribués réutilisables et de pipelines de traitement de bout en bout.
5. 5Apprendre aux participants à diagnostiquer les performances et à optimiser les transformations et les jointures.
6. 6Animer les sessions pour des entreprises et des particuliers dans la région, en présentiel ou à distance.

Programme de formation à animer

Une maîtrise pédagogique des thèmes suivants est attendue :

Public à former

Approche pédagogique attendue

• Alterner les explications sur l’architecture Spark avec des exercices guidés de manipulation de DataFrames sous PySpark.
• Faire construire aux participants un pipeline de bout en bout intégrant chargement, transformations et écriture de données.
• Proposer des cas pratiques de jointures, d’agrégations et de partitionnement à partir de besoins de traitement analytique.
• Faire diagnostiquer les performances des traitements et mettre en pratique des pistes d’optimisation.
• Vérifier l’acquisition des savoir-faire par des exercices appliqués aux objectifs de la formation.

Profil recherché

• Vous maîtrisez Apache Spark et PySpark, notamment les DataFrames, les transformations distribuées, les agrégations et les jointures.
• Vous savez expliquer les formats de données, le partitionnement, le chargement et l’écriture de données dans un contexte de traitement analytique.
• Vous êtes en mesure de concevoir et d’enseigner l’optimisation des traitements, le diagnostic de performance et l’intégration de Spark dans un pipeline.
• Vous avez une expérience de la formation d’adultes et savez rendre des notions techniques accessibles à des professionnels.

Atouts appréciés

• Une pratique de projets mobilisant d’importants volumes de données vous aidera à illustrer les choix d’architecture et de traitement par des situations concrètes.
• La capacité à adapter les exercices à des data engineers, des data analysts et des développeurs Python sera appréciée.

Disponibilité et mobilité

Compétences clés

Mots-clés de l’offre