En bref
- La mission porte sur le traitement distribué des données avec Apache Spark et PySpark.
- Les formations s’adressent aux data engineers, data analysts et développeurs Python travaillant sur des volumes importants.
- Le programme couvre les DataFrames, les traitements distribués, les formats de stockage et l’optimisation.
- Les interventions peuvent se tenir en présentiel dans la Région Oriental ou à distance.
- FormaGroup recrute des formateurs et formatrices pour animer cette formation.
Villes concernées
OujdaNadorBerkaneTaourirt
Votre rôle chez FormaGroup
Cette mission consiste à accompagner des data engineers, data analysts et développeurs Python dans la prise en main de Spark et de son interface PySpark. Les sessions peuvent être organisées en présentiel dans la Région Oriental, notamment à Oujda, Nador, Berkane ou Taourirt, ou à distance.
Missions confiées
- 1Présenter l’architecture d’Apache Spark et son environnement d’exécution afin d’aider les participants à comprendre comment les traitements distribués sont organisés.
- 2Guider les apprenants dans la création et la manipulation de DataFrames PySpark, des opérations courantes jusqu’aux transformations distribuées réutilisables.
- 3Encadrer des exercices de chargement et d’écriture de données dans des formats courants, en explicitant les choix de partitionnement et de stockage.
- 4Faire pratiquer les transformations, agrégations et jointures sur des volumes importants, en reliant les manipulations aux besoins d’analyse et d’ingénierie des données.
- 5Apprendre aux participants à diagnostiquer les performances et à optimiser les transformations et les jointures à partir de cas concrets.
- 6Accompagner la réalisation d’un pipeline de traitement de bout en bout intégrant Spark, depuis la lecture des données jusqu’à la production des résultats.
Programme de formation à animer
Une maîtrise pédagogique des thèmes suivants est attendue :
Module 1Architecture Spark et environnement d’exécution
Module 2DataFrames et opérations PySpark
Module 3Chargement et écriture de données
Module 4Transformations, agrégations et jointures
Module 5Partitionnement et formats de données
Module 6Optimisation et diagnostic de performance
Module 7Pipeline de traitement de bout en bout
Objectifs pédagogiques
Voir le programme complet de la formation →- Manipuler des DataFrames avec PySpark
- Construire des traitements distribués et réutilisables
- Lire et écrire des données dans des formats courants
- Optimiser les transformations et les jointures
- Intégrer Spark dans un pipeline de données
Public à former
La formation s’adresse aux data engineers, data analysts et développeurs Python qui travaillent sur des volumes de données importants. Les participants souhaitent manipuler des DataFrames, construire des traitements distribués et intégrer Spark dans un pipeline de données.
Approche pédagogique attendue
- Alterner les explications sur l’architecture Spark avec des démonstrations guidées de manipulations de DataFrames en PySpark.
- Proposer des exercices pratiques de lecture, d’écriture, de transformation, d’agrégation et de jointure sur des données représentatives.
- Faire comparer plusieurs stratégies de partitionnement et de traitement afin d’illustrer leurs effets sur les performances.
- Guider les participants dans le diagnostic d’un traitement et la mise en œuvre d’optimisations adaptées.
- Faire construire un pipeline de bout en bout et vérifier les acquis au fil des exercices et des échanges.
Profil recherché
- Vous maîtrisez Apache Spark et PySpark et pouvez expliquer clairement l’architecture Spark, les DataFrames et les principales opérations distribuées.
- Vous savez enseigner le chargement, l’écriture et le traitement de données, y compris les transformations, agrégations, jointures, formats et stratégies de partitionnement.
- Vous êtes en mesure de présenter des méthodes de diagnostic et d’optimisation des performances, puis de les faire appliquer sur des exercices.
- Vous avez une expérience de la formation d’adultes et savez adapter vos explications aux besoins de data engineers, data analysts et développeurs Python.
Atouts appréciés
- Une pratique de la construction de pipelines de données avec Spark vous permettra d’illustrer les apprentissages par des situations proches des usages professionnels.
- La capacité à intervenir auprès de groupes aux niveaux et aux métiers variés sera appréciée pour ajuster le rythme et les exemples.
Disponibilité et mobilité
Disponibilité
Disponibilité à convenir avec FormaGroup selon les sessions de formation.
Mobilité
Interventions possibles en présentiel dans la Région Oriental, notamment à Oujda, Nador, Berkane et Taourirt, ou à distance.
Compétences clés
Apache SparkDéveloppement PySparkManipulation de DataFramesTransformations distribuéesAgrégations et jointuresFormats et partitionnementOptimisation des performancesConception de pipelines
Mots-clés de l’offre
#Traitement distribué#Apache Spark#PySpark#DataFrames#Jointures distribuées#Partitionnement des données#Optimisation Spark#Pipeline de données
Critères de l’annonce
- Secteur d’activité
- Informatique et données
- Région
- Oriental
- Travail à distance
- Hybride possible
- Type de contrat
- Mission indépendante (freelance)
- Disponibilité
- Immédiate
- Niveau d’expérience
- Expérience entre 2 ans et 5 ans - Expérience entre 5 ans et 10 ans - Expérience > 10 ans
- Niveau d’étude
- Bac+3 - Bac+5 et plus
- Langues
- Français
Vous souhaitez transmettre votre expertise du traitement distribué des données et accompagner des professionnels dans la pratique de Spark et PySpark ? FormaGroup vous invite à proposer votre candidature pour cette mission dans la Région Oriental.
Postuler maintenant