Data Engineer Senior H/F - Akkodis
CDI
La ligne de service Consulting & Solutions d’Akkodis France renforce ses équipes en région Île-de-France et recrute un Data Engineer Senior (H/F). Description de la mission : Dans le cadre de missions stratégiques dans le secteur de l’énergie, vous serez chargé(e) des responsabilités suivantes : -Ingestion de données à l'aide de AWS Step Functions, Glue, et Lambda. -Optimisation de l’ingestion des données via PySpark, en appliquant -des bonnes pratiques telles que le caching, le partitionnement et l'inférence de schémas. -Mise en place et gestion des politiques de qualité des données pour garantir la fiabilité des informations traitées. -Développement d'une approche modulaire, en encapsulant les environnements pour une gestion optimisée des données. -Orchestration des pipelines d’ingestion avec une maîtrise des commandes Git, notamment l’utilisation de GitHub Actions pour gérer des branches multibranches, des triggers, des if conditions, des workflows, et des jobs. -Développement des fonctionnalités de traitement des données, telles que des fonctions d’enrichissement ou de monitoring des données, ainsi que la mise en place de nouveaux logs. -Exécution de tests unitaires et d’intégration pour valider la qualité des données traitées. -Livraison de documentation technique (schémas, types de données, processus d’évolution des tables). -Validation des nouvelles versions du code, avec une maîtrise des branches Git, et idéalement de Databricks. -Surveillance et gestion de la performance des processus à travers CloudWatch.