Data engineer Databricks H/F (CDI)

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique. Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur. Missions principales ? Être force de proposition et participer à la conception des solutions techniques avec les membres de l?équipe ? Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels ? Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc. ? Concevoir et faire évoluer les architectures de données selon l?approche Databricks Medallion Architecture (Bronze, Silver, Gold) ? Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API ? Contribuer à l?amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations Activités ? Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d?intégration et les flux métiers ? Mettre en ?uvre et orchestrer les traitements de données avec Databricks ? Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d?indexation, d?optimisation et de gouvernance ? Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d?exécution ? Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD ? Concevoir, développer et maintenir des API pour l?exposition et la consommation des données ? Mettre en place des mécanismes de Data Quality, de monitoring et d?alerting ? Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives ? Rédiger et maintenir la documentation technique des solutions mises en ?uvre ? Accompagner les équipes dans l?adoption des bonnes pratiques de Data Engineering Compétences techniques requises ? Conception et développement de pipelines de données ? Connaissance des principes d?API REST et des architectures orientées services ? Solides connaissances en modélisation de données, performance et qualité des données ? Analyse et correction d?anomalies ? Connaissance du Cloud AWS ? Maîtrise de Python, SQL, DBUtils, PySpark et Boto3 ? Maîtrise des configurations de ressources Databricks sur AWS ? Maîtrise de l?approche AI Augmented du Data Engineer Atout ? Gestion du streaming de données en temps réel