Lead Data Engineer F/H chez SIKIA
SIKIA recrute un Lead Data Engineer H/F pour accompagner un acteur majeur du secteur du transport et de la logistique dans l’industrialisation et la performance de ses solutions data. Vous interviendrez en tant que référent technique au sein des équipes projet, avec un rôle clé dans la conception, le développement et le déploiement de pipelines de données à grande échelle.Vous participerez à la mise en place d’architectures DataOps modernes, robustes et scalables, dans un environnement Cloud Microsoft Azure et Big Data exigeant. Vous contribuerez également à la montée en compétence des équipes et à la structuration des bonnes pratiques d’ingénierie data.Votre mission consistera à concevoir et développer des pipelines distribués en Spark, à mettre en œuvre des flux d’ingestion et de transformation dans Databricks, et à orchestrer des workflows complets via Apache NiFi et Airflow. Vous serez également responsable des flux temps réel en vous appuyant sur Apache Kafka pour garantir la performance, la disponibilité et la fiabilité des chaînes de traitement.Vous interviendrez sur l’industrialisation des projets data grâce à l’automatisation des déploiements (Ansible), l’intégration CI/CD via Azure DevOps et Git, et la supervision des environnements. Vous contribuerez à la gouvernance data, à la définition des standards techniques et au maintien d’un haut niveau de qualité de code. La maîtrise de Dataiku DSS constitue un atout apprécié pour aborder les dimensions de transformation, d’orchestration et de gouvernance visuelle.Le poste requiert une solide expérience des environnements distribués, une excellente maîtrise des concepts Big Data et un sens affirmé du leadership technique. Vous collaborerez étroitement avec les équipes internes pour garantir la cohérence, la sécurité et la scalabilité des solutions mises en production.