Data Engineer Senior F/H chez RYDGE CONSEIL
Description du poste MISSION :Sous la responsabilité du Responsable Data Engineering, le Data Engineer est responsable de la conception, du développement, de l’optimisation et de l’intégration des pipelines de données nécessaires à l’analyse décisionnelle. Vous jouerez un rôle clé dans la mise en place de solutions pour transformer, nettoyer et valider les données, tout en assurant leur qualité tout au long de leur cycle de vie. Vous collaborerez étroitement avec les équipes de Data Science, les analystes et les autres ingénieurs pour garantir la fluidité du flux de données dans l’entreprise.RESPONSABILITÉS :1. Développement de Solutions d’Analyse et Décisionnel :Concevoir et développer des pipelines de données pour transformer et préparer les données en vue de l’analyse et de la prise de décision.Mettre en œuvre des modèles de données et des structures de base de données adaptées pour l’analyse et le reporting, tout en veillant à leur performance et scalabilité.Assurer la qualité et l’intégrité des données tout au long du processus, depuis leur collecte jusqu’à leur transformation en informations exploitables.Mettre en place des processus de nettoyage, de validation et de vérification des données pour garantir leur fiabilité.2. Collaboration Inter-équipes :Collaborer avec les Data Scientists, Analystes de données et Ingénieurs pour comprendre leurs besoins spécifiques en matière de données et fournir des solutions adaptées.Travailler en étroite collaboration avec les équipes de développement pour intégrer les solutions d’analyse dans les produits et services de l’entreprise.Documenter les processus de transformation des données, les modèles de données et les pipelines afin de garantir une bonne traçabilité et une gestion transparente des flux de données.Fournir un support continu aux utilisateurs finaux sur l’utilisation des outils de data analytics et des rapports générés.3. Technologies et Amélioration Continue :Utiliser et maintenir des outils et technologies de transformation de données, tels que dbt, Apache Spark, et autres outils modernes d’ingénierie des données.Mettre en place des processus d’automatisation des pipelines CI/CD en utilisant des outils comme GitHub Actions, GitLab CI/CD afin de garantir une intégration continue efficace.Identifier et proposer des opportunités d’optimisation dans le traitement et l’analyse des données pour améliorer l’efficacité et les performances des solutions BI.Participer activement à des projets d’innovation et d’amélioration continue pour faire évoluer les capacités d’analyse de l’entreprise.