Senior Data Engineer F/H chez RATP Dev

RATP Dev a mis en place une plateforme
Data groupe dans l’objectif d’industrialiser le déploiement de solutions data
et business et de faciliter l’adoption d’une culture Data Driven. Ces solutions
couvrent de nombreux périmètres métiers dans l’entreprise : maintenance
prédictive, analyse de la charge à bord en temps réel, suivi de la fraude,
campagnes marketing voyageurs…etc. L’ensemble de ces solutions permettent à nos
réseaux de fournir de nouveaux services à des millions de voyageurs.

L’enjeu de RATP Dev est de proposer une
plateforme Data permettant de rationaliser et harmoniser les données en
provenance de différentes filiales et générer un socle commun et suffisamment
flexible afin que les applications cibles/ utilisateurs finaux (Data Analyst,
Data Scientists) puissent les exploiter à bon escient.

RATP Dev a opté pour une solution
technique :

–       
La solution Python/Airflow/DBT
qui est en charge de l’ensemble du processus ELT, depuis l’ingestion, la transformation
jusqu’à la construction des datamarts Snowflake exploités dans Qlik et
d’autres applications.

–       
La solution AWS SQS/SNS/Snowpipe pour l’ingestion
des données en temps réel pour les données s’appuyant sur du Kafka/ API
et AWS Lambda sous Python dédié à la transformation de données.

Dans le cadre du déploiement de nouveaux cas
d’usages Opération et Maintenance, nous sommes à la recherche d’un Senior Data
Engineer et Machine Learning Engineer hybride qui jouera un rôle crucial dans
notre équipe, combinant les compétences ingénierie des données et en
MlOps pour concevoir, développer et optimiser les solutions analytiques liées
au périmètre des opérations des réseaux de transport dans un environnement basé
sur les technologies AWS.

Cette personne sera chargée de créer des
pipelines de données performantes, de développer des modèles analytiques
robustes et de les déployer en production, en utilisant principalement Python
et les services AWS.

MISSIONS

Conception et Développement de
Pipelines de Données :

·      
Concevoir et mettre en œuvre des pipelines de
données efficaces sur AWS, en utilisant des services tels que SQS,
SNS, MSK, Lambda, EventBridge, S3, MWAA (AWS Airflow).

·      
Assurer la collecte, le nettoyage, la
transformation et la préparation des données pour les rendre prêtes à être
utilisées dans les modèles analytiques.

Développement de Solutions
Analytiques :

·      
Collaborer avec les équipes d’analyse de données
pour industrialiser leurs solutions analytiques répondant aux besoins métiers.

·      
Développer et industrialiser des modèles
analytiques en utilisant des techniques d’Intelligence Artificielle et de Machine Learning (Sage