Data Engineer Spark Scala – Bancaire – Toulouse F/H chez CELAD

Nous recherchons un/une Data Engineer Spark Scala passionné·e pour accompagner nos équipes dans l’optimisation de la performance et la mise en place d’outils de monitoring technique et fonctionnel .

Vos missions

Au sein d’une équipe dynamique opérant en mode Agile (SCRUM), vous interviendrez sur des projets stratégiques dans le cadre du développement et de l’optimisation d’une plateforme Big Data.

Vos responsabilités incluront :
1️Optimisation des performances :

– Réduction des temps d’exécution et amélioration de l’utilisation des ressources machines.

– Traitement et distribution des données pour répondre à une volumétrie croissante.

2️Mise en place d’outils de monitoring :

– Développement et intégration d’outils de suivi technique et fonctionnel.

Vous serez garant·e de la pérennité des solutions existantes tout en participant à leur évolution.

Environnement technique

Vous évoluerez sur une architecture Big Data basée sur une plateforme Cloudera Hadoop (cluster on-premise), intégrant les technologies suivantes :

–          Spark / Scala (confirmé·e)

–          Kafka (avancé)

–          Hadoop, Hive, HBase, SolR, Kerberos

–          Librairies fonctionnelles appréciées : ZIO, MONIX, CATS

–          Outils Agile : Jira, Confluence, méthodologies Scrum et Kanban.

–          L’anglais est utilisé régulièrement dans les échanges avec l’équipe.