Data engineer

Dans le cadre du développement de ses systèmes d'information Épargne Salariale et Retraite,

les Bénéficiaires doivent recourir à une prestation externe pour fournir assistance à la

modernisation de la plateforme BI.

1. OBJET DE LA PRESTATION

Dans le cadre du projet de modernisation de la plateforme BI, la prestation consistera à mettre

en place des solutions répondant aux besoins couverts par l?existant et permettant de proposer

de nouveaux services. Cette solution devra utiliser les outils validés et mis à disposition par le

groupe.

La mission sera pilotée par l?équipe Coeur-Data au sein de la R&D Epargne salariale et retraite. Le data engineer devra intervenir en collaboration avec l?équipe de 5 personnes ainsi qu?avec les clients et les équipes transverses du client.

Exemple d?applications du domaine d?intervention :

Architecture : Définition de l?organisation du Lakehouse dans le S3

Chargement : Utilisation de pipelines spark, pyspark et python

Ordonnancement : Dagster

Restitution : Mise à disposition de la donnée brut + création de rapports sur un outil de dataviz

à définir sur la base du LakeHouse

L?objectif principal de la prestation sera la mise à disposition de data structurées à

destination de l?équipe marketing . Dans ce cadre, il conviendra de réaliser :

• Le développement d?une solution de collecte de données

• Le développement d?un système de stockage de la donnée

• La documentation des développements

• La réalisation de tests unitaires

• La mise en place d?un suivi des traitements

• L?assistance à la recette par la MOA / les utilisateurs

• Des comptes rendus aux pilotes sur l?avancement du projet et les blocages rencontrés

• Des études avec les équipes transverses du client

2. ENVIRONNEMENT FONCTIONNEL DE LA PRESTATION

La prestation se déroulera au sein du service IT en charge de la Maintenance applicative

3. ENVIRONNEMENT TECHNIQUE DE LA PRESTATION

• Langages de programmation : Python, Spark, Pyspark, SQL

• Outil de gestion de version : Git

• Intégration continue : JENKINS

• Ticketing : JIRA

• Documentation : Confluence

• Poste de travail Windows 10 avec WSL (Windows Subsystem for Linux)

• Outils de la plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19

• Outils de la plateforme cible : Dagster, Trino, S3

4. RESULTATS ATTENDUS / LIVRABLES

• Respect du planning détaillé validé

• Estimation des charges MOE

• Mise en ?uvre des solutions développées

• Programme testé et prêt à la recette par les utilisateurs / MOA

• Tests unitaires des développements effectués

• Suivi d?avancement des tâches du projet en cours

• Documentation technique

• Amélioration continue des processus de développements

5. PRE-REQUIS ET/OU ELEMENTS INDISPENSABLES

• Python, Spark appliqué à la data

• Machine learning appliqué à la donnée (scikit-learn, feature engineering)

• Relationnel pour les échanges avec le métier

• Outils Informatica

• Outils LLM/GenAI pour l'accès et l'exploration de la donnée

Profil candidat:
Nous recherchons un expert en gestion de données, si possible sur Dagster mais sinon sur Airflow. Une bonne connaissance de python, pyspark est essentielle.