Client : Multinationale dans le transport
Au sein du département IT Data Science, nous recherchons une prestation de consultant Data Engineer avec expertise python pour participer au développement du Projet VP
Le projet VP est identifié comme projet Stratégique pour le groupe, il s’agit de construire la brique logicielle qui porte la stratégie des lignes du groupe pour optimiser globalement le P&L
Le consultant Data Engineer et expert Python aura la responsabilité des développements des SQL de préparation des données qui alimenteront cet outil et la responsabilité de développement des API pythons qui alimenteront ce logiciel en temps réel de calculs (optimisations / calculs statistiques etc..) et d’autres applications.
Le consultant travaillera au sein de l’équipe projet et devra être sur place env 3j par semaine. L’objectif étant d’accélérer au maximum la montée en connaissance et l’agilité de développement en restant à proximité directe du product owner, des experts métier, des experts data et des fournisseurs qui développeront l’applicatif.
Les principales missions du consultant en charge de la prestation seront notamment :
Gestion des Données : Concevoir, développer et maintenir des pipelines ETL robustes pour l’extraction, la transformation et le chargement des données à partir de différentes sources vers notre entrepôt de données.
Maîtrise de SQL : Utiliser de manière avancée SQL pour la manipulation et l’interrogation de grands ensembles de données, garantissant la performance et la fiabilité des requêtes.
Utilisation de DBT : Expérience approfondie avec DBT (Data Build Tool) pour organiser, documenter et exécuter des transformations de données complexes tout en maintenant un niveau élevé de qualité.
Développement d’API Python : Créer et maintenir des interfaces d’API en utilisant Python pour rendre les données accessibles aux différents systèmes internes et externes.
Collaboration : Travailler en étroite collaboration avec les équipes techniques et métier pour comprendre les besoins en données, concevoir des solutions adaptées et garantir la qualité des livrables.
Optimisation des Performances : Identifier et mettre en œuvre des améliorations pour optimiser les performances des processus de traitement de données et des requêtes.
. Livrables Attendus / Expected deliverables
Développement et documentation des data pipelines (SQL + DBT)
Développement et documentation des API Python
Rapport d’avancement hebdomadaire
Participation à l’ensemble des comité projets et sessions de travail
Organisation des sessions de travail nécessaires pour assurer la bonne intégration des
développements effectués avec les consommateurs de ces développements.
Hard Skills :
1. Maîtrise avancée de SQL, avec la capacité de concevoir des requêtes complexes et optimisées.
4.
Forte expertise attendue (min 5 ans).
2. Expérience pratique avec DBT pour la modélisation de données et les transformations.
3. Fortes compétences en développement Python pour la création d’API.
4. Maitrise du versioning GIT
5. Compréhension des principes fondamentaux de l’ingénierie de données et des architectures
de données distribuées.
6. Expérience développement analytique
Soft Skills :
– Doit pouvoir parler anglais pour se coordonner techniquement avec nos fournisseurs
indiens.
– Capacité à travailler dans un environnement Agile (utilisation JIRA), avec de bonnes compétences en communication et en travail d’équipe.
Idéalement :
– Connaissance des algorithmes d’optimisation python
Environnement Technologique :
Base de données : Snowflake / PostgreSQL DBT + GIT
API codées en Python
Suivez nous