ref: M14/12
Mission au sein d’un grand groupe spécialisé dans le domaine du divertissement.
Le candidat doit avoir totalisé un minimum de 4 ans d’expérience professionnelles sur des sujets similaires,
pour que la candidature soit recevable. A défaut nous ne pourrons pas donner de suite positive.
Contexte général :
•Dans le cadre d’une très forte croissance des activités nous souhaitons renforcer nos équipes
par une expertise Data engineering Big Data. Intervention dans le cadre des projets Data
Marketing & Data Science, en support quotidien de la Data Factory afin de les accompagner dans la mise en œuvre de leurs cas d’usages.
•Plus spécifiquement, accompagné par un PO dédié à ce projet, la principale mission sera la
migration de l’ensemble des traitements de données actuellement réalisés sous Google Cloud
Platform dans notre datalake, afin de permettre aux équipes marketing de piloter les performances
de leurs campagnes digitales depuis l’outil de reporting Power BI.
L’expertise Data Engineering :
• Structuration depuis le datalake des données qui permettront in fine d’alimenter les rapports
attendus, en prenant pour référence l’ensemble des traitements qui avaient mis en place sur
l’interface Google Cloud Platform
• Collecte et structuration de la donnée dans le respect des normes et bonnes pratiques ;
contribution à la définition de ces normes et pratiques
• Garantie de la qualité des données mises à disposition et leur exploitabilité
o En réalisant une recette usine rigoureuse, avec une stratégie de tests complète
o En mettant en place les outils de monitoring adaptés pour la supervision des alimentations
• Assurer l’optimisation des chaines de traitement de donnée inter-applicatif
• Développement et mise à disposition des briques mutualisable en bibliothèque
• Collaboration avec les Data Scientists et contribuer à la mise en œuvre d’une démarche CI/CD
efficace des pipelines de traitements et des modèles développés par les Data Scientists
• Participation au design des environnements Data préconisés par le Data Architect, et déploiement
Sur le socle technologique OnPremise (Big Data Open Source)
• Datalake sur Cloudera Data Plateform (ex-HDP) : HDFS, Spark, Hive, HBase, Nifi, etc.
• Plateforme Data Science déployée via Kubernetes & Docker
Domaines d’expertise/Compétences techniques
Technique :
• Maitrise de l’environnement Hadoop (Administration / MCO / Supervision monitoring /
troubleshooting ),
• Maitrise des BDD relationnelles (Hive, Teradata serait un plus) et du SQL,
• Administration BDD NoSQL (Cassandra , Hbase et autre),
• Maitrise d’Airflow,
• Compétence sur framework Spark,
• Compétence en Python (et Scala),
• Expérience dans l’automatisation des déploiements (SALT, Ansible, …),
• Connaissance des outils d’intégration continue CI-CD / DevOps (Gitlab, etc.).
• Compétence Nifi,
• Compétence sur la stack ELK,
• Connaissance Linux,
• Connaissance de Java
• Connaissance de Kafka
Suivez nous