Contexte / Objectifs
Récupérer les données issues de sources externes
• Utiliser la puissance du Datalake
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.
Mise en œuvre de la chaîne :
o d’ingestion de données,
o de validation de données,
o de croisement de données,
o de déversement dans le datalake des données enrichies
• Développer dans le respect des règles d’architecture définies
• Développer et documenter les user stories avec l’assistance du Product Owner.
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d’exploitation
• Participer à la mise en œuvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels
Aspects Humains :
• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban.
• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail).
• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.
Contexte
Le client a lancé un projet de construction de son nouveau socle Data. Un chantier de collecte et de transformations de données est réalisé au sein de la squad DataOnDemand pour mettre à disposition des visions enrichies du marché, des tendances pour aider la prise de décisions et favoriser les initiatives sur les axes stratégiques majeurs, grâce à une meilleure autonomie dans la consommation de data. Il s’accompagne d’une nouvelle politique et d’une nouvelle organisation de gestion de la donnée pour en assurer l’intégrité, la sécurité et la qualité.
Expertises spécifiques
Connaissances techniques :
• Plateforme et environnement GCP (indispensable)
• Environnement GKE
• Développement d’API REST
• Stockage : HDFS / GCS
• Traitement: Maitrise de l’écosystème Spark / Kafka / Scala
• Planification : Airflow / Composer
• Méthodologies : Scrum, Kanban, Git
• DWH : SQL, BigQuery, BigTable
• Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
Suivez nous