1. Contexte :
La Data Platform de notre client, multinationale dans le transport maritime, a été mise en place en 2021 afin de rassembler de manière fiable, gouvernée, cataloguée et sécurisée les données internes et externes nécessaires à toutes les activités
d’analyse de données.
Cette plateforme est composée de 2 éléments :
– « Cloud Data Platform » (CDP) qui est l’entrepôt de données du groupe sur le Cloud AWS
permettant de répliquer et stocker les données brutes.
– « Cloud Datamart Platform » (CDMP) basé sur la solution Snowflake et permettant l’accès
contrôlé, la préparation et la transformation des données pour chacun des use case, que ce soit BI, Data
Science ou projets d’analyses de données.
Ces plateformes, bien que déjà opérées en production, nécessitent la mise en place d’outillages
complémentaires afin de garantir la performance opérationnelle et la coordination requise par le niveau
de service attendu par les métiers du groupe CMA-CGM.
Le focus de cette mission sera la mise en place des activités DevOps (Infra-as-code, CICD) sur la partie
CDMP (Snowflake).
2. Mission :
En collaboration avec l’architecte data, les experts Snowflake, le responsable de la plateforme ainsi que
l’équipe CICD centrale, vous définirez et mettrez en place l’outillage et la documentation (guidelines…)
permettant la meilleure gestion possible à la fois des opérations d’administration (type infra as code) et
du code de la plateforme Snowflake.
Cette gestion CICD s’appliquera à la fois à l’équipe en charge de la plateforme (admin et ingestion des flux
datalake) et aux équipes utilisatrices de la plateforme (BI, Data Science, projets, régions).
Votre expérience des outils Devops et le support de notre équipe Snowflake vous permettra d’adapter au
mieux la gestion CICD sur ce contexte.
Vous serez amenés à accompagner et guider les équipes off-shore en Inde.
3. Activités :
Contribuer à la politique de gestion de l’infra et du code sur la plateforme Snowflake
o Infra as code pour la gestion de l’administration (tables, schéma, roles, …) avec Terraform
o SQL versionning avec git, airflow et DBT à confirmer.
Documenter les guidelines et best practices, donner le support aux équipes off-shore et assurer le
suivi des pratiques.
Mettre en place l’outillage avec le support des équipes CICD centrales.
Déployer, définir précisément et participer à la migration de l’existant et accompagner les équipes.
4. Livrables :
Documents guidelines & best pratices.
Outillage complet CICD installé, configuré et documenté (dans Confluence) sur la plateforme
Exemples d’implémentations de codes pour guider les dévelopeurs
Revues des pratiques des autres équipes (off-shore et utilisateurs)
5. Compétences requises :
Très bonne maitrise et expérience de mise en place de l’outillage CICD (voir liste des outils ci-
dessous)
Connaissance de l’écosystème de la gestion de données (profil Data Engineer)
Bon niveau d’Anglais pour les échanges off-shore.
Soft skills :
o Force de proposition
o Autonome
o Dynamisme
o Fédérateur / Communiquant (serait un plus)
Connaissance des outils suivants :
o Très bonne connaissance obligatoire : Gitlab, Terraform, Jenkins, XLDeploy
o AWS
o JIRA/Confluence
o Kubernetes/Containers
Suivez nous