Ingénieur Performance Kafka

  • Localisation: Vitrolles
  • Métier: Ingénieur
  • Type de contrat: CDI
  • Salaire: Selon Profil
  • Type d'entreprise: Grand compte
  • Compétences: #Kafka

Description de poste

ref : 20-5 / 2020 EB – InG Perf Kafka

 

CDI – Mission en régie chez le client.

Nous recherchons unIngénieur Performance, axé Kafka, Bus, ESB, MDM

Le Prestataire étant spécialisé dans le domaine des Tests de Performance, sur un périmètre de composants d’Architecture d’échanges, en particulier les bus d’échanges tels Kafka, nginx, ZooKeeper, le Client souhaite faire appel au Prestataire pour une mission d’assistance dans le contexte suivant.

Contexte général :
La société a mis en place des solutions informatiques qui intègrent :
– Une architecture Omnicanale, ouverte, déployée On Premise, en Cloud, ou Hybride, en haute disponibilité sur plusieurs Availability Zones, locales et distantes, et à forte charge et qui fait appel à des principes tels que :
o Architecture distribuée et micro-services,
o Authentification,
o Exposition interne / externe d’API,
o Haute Disponibilité, Redondance,
o Scalabilités (horizontale, verticale), Robustesse,
o Intégrité des Données
o Cloisonnement, zoning
– Des solutions SI de plus en plus décomposées en services et composants intermédiaires, qui font appel à des solutions telles que :
o Bus d’échanges (Kafka),
o Des solutions de Messaging (ESB ou UM),
o Des solutions de Master Data Management,
o Des Protocoles Web Services SOAP, REST, XML, JMS, JMX,
o Des Format d’échanges (JSON, SWAGGER),

– Une centralisation des logs (infrastructure, systèmes, middleware, base de données, réseau, applicatifs), tel que ELK et ENK ;
– Un DataLake dans l’optique de collecter et centraliser les flux bruts des données de Logs en complément du Data WareHouse existant, afin de permettre leur analyse pour des améliorations de fonctionnement, résolution d’incident ou de problème, optimisation des configurations ou autres évolutions applicatives ;
– Des systèmes reposants principalement sur :
o Système Linux, dont KVM Redhat, Windows dont VMware,
o Red Hat Entreprise Linux , CentOS,
o Serveurs Web (type Apache, nginx),
o Plateforme d’Ordonnancement (Crtl-M) et d’échanges (ETL Informatica),
o Systèmes de Gestion de Base de Données, type :
 PostgreSQL Entreprise DB,
 MongoDB,
 Oracle,
o Outils/framework de déploiement (Kubernetes, Docker, OpenStack, Ansible),
o Systèmes de collecte et d’affichage de métriques & dashboards (Grafana, Graphite, jmxtrans, collectD, Prometheus) ;
– Ainsi que des technologies telles que :
o Framework de Développement (Spring, SpringBoot, Angular, React, Drupal CMS, Node.js),
o Langages de programmation / formats de fichiers, orientés Web (javascript, java, php, perl, python, xml, json) et de gestion de codes sources (Git, Jenkins, Bamboo)

Contexte général de la mission :
Dans ce contexte technologique, il est critique de garantir l’atteinte d’un Référentiel de Performance : cela se traduit en réalisant des campagnes de Performance et étant force de proposition d’évolution(s) qui permettrai(en)t de l’atteindre.
La société a mis en œuvre, au sein de son architecture SI, des composants d’échanges et/ou d’intégration de données et/ou de messages, tels que Kafka, ESB, Zookeeper, nginx, bus d’échanges. Dans ce cadre, des activités de tests de Performance sont nécessaires à la validation du comportement de ces composants en Production, dans un contexte de Data Center Hybride, Cloud, et d’exigences d’Omni-canalité, ce qui nécessite une expertise.
Dans ce cadre, une part importante de l’activité consiste, en amont de la Mise en Production des solutions SI délivrées par les projets, à définir et valider le Référentiel de Performance à atteindre, réaliser la conception, l’exécution, le reporting et l’analyse des résultats des campagnes de Performance, ainsi que la formalisation des anomalies, incidents et recommandations d’amélioration.
– Intervenir dans la modélisation des documents de référence, la planification et la réalisation des tests de performance sur plate-forme HP ALM ou Jmeter en accord avec les objectifs des projets Métiers et ceux de la Production ;
– Assurer le suivi et la mise en place en place de la méthodologie des tests de performance dans les projets Métiers ;
– Accompagnement à la définition des solutions et des politiques techniques de métrologie, de monitoring et de supervision des infrastructures composant le système d’information , en particulier sur l’environnement technique des Campagnes de Performance ;
– Accompagnement à déployer, configurer et maintenir les outils et applications de métrologie utilisées pour surveiller le fonctionnement des infrastructures installées dans le datacenter ;
– Maintenir à jour le patrimoine documentaire associé, en particulier, les référentiels de Performance et les Métriques atteintes en Performance, lors des campagnes, et en Production lors des journées remarquables.

Phases & Tâches
La mission consistera à la participation à la réalisation des Prestations définies ci-dessous :

• Modéliser le Référentiel de Performance Métier et de Performance Production ;
• Rédiger les Plans de tests et les formaliser dans l’outil de Tests ;
• Définir et exécuter les campagnes de performance et à la rédaction des rapports des campagnes ;
• Réaliser les analyses techniques associées aux campagnes et proposition des axes d’évolutions le cas échéant ;
• Rendre variables et paramétrables les scénarios d’injection ;
• Participer à la définition des solutions et des politiques techniques de métrologie des infrastructures composant le système d’information  ;
• Accompagner la mise en place, l’administration technique et le suivi de la métrologie pour les projets Métiers éligibles, objet de Campagnes de Performance, et de leur mise en œuvre sur les plateformes de performance et de production ;
• Accompagner la mise en place du monitoring ;
• Contribuer à l’industrialisation de la métrologie technique, système, réseau, middleware et applicative ;
• Maintenir à jour le patrimoine documentaire associé, y compris le repository ;
• Réaliser le partage et transfert de connaissances aux équipes d’exploitation ;
• Production du bilan projet.
Durant l’exécution des Prestations, le Prestataire communiquerales livrables définies ci-dessous :
 Réalisation d’un compte rendu d’activité hebdomadaire indiquant notamment l’état d’avancement des différentes activités ;
 Fourniture d’un PV de réalisation mensuel ;
 Documentations réalisées, dont la présentation globale de la solution.

Domaines d’expertise/Compétences techniques
La mission nécessite de travailler majoritairement sur HP ALM Performance Center ou autres JMeter pour définir et exécuter les campagnes de Performance. Pour la bonne compréhension des campagnes de performance et l’utilisation des scripts d’injection, il est nécessaire de comprendre le scripting / développement de type Python, C, javascript.
Les campagnes de performance seront majoritairement adressées aux composants spécifiques, tels Kafka, Hazelcast, ZooKeeper, Nginx.
Ces prestations et livrables à réaliser feront donc appel à de l’expertise sur, principalement :
– Technologies d’Interface, type :
o Transformation de protocoles (Kafka),
o Messaging (ESB, UM),
o Protocoles Web Service, SOAP, REST, XML, JMS, JMX
o Format d’échanges JSON, SWAGGER
Ces campagnes cibleront des transactions dans le contexte technologique suivant :
– Le domaine du digital et des technologies web
– Des outils Open Source
– Des architectures web distribuées et des technologies, avec :
o Principalement :
o Kafka,
o Hazelcast,
o Nginx,
o Zookeeper,
o ESB software AG (Web Methods),
o Protocoles Web Service REST,
o Entreprise DB PostgreSQL, MongoDB ;
o Ainsi que des technologies suivantes :
o des composants de type : web, php, apache, tomcat, xml, json,
o des outils de sécurité tels que Certificats, OAuth, PKI
o des outils de containerisation, tels que docker kubernates swarm
o des outils d’industrialisation, de type Ansible
– De l’ordonnancement, avec des outils de type : Nagios, Check MK ;
– Des outils de type : Graphite, Grafana, Elastic Search (ELK), des flux Nifi (ENK), et des collecteurs de type : collectd , jmxtrans, beats, logstash, flume) ;
– Du stockage de masse distribué, avec des outils de type : Hadoop big data et écosystème associé ;
– Des SGBD, parmi : PostgreSQL, Oracle, MySql, influxdb, MariaDB, MongoDB ;
– Un outil de Tests de Performance HP ALM Center / et son API : VUGen
– Des systèmes Linux, dont KVM Redhat, Windows dont VMware