Tout Xebia France a fini de déménager pour arriver au 94 Avenue Gambetta Paris 20ème. Notre goût pour le partage de connaissance n’est pas resté dans les cartons ! Le meetup Paris Apache Beam nous a fait l’honneur d’être le premier meetup que nous accueillions en tant que Publicis Sapient Engineering dans nos nouveaux locaux.
Et Beam ! Une intro
Apache Beam est un modèle de programmation qui a pour but d’unifier l’écriture de jobs batch et d’applications temps réelle. C’est une implémentation open source du modèle derrière Dataflow, produit de GCP. Ce n’est ni un framework ni un langage, mais il permet au contraire, de faire le lien entre les deux. Soyons fous ! À force de contributions, on pourrait imaginer dans un futur proche faire tourner sur Apache Spark comme sur Apache Flink un job ETL écrit en Go. Ce principe s’appelle la portabilité et ce meetup y était consacré.
Zoom sur la portabilité
Le premier talk est donné par Abbass Marouni, Team lead chez Talend. Il nous a exposé comment Talend adresse plusieurs problématiques posées par leur outil : Big Data Studio. La variété des formats de données, la vitesse d’évolution des produits Big Data et le temps d’itération projet étaient de vrais challenges. La création de Pipeline Designer, un outil similaire mais qui s’appuie cette fois sur Apache Beam, permet de répondre à une partie d’entres elles. Après une explication sur la façon dont la portabilité aide dans le cas de ce produit nous avons eu droit à une démo.
C’est ensuite Ismaël Mejia, ingénieur chez Talend, qui a pris du recul sur l’objectif de Beam et la vision pour le futur de la portabilité. Après un zoom sur le concept de Runner il est aussi revenu sur la manière dont gRPC est utilisé pour se rapprocher de quelque chose agnostique aux langages.
Dans le dernier talk Kyle Weaver a concrétisé ce qui s’est dit avant avec un exemple : celui du Runner Spark. Il a expliqué que même si les transformations au sein de Beam sont très nombreuses, elles peuvent se décomposer comme une suite de primitives au nombre réduit. On a ensuite listé ensemble quelques transformations Spark et donné leurs équivalents dans ces primitives. De quoi nous donner un petit aperçu de ce qu’il faut pour implémenter le runner de sa plate-forme favorite.
