Lors de la XebiCon’19, Sergio Dos Santos et Guillaume Albini, Consultants chez Publicis Sapient Engineering ont présenté la conférence « Spark On K8S with S3 How we made it work! ».
Spark, couplé à des solutions de type Object Storage, offre désormais la possibilité d’exécuter des traitements sur un Kubernetes managé sans passer par une distribution lourde à mettre en oeuvre.
Ce talk vous présentera les méthodes que l’on a expérimentées pour y parvenir et vous présentera les pièges à éviter mais surtout les solutions qui ont fonctionné dans notre cas.
On vous présentera :
– les possibilités pour déclencher un job (opérateurs Kubernetes, spark-submit, etc.)
– les ressources Kubernetes générées par Spark
– les paramètres utiles à l’exécution des Jobs
– la configuration de la connexion avec l’object storage
– une méthode pour suivre l’exécution de ses Jobs
Voici la vidéo :
Toutes les autres vidéos de la XebiCon sont disponibles sur le site de la XebiCon.