Mardi 5 avril, nous avons participé au Deep Learning Meetup #6 organisé à Telecom ParisTech, sponsorisé par Heuritech, NVIDIA et Facebook FAIR.
- Semi-supervised Learning for Multilingual Sentence Representation, Alexandre Ramé @alex_92100 et Hedi Ben-Younes @LaBegne (Heuritech)
- A short presentation of NVIDIA’s activities, Guillaume Barat @gbarat_pro (NVIDIA)
- Improving your Search Engine, Gregoire Mesnil (Phoenixia inc.)
- Yann LeCun @ylecun (NYU, Facebook AI Research)
Semi-supervised Learning for Multilingual Sentence Representation
Lors de la présentation, les speakers ont montré, entre autres, comment, grâce à un jeu de données publiques de la Commission Européenne, Heuritech a réussi à mapper plusieurs langues dans le même espace. Le jeu d’entrainement consiste en une liste de phrases en anglais avec à côté les phrases traduites dans différentes langues européennes. A partir de cela, ils ont construit une liste de couples de mots (i.e. un mot en anglais et sa traduction) avec une probabilité associée que les couples aient la même signification. Le jeu de données se trouve sur ce corpus.
A short presentation of NVIDIA’s activities
NVIDIA, nous a fait une présentation à caractère commerciale pour proposer les derniers avancements en termes de technologies GPU adaptées au Deep Learning. Guillaume Barat a mis en avant les capacités de calcul du Tesla P100 combiné avec NVLink, un canal de connexion qui permet de transmettre plusieurs dizaines de gigabytes par seconde. L’ensemble est embarqué dans une box qui s’appelle DGX-1. Pour plus de détails, il faut se rendre sur le site NVIDIA. Niveau performances, selon le speaker, entraîner un ALEXNET prend 3h au DGX-1. Alors que d’autres technologies, non spécifiées dans les slides, en prendraient 150h.
Improving your Search Engine
Phoenixia, start-up basée à Montréal, Canada, base son activité sur l’amélioration de moteurs de recherche pour les entreprise qui ne s’appellent pas Google, mais qui proposent des produits à vendre et du coup une expérience de recherche produits. C’est un bon exemple d’entreprise qui base son business sur le Deep Learning.
Yann LeCun
Venons en à la guest star du meetup, Yann LeCun. Sa réputation le précède puisque j’avais entendu que c’est « un dieu du deep learning ». Effectivement, il est quand même Director of AI, Facebook.
Son intervention a porté sur beaucoup de sujets : very deep ConvNet, memory augmented Neural Network, Recurrent Net, weakly supervised MemNN, rien que pour commencer. La caractéristique commune de tous ces algorithmes est qu’ils sont supervisés. Et même si on s’appelle Facebook et que l’on a plein de données, c’est du non-supervisé que l’on a envie de faire.
Yann à abordé l’Adversarial Learning qu’il utilise pour générer des images fausses mais qui ressemblent à la réalité. Intéressant, mais pourquoi utiliser un algorithme non-supervisé pour simuler la réalité ? Pour avoir encore plus de données pour entraîner des algorithmes supervisés : Malin ce Yann ! Il sait faire des choses sympa avec des images. Pour plus d’info, rendez-vous sur Eyescream project (rien qu’ouvrir ce site fait chauffer mon Mac au bout d’une minute). Un exemple qui m’a marquée : à partir d’une image d’un homme avec des lunettes de soleil, il soustrait une image d’un homme sans lunettes et il ajoute l’image d’une femme sans lunettes. Résultat : une femme avec lunettes ! Pas mal, ce n’est pas fait pixel par pixel évidemment. Il ne s’est pas arrêté là, il a aussi montré une application liée aux vidéos : la prédiction de deux prochains frames à partir des quatre précédents.
Conclusion
Le meetup a été bien organisé, ils ont bien géré les inscriptions et le buzz autour de l’événement. Bien sûr, Yann LeCun était là ! Bravo aux organisateurs @CharlesOllion @alex_92100 @tpinville @leonardblier @LaBegne !
Les vidéos ne sont pas encore en ligne mais normalement elles devraient apparaître sur la chaîne YouTube de Heuritech.