 |
||||
| L’Echo des TOs #3
Quand le mobile rencontre la data |
Les Technical Officers chez Xebia font partie, aux côtés des CTOs, d’une direction technique élargie. Ils défrichent les nouvelles tendances technologiques, creusent les méthodologies associées et orientent Xebia dans la bonne direction. Lors des 2 premiers échos, nous vous parlions de Deep Learning et de Cloud Native.
Bienvenue dans ce troisième écho des TOs : quand le mobile rencontre la data.
Pour lire cet écho en musique
Duolingo, l’application populaire d’apprentissage des langues, a ajouté des cours pour l’une des plus célèbres langues fictionnelles de tous les temps : le Klingon de Star Trek (via The Verge).
L’année dernière, nous avons créé une application mobile, qui aide les enfants à apprendre les langues via la reconnaissance d’objets, en utilisant du Deep Learning. Bref, un Duolingo avec les yeux !
Oui you are right, nous parlons encore du projet Magritte <3
L’aventure du projet Magritte
Le projet Magritte a commencé lorsque Google a publié la toute première démo TensorFlow pour Android (~fin 2016). Ça a évolué au cours du temps, grâce aux mises à jour du framework et à des nouveaux modèles de machine learning (i.e. MobileNets).
La première démo que nous avions réalisée pour le talk Android Makers en avril 2017 était déjà une petite réussite. Le modèle avait été re-entraîné avec Inception-v3. Lors de l’exécution sur un device tel qu’un Nexus 5x, la reconnaissance prenait en moyenne ~3 secondes.
Fast-foward à fin octobre 2017, nous avons préparé une nouvelle démo pour DevFest Nantes. Cette fois, le modèle a été re-entraîné avec MobileNets, des modèles conçus pour être Mobile First. Et là, c’est le WOW total :
Par la suite, grâce à la release de TensorFlow Lite, et à l’apparition de différents convertisseurs pour générer des modèles CoreML, l’outillage atteint un certain niveau de maturité.
Mais pourquoi Data x Mobile ?
J’ai assisté personnellement à la présentation Android meets TensorFlow à la Google I/O 2017. Ça m’a donné des frissons, j’étais tellement excitée par les possibilités infinies de ce que l’intelligence artificielle peut apporter.
Avec la puissance du Deep Learning, le fait de faire tourner les modèles directement sur les devices permet de rendre l’application mobile beaucoup plus intelligente. Par exemple, ZocDoc a construit un Insurance Checker permettant d’extraire des informations clés de la carte d’assurance d’un patient tout simplement depuis une photo prise dans leur application mobile, grâce à un modèle TensorFlow entraîné. (source: Making Sense Of Insurance Cards Using Deep Learning).
Au-delà d’être plus « Smart », par rapport aux solutions basées sur le cloud, l’intelligence sur les devices permet aussi de résoudre les problèmes de latence, de supprimer les problèmes majeurs de confidentialité et de libérer les applications mobiles des contraintes de connectivité.
On constate que des plateformes comme DuckDuckGo et Snips ont gagné en popularité ces dernier temps et que les utilisateurs sont de plus en plus concernés par le sujet des données privées. L’enjeu est fort pour nos clients et nous avons tout intérêt à être prêts pour relever le défi !
La suite ?
Nous souhaitons publier Magritte dans les stores d’applications cette année, avec un super design UI / UX et une chaîne d’entraînement du modèle déployée sur le cloud.
Voici un récapitulatif des conférences où nous parlons de Magritte :
- Magritte @ Android Makers 2017 (slide, vidéo)
- Magritte @ Mois du Data (slide)
- Magritte @ DevFest Nantes (slide, vidéo)
- Magritte @ DroidCon Londres (slide, vidéo)
- Magritte @ XebiCon 2017 (slide, vidéo)
et sans oublier l’article sur le sujet : On-device intelligence : intégrez du deep learning sur vos smartphones
L’auteur de l’article (et vous l’avez peut-être déjà rencontrée)
Qian Jin
L’article Écho des TOs n°3 : Quand le mobile rencontre la data est apparu en premier sur Blog Xebia - Expertise Technologique & Méthodes Agiles.