Réalité augmentée : nouveaux standards, nouveaux outils

Avec leurs capteurs, les téléphones portables sont devenus de puissantes plateformes de réalité augmentée. Marius Preda et son équipe GRIN de chercheurs de Télécom SudParis ont développé des technologies, récemment retenues par l’ISO (Organisation internationale de normalisation), pour la production et la transmission de contenus de réalité augmentée ; elles seront présentées le 17 septembre prochain à Télécom ParisTech à l’occasion de la Bourse aux technologies « Publishing et Multimédia » de l’Institut Mines-Télécom.

Avec le développement de leurs capacités, les smartphones et tablettes sont devenus des plateformes de visualisation 3D puissantes. L’intégration de capteurs (vidéo, photo, position, etc…) en a fait des plateformes de réalité augmentée en soi. « L’idée est de faire le pont entre monde numérique et monde physique, en permettant d’identifier dans le réel des éléments qui déclencheront une action numérique sur un smartphone ou une tablette, et d’offrir une vue combinée via les écrans. » explique Marius Preda, chercheur à Télécom SudParis et responsable du groupe « contenus graphiques » de MPEG, l’organe de standardisation des médias au sein de l’ISO. Son équipe travaille à créer des outils standardisés de production et de transmission des contenus pour la réalité augmentée, et utilisables sur les supports mobiles.

Un langage formel standardisé pour la réalité augmentée

Actuellement, la plupart des sociétés développent des applications intégrées de réalité augmentée, mais il existe une autre voie de développement : « on peut formaliser les expériences de réalité augmentée grâce à un langage standardisé qui définit l’expérience utilisateur et peut être interprété par un navigateur de la même manière que le web fonctionne aujourd’hui. »

Marius Preda et son équipe ont donc développé la technologie ARAF : un navigateur open source et son propre langage formel standardisé. « Les constructeurs de téléphones portables auront leur propre navigateur ARAF implanté et optimisé pour leurs plateformes, et les producteurs de contenus pourront créer des expériences de réalité augmentée rapidement avec des outils auteur, sans entrer dans les détails de la technique, comme aujourd’hui on peut créer un site web sans connaître html. »

Une plateforme cloud de reconnaissance d’images

En parallèle, les chercheurs ont développé une plateforme cloud de reconnaissance d’images dans une base de données. Une signature unique, spécifique à chaque image, permet de les comparer et d’y trouver des objets similaires, par exemple la tour Eiffel. Pour éviter d’avoir des faux positifs et des faux négatifs, l’élaboration de l’algorithme doit faire un compromis entre ces deux problèmes.

« Une manière consiste à identifier des points caractéristiques uniques : on reproduit le système visuel humain, qui focalise son attention sur des points de contrôle avec beaucoup de détails, précise Marius Preda. On obtient une constellation de points uniques pour un objet, dont on récupère des caractéristiques, comme par exemple l’écart entre les points, qui vont servir à comparer une image avec celles de la base de données. Nous travaillons aussi sur des cas atypiques en utilisant la détection de contour, notamment pour différencier des voitures à partir d’images de leurs feux arrière. Si les signatures sont proches, il y a beaucoup de chance pour que les images soient similaires. »

Cette technologie a notamment été utilisée par l’application GOOT, pour recommander, à partir d’une photo d’étiquette de vin, un vin similaire.

Des outils auteurs pour faciliter la création de contenus de réalité augmentée

A partir de ces technologies, les chercheurs créent des outils auteur, comme ceux développés au sein du projet européen BRIDGET. Côté utilisateurs, ils permettent par exemple de proposer à des utilisateurs un contenu interactif, personnalisé et de qualité sur un deuxième écran, pendant qu’ils regardent la télévision. Grâce à un système de signature audio, l’outil reconnaît le programme diffusé, télécharge les contenus additionnels depuis un serveur et les affiche de manière synchronisée.

Côté producteurs de contenus, il est possible d’enrichir la vidéo sur l’écran principal soit manuellement à partir du web, soit automatiquement grâce à un système de recherche visuelle : « A partir de notre très grande base de données contenant des images indexées et annotées, on essaie de voir si le contenu est similaire à celui de la base de données pour chaque trame de la vidéo, » indique le chercheur. Par exemple, si la Tour Eiffel est reconnue sur la vidéo, l’outil proposera des informations sur ce monument indexées dans la base ou extraites du web. Une deuxième phase du projet prévoit d’intégrer aussi une connexion aux réseaux sociaux.

Les cas d’usages sont nombreux (publicité personnalisée, contenus culturels interactifs…) et beaucoup restent à imaginer, c’est pourquoi les entreprises sont invitées à expérimenter la technologie et à contribuer à la base de données sur la plateforme cloud, via des API.

En savoir + sur le groupe MPEG

En savoir + sur le projet européen BRIDGET

En savoir + sur l’équipe de recherche GRIN