Maxim Karpushin étudie la mise en correspondance d’images RGBD

Titre de la thèse

« Caractéristiques locales pour la mise en correspondance d’images RGBD sous changements de position de la caméra »

Résumé

Au cours des dernières années l’acquisition des données 3D s’est de plus en plus démocratisée grâce à de nouvelles technologies permettant la génération massive du contenu texture+profondeur (RGBD), y compris des capteurs infra-rouges Microsoft Kinect, Intel RealSense, Google Tango, LIDAR. La disponibilité croissante de cette modalité visuelle enrichie, combinant l’information photométrique et géométrique, présente de nouvelles perspectives pour différents problèmes classiques dans le domaine de la vision, de la robotique et du multimédia. Dans cette thèse, nous considérons la recherche des correspondances visuelles locales dans les images RGBD.

Cette thèse commence par une étude de l’invariance des caractéristiques visuelles locales existantes à différentes déformations visuelles. Il est connu que les caractéristiques locales traditionnelles peuvent être robustes à différentes transformations dans le plan de caméra, mais sont très sensibles aux distorsions perspectives induites par des mouvements de la caméra. En même temps, ces déformations visuelles sont fréquemment présentes dans la majorité des applications réelles. Partant de cette observation, nous essayons d’éliminer cette vulnérabilité dans le cas des images texture+profondeur, en intégrant proprement le complément géométrique dans la détection de points clefs répétables et leur description locale.

Nous contribuons ainsi au développement de nouvelles approches d’extraction des caractéristiques qui ciblent une meilleure stabilité aux transformations tridimensionnelles par rapport aux approches existantes. Afin d’évaluer leur performance, nous avons adapté une procédure standard d’évaluation de répétabilité et de discriminabilité des caractéristiques, en prenant en compte la présence de l’information géométrique. Avec cela, nous mettons en place des applications de caractéristiques locales en utilisant des données acquises avec un capteur Kinect. Les résultats obtenus démontrent les avantages des méthodes conçues en termes de stabilité des caractéristiques aux mouvements de la caméra.