Transférer des méthodes d’IA pour analyser des jeux de données limités d’images 3D

Distinctions Image

Maks Ovsjanikov crée des méthodes d’analyse et de comparaison de formes 3D afin de les rendre plus compréhensibles par les ordinateurs. Dans le cadre de la bourse ERC Consolidator dont il vient d’être lauréat, le chercheur au Laboratoire d’informatique de l’École polytechnique (LIX - CNRS/Institut Polytechnique de Paris) explorera comment rendre les données géométriques plus faciles à apprendre, notamment dans le cadre où la quantité de données d'entraînement étiquetées est limitée.

Les données tridimensionnelles se sont largement démultipliées ces vingt dernières années. Elles peuvent être synthétiques (conception assistée par ordinateur, jeux vidéo, effets spéciaux, etc.) ou produites à l’aide de scanners et de lasers 3D à partir d’objets réels. Leur forte augmentation va de pair avec un besoin croissant d’algorithmes à même de les traiter, les analyser et in fine, d’en extraire des informations pertinentes.

Depuis sa thèse, Maks Ovsjanikov, professeur à l’École Polytechnique, membre du LIX, se passionne pour ce type de données. Il crée des programmes informatiques permettant de comparer des formes avec précision. Ses travaux trouvent des applications allant de l’informatique graphique à l’archéologie. « Nos algorithmes ont par exemple servi à l’analyse de mandibules d’hommes préhistoriques afin d’établir une classification de leurs différentes formes », précise-t-il.

Les méthodes d'analyse de données géométriques 3D existantes se concentrent sur des modalités bien annotées à grande échelle. Ce projet ERC vise à permettre un traitement précis de données géométriques beaucoup plus riches et souvent non annotées.© Maks Ovsjanikov

Toutefois, ces cinq dernières années, les modèles mathématiques habituellement utilisés dans son domaine ont commencé à céder peu à peu leur place à des méthodes d’apprentissage profond géométrique. Celles-ci s’avèrent plus performantes, à condition d’avoir des jeux de données suffisamment importants pour entraîner les modèles. Problème : l’acquisition de données 3D et leur annotation sont particulièrement coûteuses, ce qui limite leur utilisation.

Les méthodes d’IA sont les plus performantes qui existent en analyse d’image, mais il y a peu de jeux de données suffisamment grands pour entraîner de tels algorithmes sur des images 3D d’objets réels.

Avec sa bourse ERC Consolidator VEGA, Maks Ovsjanikov a l’ambition d’y remédier en développant des méthodes d’apprentissage par transfert. « L’idée est d’entraîner des algorithmes d’apprentissage automatique sur des jeux de données de taille conséquente et d’utiliser ensuite ces modèles sur d’autres tâches », décrit le chercheur.

Si cette approche a été éprouvée et validée pour d’autres usages, tout reste à faire sur des informations géométriques. La première étape des recherches menées dans le cadre de l’ERC sera donc de déterminer s’il est possible de transférer des approches existantes d’apprentissage profond vers d’autres tâches. Autrement, Maks Ovsjanikov a déjà une stratégie d’attaque en tête : « Lorsqu’on regarde un objet en entier, il est unique. Toutefois, si on se concentre sur des petits morceaux de cet objet, on remarque qu’il est composé de motifs répétitifs. Donc, plutôt que d’utiliser des analyses sur un objet entier, il serait judicieux d’adopter des méthodes locales et d’étudier ces sous-ensembles présents au sein des formes 3D ».

Mon ERC va combler le fait que très peu d’études approfondies ont été faites sur la faisabilité du transfert de solutions d’une tâche vers une autre dans le cadre de l’analyse d’images 3D.

À terme, de nombreux domaines disposant de peu de données étiquetées pourraient bénéficier des résultats obtenus. Le chercheur collabore notamment avec des biologistes qui étudient l’évolution de la morphologie de cellules cancéreuses. Cela serait également utile afin de débruiter des données 3D obtenues par scanner. En ce sens, une des ambitions du projet de Maks Ovsjanikov est d’aboutir à une méthode universelle qui serait transposable à n’importe quel domaine. « Nous voulons comprendre dans quelle situation il est possible de transférer une solution et identifier la meilleure façon de le faire. Le projet s’inscrit ainsi dans une perspective de compréhension fondamentale », conclut-il.

Sa méthode récente, DiffusionNet, fondée sur la diffusion basée sur l'apprentissage profond est précise, robuste sous les changements d'échantillonnage et indépendante de la représentation.© Maks Ovsjanikov

Contact

Maks Ovsjanikov
Associate professor École polytechnique, member of LIX