Une nouvelle approche pour la peinture animée assistée par ordinateur
Depuis l’Institut de recherche en informatique de Toulouse (IRIT - CNRS/INP Toulouse/Université Toulouse 3 Paul Sabatier) David Vanderhaeghe développe des solutions de synthèse d’images, notamment au service de l’animation. Ses travaux permettent de peindre, sans intervention humaine ni IA générative, des représentations de type images à partir de frames intermédiaires. D’un point de vue très pratique, cela doit notamment permettre de rendre plus accessible la longue et coûteuse technique de la peinture sur verre animée.
Maître de conférences à l’Université de Toulouse – Paul Sabatier et membre de l’IRIT ; David Vanderhaeghe travaille sur la synthèse d’images, c’est-à-dire la fabrication d’images par ordinateur. Ces dernières peuvent ensuite servir pour de la simulation physique, de l’architecture, des films ou encore des jeux vidéo. David Vanderhaeghe est plus particulièrement spécialisé dans la création d’animations stylisées avec un accompagnement informatique. Il a également travaillé sur le rendu en temps réel, la conception assistée par ordinateur (CAO) ainsi que sur des problèmes de géométrie.
« Mon cœur d’expertise reste l’animation, qu’elle soit en 2D ou 3D, assistée par ordinateur et contrôlée par les utilisateurs et utilisatrices, précise David Vanderhaeghe. Il ne s’agit ainsi pas de techniques comme l’IA générative. » Ses travaux offrent un rendu plausible pour les films d’animation, les films en 3D et les effets spéciaux. « On veut surtout que le résultat soit bien perçu par les spectateurs et spectatrices, poursuit l’enseignant-chercheur. Il n’y a pas besoin qu’il soit physiquement exact. On peut par exemple choisir une ombre forte pour souligner un regard. Nous offrons des outils aux directeurs et directrices artistiques pour mieux manipuler la lumière. »
Via le projet « Structures », financé par l’ANR, David Vanderhaeghe s’est tout particulièrement intéressé à la peinture animée. « Il y a une différence fondamentale entre la peinture et le dessin animés, souligne David Vanderhaeghe. La peinture est photographiée, puis modifiée, dans un processus linéaire, contrairement au dessin animé qui est créé à partir de storyboards et d’images clés, qui sont ensuite complétés par des images intermédiaires. Dans les grandes lignes, la peinture animée est plus lente et plus coûteuse à produire, elle reste ainsi souvent cantonnée à des courts et moyens métrages d’art et d’essai. »
Pour contourner ces problèmes, David Vanderhaeghe et son équipe ont développé un simulateur de peinture, capable de créer des images intermédiaires en ne demandant aux artistes que de décrire les mouvements nécessaires. Le style graphique est conservé. Le système fonctionne par un processus d’optimisation, qui considère l’image comme des sous-ensembles de coups de pinceau. Ces coups de pinceau, représentés comme des informations vectorielles, sont ensuite déformés pour créer une image intermédiaire. La fonction de coût à minimiser est la capacité à couvrir toute l’image avec des coups de pinceau. Un algorithme générique plus simple est également utilisé pour des approximations de ce problème d’optimisation.
Cette méthode permet de créer cinq à dix images intermédiaires générées informatiquement, pour chaque frame peinte à la main. Elle a notamment été utilisée par le studio de production d’animations « Les Affranchis », par exemple pour le court métrage « Loin ».
David Vanderhaeghe et son équipe travaillent à présent à améliorer le rendu visuel du résultat, pour qu’il convienne toujours mieux aux attentes des directeurs et directrices artistiques. Un de leur prochain challenge est de réduire la taille des images générées, pour l’instant gourmandes en ressources. Enfin, les scientifiques espèrent mieux formaliser le processus de peinture, décomposé en coups de pinceau, afin de le capturer et de le reproduire plus efficacement.