Simulation de réseaux de neurones bio-inspirés : vers une intelligence artificielle frugale

Résultats scientifiques Informatique

Alexandre Muzy, chargé de recherche CNRS au laboratoire Informatique, Signaux et Systèmes de Sophia-Antipolis (I3S - CNRS/Université Côte d'Azur), a réussi à simuler un réseau de neurones de taille équivalente au cerveau d’un petit singe sur un simple ordinateur de bureau. Ces travaux, publiés dans la revue Neural Computation de MIT Press, offrent de nouvelles perspectives au développement d’algorithmes d’apprentissage automatique plus économes en énergie.

Ce n’est pas nouveau, les réseaux de neurones artificiels s’inspirent du fonctionnement du cerveau humain afin de permettre à des ordinateurs d’apprendre sans avoir à les programmer. Pour autant, l’énergie nécessaire à cet apprentissage est loin d’égaler celle des performances humaines. Si notre cerveau ne consomme qu’environ 20 Watt pour accomplir des tâches aussi complexes que la mémorisation ou la résolution de problèmes, des réseaux de neurones artificiels nécessitent, quant à eux, des centres de calculs pour reconnaître des pingouins dans une image. « Certains réseaux de neurones artificiels émettent l’équivalent des émissions de CO2 de cinq voitures tout au long de leur durée de vie », précise Alexandre Muzy, chercheur en modélisation computationnelle et en simulation au laboratoire I3S. Serait-il alors possible de s’inspirer davantage des observations réalisées sur l’activité neuronale humaine pour réduire le nombre de calculs des réseaux de neurones artificiels ?

On s’est demandé avec la mathématicienne Patricia Reynaud-Bouret : comment représenter par une formule analytique l’hétérogénéité de l’activité cérébrale avec des neurones très actifs et d’autres beaucoup moins en même temps ?

C’est la question que se sont posée le chercheur et ses partenaires du projet CNRS eXplAIn1 , un projet de recherche interdisciplinaire multi-équipes (PRIME) à l’interface entre mathématiques et informatique. Les chercheurs ont mis au point et testé un nouveau type d’algorithmes bio-inspirés. Au départ, un constat : au maximum, seulement 10 % des neurones de notre néocortex cérébral sont actifs en simultané (le néocortex représente chez l’humain 80% du cerveau et consommerait 44% de son énergie). Mais surtout, lorsqu’un neurone envoie un signal électrique aux autres, la probabilité qu’un autre neurone fasse la même chose, au même moment, est très faible. « Nous avons décidé d’intégrer dans notre modèle ce principe de calculs asynchrones, plutôt que des calculs parallèles utilisés par les méthodes usuelles de simulation à grande échelle. Autrement dit, les calculs sont réalisés par un seul neurone à la fois, de façon séquentielle », explique Alexandre Muzy.

Ainsi, en quelques minutes, l’algorithme parvient à simuler 1 million de neurones et 1 milliard de synapses sur un simple ordinateur de bureau. C’est l’équivalent de la taille du cerveau d’un petit singe tel qu’un macaque ou de l’hippocampe humain, structure cérébrale impliquée dans la mémoire. Ce résultat vient concurrencer ceux d’autres algorithmes développés au sein du Human Brain Project. Pour des réseaux de neurones de taille similaire, ces autres simulateurs à grande échelle ont eu recours à 60 000 unités de calcul, contre une seule ici !

  • 1Projet PRIME CNRS associant le Laboratoire de mathématiques Jean-Alexandre Dieudonné (LJAD - CNRS/Université Côte d’Azur) et le laboratoire d'Informatique, Signaux et Systèmes de Sophia Antipolis (I3S - CNRS/Université Côte d’Azur).
Nous sommes parvenus à une simulation à l’échelle du cerveau sur un simple ordinateur de bureau avec la plus petite unité de calcul, et ce, de façon séquentielle plutôt que parallélisée.

« Nous avons montré qu’il est possible, en s’inspirant du cerveau, de simuler une activité neuronale à grande échelle avec peu de calculs », s’enthousiasme le chercheur. Ces travaux ouvrent de nouvelles perspectives au développement d’une IA bio-inspirée plus frugale. Ils s’intègrent également dans le cadre de l’institut NeuroMod (Université Côte d’Azur), dirigé par Alexandre Muzy, dont l’objectif est de promouvoir la modélisation des différents mécanismes cérébraux depuis les couches de neurones aux états cognitifs. Pour passer à la vitesse, et à l’échelle supérieure, les scientifiques se rapprochent désormais des meilleurs supercalculateurs au monde. L’enjeu : faire en sorte que leur algorithme représente des zones cérébrales à l’anatomie et à l’activité neuronale mieux détaillées, et peut-être même, l’ensemble des neurones du cerveau humain.

Publication

Cyrille Mascart, Gilles Scarella, Patricia Reynaud-Bouret, Alexandre Muzy. Scalability of large neural network simulations via activity tracking with time asynchrony and procedural connectivity. Neural computation., MIT Press, 2022, 34 (9), pp.1915-1943. 10.1101/2021.06.12.448096.

Contact

Alexandre Muzy
Chargé de recherche CNRS à l'I3S