Campus n°83

Recherche/Informatique

Esprit, es-tu branché?

Reconnaître par ordinateur certaines tâches mentales très précises grâce à des électrodes placées sur le crâne, c’est possible. Il reste toutefois à diminuer la marge d’erreur

photo
Un jour peut-être, il suffira de tourner mentalement un cube sur lui-même pour ordonner à son ordinateur d’accomplir une tâche prédéfinie. De simplement imaginer que l’on écoute de la musique, alors qu’aucun son n’est perceptible, pour réaliser une deuxième opération. D’effectuer un calcul mental élémentaire pour une troisième et, pourquoi pas, de penser que l’on agite sa main en signe d’au revoir pour éteindre l’appareil. Et tout cela sans bouger un doigt. Commander un ordinateur par la force de l’esprit, sans passer par un clavier ou une souris: l’idée séduit un nombre croissant de chercheurs de par le monde. Parmi eux, ceux du Laboratoire de vision par ordinateur et multimédias (CVML, pour Computer Vision and Multimedia Laboratory) dirigé par Thierry Pun, professeur au Centre universitaire d’informatique. Un de ses étudiants, Douglas Rofes, a consacré son diplôme à ce thème, ce qui lui a valu de recevoir cet été le Prix Arditi en informatique. C’est également le sujet de la thèse que Julien Kronegg, assistant au sein du CVML, a défendue en septembre. Ses résultats prometteurs – parfois meilleurs que l’état de l’art – pourraient permettre de réaliser des applications telles que le contrôle mental de la mobilité d’une prothèse de bras ou de jambe, la conception de claviers d’ordinateur virtuels pour personnes handicapées ou encore de nouvelles générations de jeux vidéo.

Une myriade de signaux

Plus précisément, Julien Kronegg a étudié, afin de l’optimiser, l’interface entre le cerveau et la machine. Autrement dit, un électroencéphalographe (EEG) sous la forme d’un bonnet muni de 64 électrodes reliées par des fils à un boîtier de contrôle, lui-même connecté à un ordinateur. Ce dispositif produit une myriade de signaux électriques témoignant de l’activité des différentes régions et des couches plus ou moins profondes du cerveau. Le défi est d’extraire de cette cacophonie des éléments utilisables – en fait la signature de pensées précises produites consciemment par l’expérimentateur –, permettant à terme d’envoyer des consignes à un ordinateur.

«Le cerveau est un organe qui fonctionne de manière massivement parallèle, explique Julien Kronegg. Il n’est donc pas aisé de faire le tri entre la foule de tâches qu’il parvient à produire en même temps et qui se traduit par un bruit de fond en apparence inintelligible. En plus, si l’utilisateur serre involontairement les dents, le signal que nous enregistrons subit des perturbations importantes. Idem avec le clignement des yeux, la trop grande proximité d’une ligne électrique et même la déglutition. En gros, notre travail consiste surtout à traiter un signal très brouillé afin d’en extraire des éléments utiles.»

Pour les besoins de sa thèse, le chercheur a choisi quatre tâches mentales censées activer des régions du cerveau assez différentes pour être «facilement» discernables entre elles. Ainsi, en principe, tourner un dé par la pensée active des aires postérieures; écouter de la musique allume des aires latérales; effectuer un calcul mental fait appel à une aire frontale à gauche et agiter la main réveille une zone plutôt centrale à droite. «Ce sont en quelque sorte les quatre lettres d’un alphabet qui me permet de communiquer avec la machine», précise-t-il.

Après s’être enduit la tête d’un gel facilitant le contact avec les électrodes, l’expérimentateur coiffe le bonnet, branche les électrodes et se met à penser. Le but est d’effectuer mentalement les tâches décrites plus haut et de mesurer les capacités de l’ordinateur à en reconnaître la signature sur l’enregistrement de l’EEG. L’originalité du travail de Julien Kronegg réside dans le type d’analyse du signal qu’il a mis au point, prenant notamment en compte les paramètres d’espace, de temps et de fréquence propres à l’activité électrique produite par les neurones. L’algorithme d’identification complexe qui a été mis au point a bénéficié des connaissances en neurophysiologie de chercheurs des Hôpitaux universitaires de Genève ayant une longue expérience des EEG.

En se bornant dans un premier temps à deux tâches mentales, la performance de reconnaissance de l’ordinateur dépasse les 90%. «Mais tout dépend des tâches que nous avons choisies, précise Julien Kronegg. S’il faut distinguer entre le calcul mental et l’évocation auditive, le résultat atteint les 92% (le hasard donne 50%). Mais entre le cube tournant et l’évocation auditive, nous tombons à 80%.» Par la suite, plus le nombre de tâches possibles augmente, plus la performance de l’ordinateur diminue (85% pour trois tâches et 70% pour quatre, le hasard donnant respectivement 33% et 25%).

Pour Julien Kronegg, ces valeurs sont à la fois positives et insatisfaisantes. D’un côté, elles atteignent les meilleurs scores publiés dans la presse scientifique, tout en diminuant significativement leur variabilité. De l’autre, le jeune chercheur estime qu’il sera probablement impossible d’effacer totalement le bruit de fond généré par le cerveau lui-même. Il faudra trouver d’autres moyens, comme un système de rétroaction qui permettrait de valider dans un deuxième temps la pensée transmise à l’ordinateur. Pour l’instant, ces résultats ne suffisent pas pour développer une application telle que l’imaginerait le grand public. «Imaginez, suggère Julien Kronegg, que vous pilotez par la pensée une voiture pour la faire aller à gauche et à droite et qu’elle se trompe de direction une fois sur dix.»

Anton Vos

Détecteur d’émotions

> Au lieu d’une tâche mentale (lire ci-contre), ce sont les émotions que Guillaume Chanel, assistant au Laboratoire de vision par ordinateur et multimédias (CVML), cherche à identifier à l’aide de l’électroencéphalographe (EEG). Tâche ardue ne serait-ce que par la difficulté de définir une émotion rien qu’avec des mots.

> Grâce à une collaboration avec le Centre interfacultaire en sciences affectives, Guillaume Chanel a catalogué les émotions selon trois types: «excité et négatif» (peur, colère, haine, dégoût…), «excité et positif» (joie, bonheur, espoir, fierté…) et «neutre» (absence d’émotions).

> L’EEG a enregistré l’activité du cerveau de volontaires auxquels il a été demandé d’évoquer des situations représentant les trois états émotionnels. L’algorithme développé par le chercheur tente alors de reconnaître sur ces enregistrements les émotions selon différentes méthodes d’analyse du signal. Pour l’instant, la performance atteint les 67% de réussite (le hasard donnerait 33%). En restreignant l’expérience à seulement deux types d’émotions (calme et excité) les résultats atteignent les 80%.

> Le seul EEG ne suffira probablement pas pour déterminer à coup sûr l’émotion d’une personne. Les chercheurs tentent donc de combiner cette technique avec la mesure d’autres signes physiologiques tels que la sueur, les battements du coeur, l’expression faciale ou encore la posture.

> Parmi les applications potentielles d’un «émotiomètre », outre l’étude des émotions elles-mêmes, on peut imaginer la conception d’un outil de soutien à l’interface homme-machine, capable par exemple de détecter le moment où une personne commence à paniquer devant son écran d’ordinateur. La détection d’états émotionnels critiques pour des personnes fragilisées peut aussi intéresser la médecine.

> Les méthodes de traitement de signal exploitées dans ces interfaces neuronales peuvent également être utilisées à d’autres fins. Le CVML travaille actuellement sur l’identification biométrique des personnes et sur le diagnostic de la maladie d’Alzheimer, en collaboration avec le Département de psychiatrie des Hôpitaux universitaires de Genève. A.Vs