4 mai 2023 - Melina Tiphticoglou

 

Recherche

La petite musique des données de recherche

L’application SODA4LA, développée par une équipe multidisciplinaire de l’UNIGE, permet de transformer des données en sons. Appliquée à l’analyse de l’apprentissage, cette «sonification» facilite un premier traitement exploratoire.

 

 soundwave-A.jpg

DR


Nuages de points, camemberts, histogrammes: l’analyse de données passe généralement par des représentations visuelles. Et si on utilisait plutôt des sons? C’est l’objectif de l’application SODA4LA, conçue et développée par une équipe multidisciplinaire de l’unité Technologies de formation et apprentissage (Tecfa) de la Faculté de psychologie et des sciences de l’éducation (FPSE). Disponible et accessible en open source (ici), l’outil vise à appliquer la «sonification» à l’analyse de l’apprentissage. Entretien avec le professeur Éric Sanchez, instigateur du projet.

 

LeJournal: En quoi consiste la «sonification»?
Éric Sanchez: Il s’agit de transformer une donnée en son. Cela se fait déjà et depuis longtemps dans des domaines pratiques ou artistiques. Le compteur Geiger, qui code l’intensité d’une source radioactive, en est un exemple. De notre côté, nous cherchons à utiliser ce procédé pour interpréter des données. Plutôt que de représenter ces dernières de manière visuelle par des tableaux ou des graphiques, nous les convertissons en sons de manière à produire de la musique. Concrètement, cela revient à attribuer à chaque donnée une note, caractérisée par une hauteur, un volume et un timbre. Nous générons ainsi une séquence de sons qui peut être écoutée pour analyser les données.

Avez-vous un exemple?
Dans notre équipe, nous étudions comment le jeu Tamagocours que nous avons développé et qui s’apparente à un Tamagochi multijoueur – un personnage virtuel dont il faut prendre soin – permet d’apprendre les règles du droit d’auteur/trice. Nous recueillons toutes les interactions du/de la joueur/euse avec l’interface de jeu pour comprendre la manière dont il ou elle sélectionne les ressources pour nourrir le Tamagochi. Ces données sont ensuite transformées en sons: si le/la joueur/euse respecte le droit d’auteur/trice et nourrit bien son Tamagotchi, on entend une note; si il ou elle le nourrit mal, c’est une autre note. Et quand il ou elle envoie un message à un membre de son équipe, encore une autre.

C’est donc un nouveau langage à adopter?
C’est une autre façon de coder les données et il faut apprendre la sémantique de ce langage. Nous nous sommes rendu compte qu’il était important qu’elle soit en lien avec les codes musicaux. Par exemple, lorsque, au cours du jeu, les joueurs/euses s’envoient des messages, on préfère coder cette action par une note de flûte, car notre cerveau associe facilement ce timbre à la conversation. Pour la même raison, les erreurs sont souvent codées par des graves, les réussites par des aiguës.

Quels types de données peuvent être transformés en sons?
L’application SON4LA peut «sonifier» toutes les données séquentielles, c’est-à-dire toute donnée qui, à une heure d’enregistrement (timestamp), fait correspondre une description de ce qui s’est passé. L’application produit automatiquement une première séquence de sons, mais celle-ci va être difficile à interpréter. Le travail du chercheur ou de la chercheuse consiste dès lors à modifier les correspondances entre les sons et les événements pour rendre la séquence plus facile à comprendre.

De quelle façon?
Nous avons constaté qu’il existait des contraintes physiologiques importantes auxquelles veiller. Premièrement, il est essentiel de choisir des sons qui permettent d’obtenir une séquence musicale, car, dans le cas contraire, l’écoute est difficile et se révèle fatigante. Deuxièmement, notre mémoire de travail est limitée et il faut donc faire attention à ne pas coder trop d’événements (maximum cinq ou six correspondances). Enfin, comme je le disais, la sémantique utilisée est importante.

Quels résultats obtenez-vous grâce à cette méthode d’analyse?
La «sonification» est très efficace pour détecter des événements peu fréquents. Elle est également intéressante pour coder les contextes de survenue des données. Dans les jeux, cela peut être le niveau où se trouve le/la joueur/euse au moment où il ou elle fait son action. Cette information est primordiale pour comprendre le processus d’apprentissage et compliquée à représenter visuellement. A contrario, du fait que les données sont séquentielles, il ne nous est pas possible d’avoir une vue d’ensemble rassemblant l’entièreté des données. Les deux méthodes, «sonification» et visualisation, ne doivent donc pas être opposées, mais envisagées comme complémentaires. La première servant surtout dans une phase exploratoire.

L’analyse de données sonores fait-elle appel à des compétences particulières?
Certaines personnes ont des capacités plus développées que d’autres pour analyser les sons. Les personnes aveugles ou malvoyantes, par exemple, le font au quotidien. Par ailleurs, disposer de compétences musicales, savoir ce qu’est un timbre ou une hauteur de note, peut aider, mais n’est pas indispensable. Dans tous les cas, un apprentissage est nécessaire: de la même manière que l’on apprend à visualiser les données, il faut apprendre à les «sonifier».

 

 

Sonification à l'aide de SODA4LA: les données du jeu Tamagocours

Apprendre par le jeu
Avec son équipe du Laboratoire d’innovation pédagogique (LIP) au sein du Tecfa, Éric Sanchez s’intéresse aux relations entre le jeu et l’apprentissage. Le projet «Playing for learning in the museum (PLAY)» utilise le jeu – gamification ou ludicisation en français – dans le cadre de visites scolaires au musée, afin d’étudier comment il influence l’engagement des élèves dans la résolution de problèmes complexes et leur capacité à développer leurs connaissances (lire également «Apprivoiser la complexité du monde à travers le jeu»). Deux thématiques ont été sélectionnées en raison de leur complexité et des enjeux éducatifs inhérents. Il s’agit de l’alimentation humaine et de l’évolution de la relation que l’homme entretient avec la nature. À cet effet, deux jeux ont été conçus et sont actuellement proposés dans deux musées, l’Alimentarium à Vevey et le Musée de la nature à Sion. Ces derniers organisent des visites pour les élèves de 12-15 ans qui constituent les terrains d’étude des chercheurs et chercheuses du LIP.
À l’Alimentarium de Vevey, dans le cadre du jeu AL2049, les élèves doivent se nourrir et survivre à 30 pendant dix ans à l’intérieur du musée. À l’aide d’une tablette numérique, ils et elles attribuent des productions (champ de blé, élevage de porcs, restaurant…) aux salles du musée. Au fil des décisions prises, un score est tenu à jour en fonction du nombre de personnes nourries, de leur état de santé et de leur degré de satisfaction. Les élèves doivent ainsi optimiser leur système de production en se confrontant aux limites planétaires. Le sujet est ensuite débattu.
Geome est un jeu proposé au sein du Musée de la nature à Sion. Il se déroule dans les différentes salles de l’exposition permanente. Les élèves, équipé-es de tablettes numériques, interagissent avec les collections du musée (spécimens taxidermisés, objets, artefacts et muséographie) afin de s’interroger sur la place de l’humain dans la nature. En menant des enquêtes scientifiques au sein du musée, les élèves questionnent également leur rapport au savoir et développent leur esprit critique: d’où provient l’information? Est-elle valide? Comment l’interpréter?

 

Recherche