Références bibliographiques inexactes, voire inexistantes, ou citations utilisées à mauvais escient: les erreurs liées à l’usage des intelligences artificielles génératives (IAG) dans les travaux étudiants sont nombreuses. Afin d’évaluer la qualité des productions rendues, les bibliothécaires du site Uni CMU ont procédé, au printemps dernier, à la demande d’enseignant-es en bachelor de la Faculté de médecine, à la vérification des bibliographies de travaux validants. Plusieurs types d’erreurs, de gravité variable, ont ainsi été relevés, allant de la simple faute de ponctuation à ce qui s’apparente à de la fraude scientifique, en passant par le recours non déclaré à une IAG.

«Si le cas le plus flagrant est l’inexistance de références bibliographiques, un autre, plus subtil, est lié au fait que l’identifiant ou l’URL ne correspond pas à l’article cité, relève Igor Milhit, bibliothécaire spécialiste de la discipline. On rencontre aussi des situations où la référence est employée de manière inappropriée, dans la mesure où elle ne soutient pas l’affirmation formulée dans le texte. Enfin, une autre erreur fréquente consiste à insérer une référence là où elle n’a pas lieu d’être, par exemple dans un passage purement généraliste.»

En outre, un seul document indiquait explicitement l’usage de ChatGPT sur les 44 travaux examinés. Et ce, alors que plusieurs autres laissaient clairement transparaître un recours à l’IA, certaines références portant même une «signature» typique des outils génératifs. «Bien que leur utilisation ne soit pas interdite par l’Université, elle devient problématique dès lors qu’elle n’est pas documentée de manière transparente», souligne Igor Milhit. 

Fortes présomptions

À l’issue de ce travail de correction, l’usage de l’IA a pu être établi avec certitude dans plus d’un quart des travaux, mais les bibliothécaires nourrissaient de fortes présomptions pour de nombreux autres rapports, sans pouvoir toutefois en apporter la preuve. «Une seule référence bibliographique inexistante s’apparente déjà à de la fraude scientifique», rappelle Igor Milhit. Pour leur défense, les étudiant-es concerné-es ont expliqué avoir utilisé l’IA non pas pour établir la bibliographie mais uniquement pour homogénéiser le format des références. La Bibliothèque recommande, quant à elle, l’utilisation de Zotero pour la gestion bibliographique.

«Les outils d’IA génèrent des erreurs que les étudiant-es n’auraient peut-être pas commises, constate Igor Milhit. Ils peuvent cependant se révéler utiles pour élaborer une stratégie de recherche.» Le bibliothécaire insiste: l’enjeu ne réside pas tant dans la qualité du rapport final, déjà largement couvert par la littérature scientifique, que dans l’expérience d’apprentissage qu’il représente. «En confiant ce processus à l’IA, les étudiant-es se privent d’une occasion de développer leurs compétences, observe le spécialiste. Toutefois, face aux contraintes de délais, de charge et de financement, il est compréhensible que certain-es cherchent à gagner du temps grâce à ces outils, quitte à interroger le sens même d’un cursus universitaire.»

Sensibiliser par la formation

Afin de sensibiliser les étudiant-es aux risques de mésusage des IA, la Bibliothèque propose désormais plusieurs formations (lire encadré). Du côté de l’institution, le message est clair: «Chacun demeure responsable de ce qu’il produit, annonce Martine Collart, vice-rectrice responsable de l’enseignement. Si un-e étudiant-e utilise l’IA, non seulement il/elle doit l’indiquer mais il/elle a la responsabilité de vérifier la qualité des informations fournies par ce biais. L’esprit critique et la curiosité, appuyés sur des sources fiables, font en effet partie des éléments centraux de la formation universitaire.»

Si l’IA fait gagner du temps dans certaines étapes d’un travail, elle rend par contre le contrôle qualité beaucoup plus chronophage. «L’IA peut sembler pratique car, en quelques clics, elle génère un texte qui paraît soigné et bien présenté, constate Mallory Schaub, directrice du Pôle de soutien à l’enseignement et l’apprentissage (SEA). Mais dès qu’on y regarde de plus près, on se rend compte que le résultat reste superficiel et imprécis. C’est là que se cache le piège pour les étudiant-es: se laisser tromper par cette impression de qualité et ne pas consacrer suffisamment d’énergie à vérifier le contenu.» Pour la vice-rectrice, c’est entre autres sur la capacité à effectuer ce contrôle qualité que reposera, à l’avenir, la valeur ajoutée de la formation universitaire. 

Pour accompagner les enseignant-es face aux défis posés par l’IA, le pôle SEA propose de son côté différentes activités (focus group, ateliers, lunchs pédagogiques, documentation). 

«L’intelligence artificielle n’est qu’un outil parmi d’autres dans l’enseignement, rappelle Mallory Schaub. Son utilisation requiert la même vigilance que toute autre pratique pédagogique afin de rester en cohérence avec les exigences de la formation académique.»