L'«importation intelligente / Smart Import» peut-elle créer un contenu d'apprentissage intelligent?
Dre Jue Wang Szilas & Dre Patrizia Birchler Emery
Mais que feront les enseignant-es de tout le temps libre gagné grâce à l’IA ?
S’asseoir devant son ordinateur, donner un texte ou une vidéo à lire à un outil d'Intelligence Artificielle et disposer quelques minutes plus tard d’un cours en ligne complet, comportant un parcours d’apprentissage intégrant des activités interactives: un scénario du futur ?
Question rhétorique, la réponse est bien évidemment “non”, puisque nombre de concepteurs mettent déjà à disposition de tels outils, assurant aux enseignant-es que cela leur permettra de réduire le temps passé à préparer leurs cours.
C’est en tout cas ce discours que nous avons entendu lors d'un webinaire vantant le potentiel pédagogique de H5P Smart Import, un nouvel outil de création de contenu d'apprentissage interactif basé sur du texte. Ces propos ont piqué notre curiosité et nous ont incitées à tester Smart Import pour nous rendre compte par nous-même de leur véracité.
Cependant, comme H5P Smart Import n’existait qu’en version anglaise, nous avons décidé de trouver un outil similaire en français pour compléter le test et avons opté pour Nolej.
Nous avons donc testé chacun de ces deux outils, afin de mieux comprendre leurs capacités et limites: le premier, H5P Smart Import, en utilisant une vidéo YouTube de 30 minutes d'une présentation destinée à un large public, et le deuxième, Nolej, en utilisant une vidéo de 3 minutes sur les techniques d'imagerie numérique, dans le cadre d’un cours en humanités numériques de niveau universitaire. Les résultats sont plus ou moins identiques.
Présentation des outils...
 |
 |
| H5P Smart Import: Outil permettant de générer automatiquement du contenu interactif à l'aide d'un moteur d'IA | Nolej AI: Plateforme reposant sur OpenAI pour créer et concevoir des ressources pédagogiques adaptées aux besoins des apprenants |
H5P Smart Import et Nolej sont des solutions innovantes en matière de conception pédagogique assistée par l'IA, en particulier pour la création de contenus d'apprentissage interactifs basés sur du texte. Ces deux outils s'appuient sur l'IA pour analyser et transformer des documents existants - tels que des textes, des images et des vidéos - en formats interactifs et attrayants.
Les fonctionnalités principales de H5P Smart Import et Nolej incluent la conversion de contenus en activités interactives telles que des quiz, des flashcards, des activités de type glisser-déposer et des questions à choix multiples. Les deux solutions permettent également la création de simulations et de cartes mentales. Concernant les vidéos, elles génèrent des transcriptions automatiques que les utilisateurs et utilisatrices sont invitée-es à vérifier et corriger. De plus, les utilisateurs et utilisatrices peuvent apporter des modifications aux activités interactives créées, assurant ainsi une qualité optimale du contenu.
En matière de personnalisation, H5P Smart Import et Nolej offrent des ajustements de base, Nolej proposant toutefois des options avancées. Les deux outils s'intègrent facilement aux principales plateformes LMS (Moodle, Canvas, Blackboard), simplifiant ainsi leur utilisation dans divers environnements pédagogiques. H5P Smart Import est particulièrement efficace pour les contenus structurés, tandis que Nolej excelle avec des supports plus variés et favorise la collaboration entre enseignant-es.
Des différences existent entre les deux outils, concernant l’accès d’une part et l’utilisation des contenus produits d’autre part. En effet, H5P Smart Import propose une période d’essai de 30 jours, alors que Nolej permet un essai de 10 jours pour créer jusqu'à trois modules d’apprentissage. Avec H5P Smart Import les contenus générés sont réutilisables, mais nécessitent un abonnement pour un accès permanent après l’essai, alors que sur Nolej ils restent visibles même sans abonnement.
Enfin, élément non négligeable, H5P Smart Import est limité à l’anglais, tandis que Nolej est disponible en plusieurs langues.
Ces outils conviennent à un large éventail d’enseignant-es, du primaire au supérieur, et sont adaptés à différents types d'enseignement, y compris la formation professionnelle. Il est recommandé de posséder des compétences numériques de base pour les intégrer efficacement dans la pratique éducative.
En conclusion, H5P Smart Import et Nolej offrent des solutions complémentaires pour créer des activités interactives, répondant aux besoins variés des enseignant-es selon la nature et la complexité des contenus pédagogiques.
..et des tests
Nous allons présenter ici le déroulement des tests, les résultats obtenus, ainsi qu'une analyse et des commentaires sur chaque étape. Les résultats se sont avérés très similaires pour les deux outils. Cependant, comme H5P Smart Import nécessite un abonnement pour partager le résultat, nous avons dû utiliser Nolej pour pouvoir les mettre à disposition.
 |
 |
| Cliquez sur l'image ci-dessus pour voir le contenu généré | Cliquez sur l'image ci-dessus pour voir le contenu généré |
Test avec H5P Smart Import
1. Contexte et ressources utilisées
À la suite d'une démonstration convaincante de l’équipe de H5P, les auteur-es ont obtenu un accès temporaire pour tester les fonctionnalités de Smart Import avec des collègues. Pour cette évaluation, un extrait vidéo d'une conférence de 30 minutes en anglais a été sélectionné: il s’agit d’une présentation sur un MOOC visant à préserver une écriture en voie de disparition intitulée Teaching an Endangered Script through MOOC. Cette ressource a été choisie afin d’évaluer la capacité de Smart Import à générer des activités pédagogiques interactives à partir d’un contenu à la fois long et complexe.
Dans cette vidéo, l’auteure explore l’écriture Dongba, un patrimoine unique inscrit à l’UNESCO et propre au peuple Naxi en Chine. Elle présente les objectifs du MOOC, qui visent à sensibiliser à cette écriture menacée de disparition et à en encourager la préservation. L’apprentissage des 300 signes de base est au cœur de ce cours, avec des activités interactives pour engager les participants.
2. Déroulement et résultat
Les auteur-es ont utilisé Smart Import pour convertir la vidéo en transcription textuelle. Une relecture humaine a permis de corriger les éventuelles erreurs, garantissant ainsi la qualité du texte de base. À partir de ce contenu corrigé, Smart Import a généré huit types d’activités d’apprentissage, incluant une vidéo interactive avec mots-clés et questions, un quiz, un glossaire, une carte de concepts, une activité glisser-déposer, des flashcards, ainsi qu’un résumé. Ces activités ont ensuite été partagées avec des collègues, invité-es à les compléter et à donner leur avis.
Voici le lien vers le contenu créé (lien vers le site Nolej pour les raisons mentionnées plus haut): https://h5p-live.nolej.app/documents/deccc566-2605-49fc-9a06-e564120e838f/previews/ibook/index.html.
3. Analyse des résultats d’utilisation
Dans l’évaluation de cette vidéo et des activités pédagogiques associées, plusieurs points positifs et axes d’amélioration ressortent (voir le tableau ci-dessous).
| Catégories | Points positifs | Points à améliorer |
|---|---|---|
| Transcription | Pertinents et bien expliqués (Dongba script, Endangered languages, etc.). | Répétitions fréquentes |
| Mots-clés | Pertinents et bien expliqués (Dongba script, Endangered languages, etc.). | Répétitions fréquentes |
| Exercices | Activités interactives efficaces (quiz, flashcards, glisser-déposer). |
|
| Conception générale | Approche interactive adaptée pour des apprentissages factuels simples. | Diversité des activités insuffisante, entraînant une certaine monotonie. |
La transcription automatique, bien qu’en grande partie précise, nécessite une relecture humaine pour garantir son exactitude, notamment sur des termes techniques ou culturels spécifiques. Par exemple, certaines expressions liées au Dongba script ou à la culture Naxi, qui sont des éléments essentiels du contenu, risqueraient d’être mal interprétées sans une révision adéquate. Un terme comme “Dongba script” pourrait, par exemple, être mal retranscrit s’il n’est pas vérifié dans son contexte culturel, ce qui souligne l’importance d’une double vérification pour éviter les erreurs.
Les mots-clés sélectionnés sont d’une grande pertinence. Chaque terme, comme Dongba script ou Endangered languages, est accompagné d’explications qui enrichissent le contenu et contextualisent les concepts abordés. Par exemple, le terme Endangered languages est non seulement défini mais est aussi relié à des exemples concrets de langues en danger dans le monde. Cependant, cette richesse est parfois affaiblie par des répétitions inutiles dans les glossaires, flashcards et autres supports. Par exemple, certains termes apparaissent dans plusieurs exercices avec les mêmes explications, ce qui peut rendre l’apprentissage redondant et moins engageant.
La structure des exercices démontre une volonté claire de rendre l’apprentissage interactif et engageant. Des activités comme les quiz ou les jeux de glisser-déposer permettent aux utilisateurs d'associer des symboles Dongba à leurs significations, rendant l’expérience plus ludique et mémorable. Cependant, ces exercices souffrent parfois de répétitions inutiles. Par exemple, la question sur les objectifs du MOOC revient sous plusieurs formats dans différents exercices, sans ajouter de nouvelles informations ou perspectives. Cela peut rendre l'expérience d’apprentissage monotone et moins stimulante. Une variation dans la présentation des questions ou des approches pédagogiques pourrait aider à dynamiser cette partie du cours.
En termes de cohérence, des divergences dans les réponses attendues peuvent poser problème. Une question clé sur les objectifs du MOOC, “What is the goal of the MOOC?”, reçoit une réponse différente selon qu’elle est posée dans un quiz ou dans une carte conceptuelle. Par exemple, dans le quiz, la réponse met l'accent sur la préservation du Dongba script, tandis que dans la carte conceptuelle, l'objectif s’élargit à l’exploration du rôle du plurilinguisme dans la conservation des langues. Ces incohérences peuvent perturber les apprenant-es, qui se retrouvent face à plusieurs versions de ce qu’ils perçoivent comme étant la "bonne réponse". Une clarification de la réponse attendue et une meilleure harmonisation des supports pédagogiques seraient bénéfiques.
Un autre aspect qui mérite attention est la qualité du feedback fourni dans les exercices. Il arrive parfois que des réponses correctes soient signalées comme erronées à cause de réglages incorrects ou d’erreurs dans le système de validation. Par exemple, une réponse correcte comme “To preserve and revitalize the Dongba script” pourrait être incorrectement évaluée comme fausse dans un quiz, ce qui peut être frustrant et nuire à l’expérience d’apprentissage. De plus, l’absence de questions ouvertes limite la possibilité pour les apprenant-es de réfléchir de manière critique et approfondie sur des sujets comme la préservation des langues en danger ou le rôle du plurilinguisme dans la conservation des écritures. Des questions ouvertes permettraient d’explorer des points de vue plus nuancés et d'encourager la réflexion personnelle des apprenants.
En résumé, bien que cette vidéo et ses ressources éducatives présentent de solides atouts, comme une structure interactive et des mots-clés pertinents, quelques ajustements sont nécessaires. Une amélioration de la cohérence dans les réponses et le feedback, ainsi qu’une plus grande diversité dans les exercices pédagogiques, contribueraient à améliorer l’interactivité et le niveau d’apprentissage proposé.
4. Conclusion
Les résultats indiquent que Smart Import est efficace pour générer des activités d’apprentissage basées sur le texte, en particulier pour l’acquisition de connaissances déclaratives. L’outil renforce la maîtrise des concepts clés en intégrant ces éléments de manière répétée dans les activités proposées. Cependant, certaines limites demeurent. H5P Smart Import n’est pas encore en mesure de générer des questions ouvertes stimulant une réflexion critique, ni de concevoir des distracteurs complexes dans les questions à choix multiples, ou de faciliter l’apprentissage collaboratif. De plus, l’outil ne prend actuellement en charge que des contenus en langue anglaise, ce qui souligne la nécessité d’ajouter d’autres langues pour accroître l'accessibilité et l'utilité de l'outil.
Test avec Nolej
1. Contexte et ressources utilisées
La vidéo servant de base au test avec Nolej a été présentée dans le cadre d'un cours sur les techniques d'imagerie numérique (niveau universitaire) destiné aux étudiant-es en humanités numériques, actifs/ves dans toutes les branches où des objets sont impliqués (archéologie, histoire de l’art, manuscrits, etc.). Différents types d'imagerie sont passés en revue et testés, afin de connaître leurs spécificités et leurs utilisations pratiques, dans le but de pouvoir ensuite appliquer la technique la plus appropriée dans le contexte de la recherche.
La vidéo utilisée présente l'une de ces techniques, la RTI (Reflectance Transformation Imaging), et son application à l'archéologie. Il s'agit d'une vidéo faisant la publicité d'un outil commercial et les étudiant-es sont invité-es à garder un œil critique en la visionnant.
Il ne s'agit donc pas d'une vidéo de cours, mais d'une vidéo de démonstration (ce qui n'a aucune incidence sur les résultats du test). La vidéo est visionnée après une introduction théorique sur la RTI et son fonctionnement, pour les raisons suivantes:
- Elle présente visuellement un outil spécifique pour la RTI: composants, manipulation de l'équipement, mise en place, etc.
- Elle montre l'outil en cours d'utilisation.
- Elle présente les résultats obtenus.
- Elle présente l'utilité et l'intérêt de photographier des objets avec cet outil et cette technique (sans toutefois en mentionner les limites).
2. Déroulement et résultat
La première étape a consisté en l’utilisation de Nolej pour convertir la vidéo en transcription textuelle. Comme pour Smart Import, une relecture humaine a été nécessaire enlever les quelques erreurs de transcription. C’est à partir de ce contenu corrigé, que Nolej a généré des activités d’apprentissage, vidéo interactive, cartes conceptuelles, quiz, glisser-déposer, flashcard, ainsi qu’un glossaire, des points clés et un résumé. Nolej a proposé également des contenus supplémentaires: mots croisés, mots secrets, idées d'apprentissage par projet.
Voici le lien vers le contenu créé: https://h5p-live.nolej.app/documents/c1e9e42c-1714-4b96-9184-2ab3ba37eab5/previews/ibook/index.html.
3. Analyse des résultats d’utilisation
| Catégories | Points positifs | Points à améliorer |
|---|---|---|
| Transcription | Précision globale, mais relecture humaine nécessaire | Quelques erreurs liées à la présence de bruits autres que voix humaine (moteur, déplacement de matériel) |
| Mots-clés | Basiques et généraux (d’autres termes cités dans la vidéo auraient été plus appropriés) | Toutes les activités créées à partir des mots clés n’étaient pas pertinentes (vidéo interactive, glossaire, cartes conceptuelles, glisser-déposer, mots croisés, mots secrets). La redondance a ses limites. |
| Exercices | Activités interactives satisfaisantes (quiz, flashcards, idées d’apprentissage par projet). |
|
| Conception générale | Approche interactive adaptée pour des apprentissages factuels simples. | Diversité des activités insuffisante, entraînant une certaine monotonie ; de plus, basé uniquement sur discours ou texte, aucune reconnaissance d’image |
Le texte étant très court, sa transcription n’a pas requis d’intervention majeure, si ce n’est pour éliminer les groupes de lettres parasites correspondant aux bruits divers (de moteur, par exemple) et à la musique qu’on entend dans la vidéo.
Le nombre d’activités proposées est important et permettrait en principe d’élaborer un parcours d’apprentissage avec des activités variées: vidéo interactive, glossaire, mots-clés, cartes conceptuelles, puis quiz, glisser-déposer, flashcards, points clés et résumé, enfin, comme activités complémentaires, mots croisés, mot secret et idées pour apprentissage par projet.
Tout le groupe d’activités basé sur le glossaire (mots-clés, vidéo interactive, cartes conceptuelles, mots croisés, mot secret) n’était malheureusement pas très utile, car les mots retenus étaient trop génériques (reconstruction, animé) et reflétaient des concepts basiques qu’il n’était pas nécessaire de tester (fouilles, photographie, environnement web, solution alimentée par batterie, matériel de pointe, infrastructure, savoir-faire). D’autres termes plus spécifiques à la technique RTI et prononcés dans le texte n’ont pas été retenus alors qu’ils auraient été plus pertinents (recherche, retournement de l’objet, ombre et lumière, gravure, inscription, iconographie)
Les questions du quiz étaient plus intéressantes, car basées sur des phrases du texte et non sur des mots isolés. Par exemple: « Qu'est-ce que la méthodologie permet d'améliorer grâce à l'amalgame de documents photographiques provenant d'institutions disparates dans le monde entier » s'inscrit dans les objectifs du visionnage, car il sert à démontrer l'une des utilisations des résultats. En général, les questions du quiz étaient satisfaisantes, même si elles étaient limitées.
Concernant les flashcards, le constat est mitigé: celles qui sont basées sur les questions du quiz sont pertinentes, celles qui reprennent le glossaire sont inutiles.
Les points clés et le résumé étaient satisfaisants, de même que les trois premières suggestions d’apprentissage par projet (les deux dernières n’étaient soit pas réalistes, soit trop vagues) Contenu supplémentaire: les mots croisés et les mots secrets n'apportent rien, car ils sont peu pertinents par rapport aux objectifs pédagogiques et n’encouragent pas une réflexion approfondie.
Enfin, last but not least, l'IA étant basée sur du texte, il manque au cours interactif proposé un ensemble de questions à explorer sur ce qui est montré dans la vidéo et qui est tout aussi important que le discours en termes d'objectifs de visionnage (quelques exemples: taille et composants de l'équipement, environnement dans lequel le RTI sera réalisé, quelles sont les caractéristiques communes des objets soumis au processus (taille, apparence, mobile/immobile) ?
Il manque également des questions ouvertes qui nécessitent une pensée critique et une réflexion, sur la possibilité, par exemple, d'appliquer cette technologie à tous les objets archéologiques, ou sur l’existence éventuelle d’autres techniques du même type, etc.
4. Conclusion
Nolej est un outil très efficace, mais il est préférable de générer le texte de base soi-même, en y intégrant les mots-clés et les concepts dont les étudiant-es doivent se saisir, sinon on doit investir passablement de temps à corriger la transcription et écrémer les activités pour ne garder que ce qui est pertinent (quitte même à rajouter des questions). Le modèle d'apprentissage de cette IA est encore basique, ne correspondant qu’au premier niveau de la taxonomie de Bloom (acquisition de connaissances).
Un défaut majeur est que l'IA n'analyse pas les images et ne génère donc pas de mots-clés ou de quiz sur ce qui est montré dans une vidéo, alors que de nombreux domaines d’études comportent des apprentissages liés à un ensemble de gestes à pratiquer ou des items à observer.
Enfin, les questions de réflexion et d'analyse ainsi que les questions ouvertes sont totalement absentes.
Conclusion et réflexion
Les résultats ont révélé que ces deux outils généraient efficacement de nombreuses activités d'enseignement basées sur le texte, se focalisant principalement sur l'apprentissage des connaissances déclaratives. Ils ont notamment amélioré la maîtrise et la compréhension des concepts clés en augmentant leur fréquence dans les activités. Cependant, des limites ont été identifiées, par exemple la nécessité d’une intervention humaine dans la phase de transcription, l'incapacité de générer des questions ouvertes nécessitant une réflexion critique, d'incorporer des distracteurs approfondis dans les questions à choix multiples, ou encore de faciliter l'apprentissage collaboratif. De plus, ces outils ne permettent pas de développer des activités sur des objets visuels, ce qui en limite la portée dans de nombreux domaines. En outre, la version actuelle de H5P Smart Import ne prend en charge que les ressources en langue anglaise, d'autres langues devant encore être développées.
Grâce à cet essai, les avantages d'un moteur d'IA ont pu être reconnus, de même que son potentiel pour augmenter de manière significative la productivité dans la création de contenu d'apprentissage interactif basé sur le texte et pour améliorer l'accessibilité. Simultanément, le test a permis d’acquérir une meilleure compréhension des limites actuelles de ces outils, qui ne peuvent générer des contenus qu’à partir de texte et, surtout, des contenus basiques en termes pédagogiques, axés uniquement sur l’acquisition des connaissances.
Il est clair cependant que l’utilisation de ces outils d’IA dans la conception pédagogique interpelle et ce, à plusieurs niveaux. Par exemple, dans quelle mesure les contenus d'apprentissage interactifs créés par l'IA seront-ils crédibles dans un environnement universitaire ? Ou encore, comment trouver un équilibre entre l'automatisation et la créativité dans la conception des contenus d'apprentissage ? Lors de l'intégration d'outils d'IA tels que Smart Import dans la conception pédagogique, dans quelles phases du processus les rôles humains ne peuvent-ils pas être remplacés par l'IA ?
Le test effectué et ses résultats invitent à la réflexion sur l'évolution du rôle de l'IA dans l'élaboration future de la création de contenus d'apprentissage intelligents, mais peut-être aussi sur la notion d’intelligence elle-même.
Annexe: la présentation powerpoint de l’article avec les captures d’écrans des résultats du test.
Références:
- Farrelly, T., & Baker, N. (2023). Generative artificial intelligence: Implications and considerations for higher education practice. Education Sciences, 13 (11), 1109.
- García-Peñalvo, F. J., Llorens Largo, F., & Vidal, J. (2023). The new reality of education in the face of advances in generative artificial intelligence.
- Shumailov, I., Shumaylov, Z., Zhao, Y., Gal, Y., Papernot, N., & Anderson, R. (2023). The curse of recursion: Training on generated data makes models forget. arXiv preprint arXiv:2305.17493.
- ANNEMISSELBROOK. (2023, November 22). H5P software trial of the feature ‘Smart Import’ using AI technology [Blog post https://blogs.northampton.ac.uk/learntech/2023/11/22/h5p-software-trial-of-the-feature-smart-import-using-ai-technology/].
- BERSIN, J. (2023, April 21). EdTech Is Going Crazy For AI [Blog post https://joshbersin.com/2023/04/edtech-is-going-crazy-for-ai/].
- Lindsay, R. (2023, November 10). Embracing Interactive Learning - H5P at the University of Liverpool [Blog post https://www.liverpool.ac.uk/centre-for-innovation-in-education/blog/general/embracing-interactive-learning-h5p-uol/].
- O'Donnell, F. (2023). Let AI automatically create learning activities [Blog post https://teachnet.ie/let-ai-automatically-create-learning-activities/].
- Zhgenti, S., & Holmes, W. (2023, July 24). Generative AI and Education: Adopting a Critical Approach [Blog post https://botpopuli.net/generative-ai-and-education-adopting-a-critical-approach/].
- Wladawsky-Berger, I. (2023, September 28). The Critical Value of Human-Created Knowledge to the Future of Generative AI [Blog post https://blog.irvingwb.com/blog/2023/09/the-critical-value-of-human-created-knowledge-to-generative-ai.html].
- Packer, H. (2023, July 4). UK universities set out plans to use AI in teaching [Newspaper article https://thepienews.com/news/uk-universities-ai-teaching/]
