Soutien aux programmes
Évaluer le MALTT
Références du programme
Intitulé du programme : Master of Science in Learning and Teaching Technologies - MALTT
Entité : Faculté de Psychologie et des Sciences de l’Éducation (FPSE)
Responsable : Prof. Mireille Bétrancourt
Période de l'évaluation : Mai 2015 à septembre 2016
Situation de départ
Pôle SEA : Pourquoi avoir évalué le master à ce moment? Quelle a été l'impulsion de départ?
Mireille Bétrancourt : C’est le doyen qui a proposé d’évaluer le MALTT à ce moment-là, ce qui nous semblait une bonne idée pour deux raisons. D’une part, le master avait 10 ans d’existence et cela semblait un moment propice pour faire le point. D’autre part, un poste était en cours d’ouverture au sein de notre équipe et il nous semblait que l’évaluation pouvait aiguiller l’orientation du poste.
Pôle SEA : En plus des objectifs généraux visés par l’évaluation institutionnelle, quels étaient les objectifs spécifiques poursuivis par l’équipe ?
M. Bétrancourt : A l’origine, cette formation était un DESS (diplôme d'études supérieures spécialisées) qui a évolué en master dans le cadre de la réforme de Bologne. Le remaniement avait été conséquent et l’un des objectifs de l’évaluation consistait à vérifier si nos intentions de départ étaient atteintes 10 ans plus tard.
Nous étions intéressés par l’évaluation du master non seulement en tant que diplôme, mais également en tant que tremplin vers des professions. Il nous importait de faire le point sur l’intégration professionnelle des étudiant-es, leur satisfaction vis-à-vis du cursus.
Nous voulions aussi profiter de cette opportunité pour réfléchir de façon approfondie aux formats pédagogiques déployés dans le master.
En somme, nous avions une motivation intrinsèque à tirer profit de l’évaluation pour réguler la formation.
Déroulement de l'évaluation
Pôle SEA : Qui a été associé au projet et de quelle façon?
M. Bétrancourt : Nous avons intégré au comité d’auto-évaluation des représentant-es de tous les corps (estudiantin, intermédiaire, professoral, administratif et technique). Notre comité était constitué de 8 personnes :
- 2 représentant-es du corps professoral (dont moi en tant que directrice du programme)
- 3 représentant-es du corps intermédiaire (dont deux diplômé-es du MALTT)
- un représentant du personnel administratif et technique (PAT)
- une représentante du corps estudiantin et
- une représentante des diplômé-es, également conseillère aux études.
Vu la petite taille de notre équipe, les enseignant-es étions d’emblée intégré-es au comité. Pour recruter les assistant-es, nous avons fait appel aux volontaires. Tous et toutes auraient volontiers participé, il y avait une réelle volonté de s’impliquer. Le fait que plusieurs soient d'anciens et anciennes étudiant-es du MALTT explique sans doute cet enthousiasme.
En parallèle, nous avons aussi consulté des collègues assistant-es et enseignant-es qui s'impliquaient dans la formation, même si ces personnes ne faisaient pas partie du comité d’auto-évaluation.
Pôle SEA : Comment l’équipe s’est-elle organisée pour se concerter et collaborer, avant et après l'évaluation?
M. Bétrancourt : Les documents fournis par le Bureau qualité sont utiles car ils offrent une trame de ce qu’il faut faire. Assez tôt, nous avons organisé des réunions pour planifier la collecte des informations nécessaires et les consultations. Nous avons utilisé les formulaires d’évaluation de l’enseignement et des questionnaires envoyés aux anciens et anciennes étudiant-es.
Une fois les informations récoltées, nous avons organisé une journée au vert pour avancer dans le traitement des données et la rédaction du rapport d’auto-évaluation. Nous avons loué une salle de travail et consacré toute une journée à l’évaluation. Nous nous sommes réparti les dimensions à évaluer : chaque binôme a travaillé sur une dimension en particulier et a présenté à la fin de la journée l’avancement de sa partie. C’était très efficace, le fait de sortir de notre contexte habituel de travail a été bénéfique. Ensuite, nous nous sommes fixé un délai pour terminer la rédaction. Nous avons utilisé un dossier partagé qui contenait tous les documents de l’évaluation. Switchdrive est un outil intéressant pour soutenir ce genre de travail collaboratif.
Pour élaborer le plan de visite de l'expertise externe, nous avons suivi la trame institutionnelle et avons décidé collectivement des horaires. Les expert-es ont réalisé certains entretiens via Skype pour permettre la participation des étudiant-es et diplômé-es géographiquement éloigné-es .
Le plan d’action a été élaboré au cours de réunions de travail, pendant lesquelles nous avons considéré, dimensions par dimension, les recommandations des expert-es. Nous les avons discutées collégialement et structurées dans un plan d’action, dont j’ai finalisé la rédaction par la suite.
Actuellement, nous sommes dans la phase de mise en œuvre du plan d’action. L’évaluation est terminée, mais c’est le début des travaux pour nous! Toutes nos actions devraient être menées d’ici la rentrée 2019 et j’en assure le suivi. Certaines actions sont assez complexes et nécessitent de s’adjoindre de nouvelles ressources, mises à disposition par notre décanat.
Pôle SEA : Quelles principales étapes ont balisé la démarche et quelle a été leur durée approximative?
M. Bétrancourt : Les étapes et leur durée ont globalement correspondu à la démarche-type conçue par le Bureau qualité, soit environ une année académique pour l'ensemble de la démarche.
Mai 2015
Début de l'évaluation et collecte des données
Juin 2015
Journée au vert pour initier la rédaction du rapport d'auto-évaluation
Octobre 2015
Remise du rapport d'auto-évaluation
Janvier-mars 2016
Visite des expert-es externes et réception du rapport d'expertise
Mai 2016
Dépôt du plan d'action, puis validation par le Rectorat en septembre 2016
Rentrée 2016 – rentrée 2019
Mise en œuvre du plan d'action
Les périodes correspondant à l'auto-évaluation et au plan d'action ont été les plus chargées pour nous en termes de travail, tandis que la phase d'expertise externe s'est avérée plus légère.
Résultats et effets
Pôle SEA : Suite à l’évaluation, quelles sont les nouveautés (introduites ou prévues) du point de vue de la pédagogie?
M. Bétrancourt : Parmi les objectifs qui figurent dans notre plan d’action, plusieurs concernent directement la pédagogie. Nous voulons notamment clarifier les objectifs du master en identifiant les compétences visées par le master, en explicitant la structure pédagogique en regard des compétences et objectifs dans le plan d’études, en rendant visibles les différents parcours de formation et profils de sortie, la logique entre les cours, etc. Un autre grand chantier vise à repenser l’articulation présence-distance dans l’architecture du master, à la lumière des commentaires formulés par les étudiant-es et les expert-es.
Par ailleurs, même si elles ne figurent pas dans le plan d’action, plusieurs mesures ont déjà été adoptées pour améliorer la formation. Par exemple, l’approche par projet est une force de notre master et les étudiant-es apprécient énormément cet aspect. Par contre, elles et ils souhaitent un meilleur équilibre entre travail individuel et collaboratif. Ainsi, cette année j’ai modifié mon cours pour que les étudiant-es réalisent au 1er semestre un projet en autonomie plutôt qu’en groupe. La volée était ravie de cette expérience.
Pour éviter l’isolement et favoriser le partage, nous avons organisé des activités de peer feedback (évaluation entre pairs). Chaque étudiant-e devait commenter le travail de deux collègues, sur certaines tâches précises, dans une perspective formative (sans note). Nous avons organisé cette activité en ligne, au moyen de la plateforme Moodle. Cette activité a très bien fonctionné, cela a été formateur pour les étudiant-es et cela nous a même aidés par la suite pour l’évaluation.
A leur demande, nous avons également mis à disposition des étudiant-es une salle pour faciliter le travail collaboratif pendant les périodes où le master se déroule à distance.
Pôle SEA : L'évaluation a-t-elle eu des effets dépassant le curriculum ou de tels effets sont-ils attendus?
M. Bétrancourt : Une association d’étudiant-es et diplômé-es s’est nouvellement constituée. Cela manquait et l’évaluation a notamment mis en évidence cette lacune. La prochaine étape pour nous sera d’intégrer cette association à nos comités pédagogiques, pour impliquer formellement le corps étudiant dans la gestion du master. Nous allons également formaliser notre réseau d’anciens et anciennes étudiant-es du MALTT.
Retour et conseils
Pôle SEA : Qu’est-ce qui a facilité votre démarche d'évaluation de programme?
M. Bétrancourt : Le fait d’avoir un canevas très précis à disposition a facilité nos démarches. Comme l’évaluation s’étale sur un délai assez long, cela permet de s’organiser sans être dans l’urgence.
De plus, nous sommes une petite équipe, très cohésive, ce qui facilite l’organisation de séances de travail et la prise de décisions internes. L’identité du MALTT est aussi très forte et l’ambiance au sein de l’équipe et avec les étudiant-es favorise la participation à ce type de démarche.
Pôle SEA : Quels ont été les défis rencontrés et quelles pistes ont été explorées pour y répondre?
M. Bétrancourt : Lors de la phase de consultations des étudiant-es et diplômé-es, un des enjeux était de maximiser la participation aux enquêtes afin d’obtenir un bon taux de réponse. Or, le contact via l’adresse institutionnelle n’est plus possible quelques mois après que les personnes aient quitté l’UNIGE et il faut recourir à d’autres stratégies pour maintenir le lien avec les diplômé-es. Avoir accès à leur email privé nous a permis de les solliciter dans le cadre de cette évaluation.
Nous avons aussi découvert que l’Observatoire de la vie étudiante(OVE) pouvait mettre à notre disposition plusieurs données, ce qui s’est avéré précieux.
Pôle SEA : Pour terminer, un conseil aux équipes souhaitant évaluer un programme?
M. Bétrancourt : Pour décider de l’organisation concrète de l’évaluation (quelle méthodologie allons-nous adopter, sur quels éléments allons-nous nous appuyer, etc.) il peut être utile de s’inspirer de ce qu’ont fait d’autres équipes qui sont déjà passées par là.
Dans notre cas, se retrouver dans un lieu neutre pour une journée dédiée à l’évaluation et se répartir le travail par dimension pour débuter la rédaction collaborative a été très efficace. Pour la personne qui coordonne l’évaluation, c’est appréciable et cela permet de dégager de multiples points de vue sur le programme.
L’évaluation génère du travail, des réunions, etc., et il est plus facile de s’engager dans cette démarche si l’on y trouve une motivation interne. Bien sûr, le rectorat et le décanat poursuivent des objectifs lors de ces évaluations, mais notre équipe s’est toujours dit « nous le faisons pour nous ». Nous avions envie de savoir ce que pensaient nos étudiant-es et des spécialistes externes, nous n’avons jamais perçu l’exercice comme une évaluation au sens négatif du terme.
Un dernier conseil serait de choisir des expert-es de confiance, avec qui il est possible d’engager un vrai dialogue.