Analyse de l’apprentissage, une introduction

Pierre-Julien Guay collabore au développement de la série de normes ISO/IEC 20748 sur l’interopérabilité pour l’analyse de l’apprentissage (Learning Analytics) au sein du comité JTC1 ISO/IEC SC36 chargé du développement de normes internationales dans le domaine des technologies de l’information pour l’éducation, la formation et l’apprentissage.

Alexandre Enkerli explore divers enjeux entourant l’usage des données d’apprentissage dans le contexte collégial québécois.

Introduction 

De nombreuses activités d’apprentissage sont aujourd’hui réalisées à l’aide d’outils numériques sophistiqués. De telles technologies sont essentielles pour les cours en ligne qui dominent désormais la formation à distance, mais elles occupent aussi une part de plus en plus importante de la formation en salle de classe, voire de l’apprentissage informel et de la formation en entreprise.

Le matériel éducatif est distribué sur une grande variété de plateformes et d’appareils, que ce soit le Web (accessible depuis l’ordinateur de bureau comme depuis le téléphone intelligent), les technologies dites portables (senseurs, montres intelligentes) ou même l’Internet des objets. Il devient alors possible de récolter des données au sujet d’une portion significative des activités de l’apprenant afin de réaliser des analyses de son cheminement.

Dans cet article, après avoir déterminé les usages de ces analyses, nous examinerons les différents types de données recueillies et les processus de prétraitement en vue de leur analyse. Puisque l’analyse de l’apprentissage est une pratique en émergence et qu’elle provient en grande partie d’initiatives internationales, la majorité des hyperliens mène vers des articles en anglais.

Applications de l’analyse de l’apprentissage

L’utilisation la plus courante des données d’apprentissage est la construction d’un tableau de bord permettant de comparer le cheminement d’un apprenant à un groupe plus large (depuis l’équipe jusqu’à l’établissement entier en passant par le groupe classe). On retrouve ce type d’outil dans des environnements comme Moodle (avec le module Learning Analytics Enriched Rubric ou SmartKlass™) ou Brightspace et dans des outils fournis par de grands éditeurs américains, comme le Pearson Learning Studio. 

Le tableau de bord de l’apprenant indique sa position selon divers axes : niveau de progression dans le contenu, histogrammes des scores aux tests, fréquence des visites, etc. Il vise, entre autres, à impliquer l’apprenant dans la gestion et la planification de ses activités.

De son côté, le tableau de bord de l’enseignant permet notamment de dépister, selon des critères préétablis, des apprenants dont la réussite scolaire ne semble pas aller de soi. Il appartient alors à l’enseignant d’intervenir promptement avec tout le soin nécessaire. Certains outils prétendent effectuer des analyses prédictives. Ainsi, la fréquence et la durée des visites au cours des trois premières semaines de cours semblent être un indicateur fiable du succès ou de l’échec à un cours donné.

Une autre application consiste à détecter rapidement des difficultés d’apprentissage d’un individu. Des troubles du langage (dysorthographie et dyslexie), des troubles arithmétiques (dyscalculie) ou encore des troubles de coordination motrice (dyspraxie) peuvent biaiser les résultats de l’apprentissage. La détection et la remédiation rapides peuvent faire une différence notoire, surtout lorsque l’intervention tient compte de l’ensemble des facteurs provenant de l’analyse.

Dans certains cas, il est possible pour des pédagogues ou des administrateurs d’obtenir un accès élargi aux données relatives à tous les apprenants d’une même organisation. Ainsi, un gestionnaire peut assigner des formations spécifiques à des employés, et une enseignante peut corroborer avec ses collègues l’absentéisme d’étudiants qui suivent leurs cours.

Des analyses des groupes classes peuvent aussi être effectuées dans une approche d’assurance qualité. Puisqu’il ne s’agit plus d’accompagnement personnalisé, une bonne pratique consiste alors à dissocier les renseignements personnels des traces d’apprentissage afin de préserver l’anonymat, assurer la confidentialité des données et protéger la vie privée [1] de toutes les parties prenantes (y compris, dans certains cas, les parents et proches des apprenants).

Enfin, certains promoteurs de l’analyse de l’apprentissage misent sur le traçage automatisé d’un cheminement personnalisé en fonction des préférences personnelles et du degré d’aisance de l’apprentissage. Une telle fonction nécessite l’accès à une représentation précise et stable de la structure du cursus, à une liste des compétences associées et à une collection appréciable de ressources numériques dont les paramètres sont clairement définis. Pour l’instant, ces informations sont rarement représentées sous forme numérique interopérable. 

Plutôt que d’être interprété comme un assemblage solide de faits précis ou de prescriptions robustes, le résultat de telles analyses devrait être entendu comme un commentaire ou une suggestion. Les schèmes prédictifs reposent sur un modèle simplifié de l’apprentissage qui ne tient pas compte de la complexité intrinsèque des individus, de leurs histoires personnelles ou du large contexte qui encadre l’apprentissage.

Modèle de flux de données élaborées par l’auteur pour la norme ISO/IEC 20748-2

La collecte des données 

Si le mouvement vers les données massives tend à l’exhaustivité, il est important de souligner que de nombreuses informations sont absentes de tout système informatique. Entre autres, une large part des activités d’apprentissage se déroule hors ligne même pour des cours en ligne. Malgré la prolifération de caméras de surveillance, de nombreux gestes sont effectués loin des regards.

Dans le cadre de l’analyse de l’apprentissage, la principale source de données sur l’apprenant est l’environnement d’apprentissage. Des éléments comme l’heure et la durée d’une séance de consultation de ressources pédagogiques, les sources externes consultées et les résultats à un questionnaire sont typiquement conservés par ces outils.

Aux fins de l’analyse de l’apprentissage, des formats de données particuliers ont été développés : la spécification xAPI et le cadre Caliper. Ces formats se basent sur des énoncés en langage naturel concernant l’apprenant. Par exemple :

• l’apprenant X a envoyé un message à Y
• l’apprenant X a visionné au complet le fichier 123.avi

Plusieurs maisons d’édition fournissent des modules d’activités éducatives qui peuvent être utilisés hors des plateformes d’apprentissage, stricto sensu. Il est utile d’associer les données provenant de ces activités aux plateformes comme Sakai et Blackboard. Les données émises par des modules SCORM peuvent être transformées en xAPI en utilisant le profil d’application CMI-5.

De nombreuses activités d’apprentissage ont lieu en ligne, mais hors des environnements prévus pour l’apprentissage (sur les réseaux sociaux, par exemple). Il existe donc diverses possibilités de lier, à l’aide des formats Caliper et xAPI, des données externes à des plateformes spécialisées. 

Compte tenu de la constante évolution des pratiques, il n’est pas surprenant que des informations puissent être transmises par des senseurs Web [2]. Ainsi, une caméra vidéo peut être utilisée pour le suivi des mouvements oculaires lors de la lecture d’un texte ou l’observation d’une œuvre graphique. D’autres outils utilisent la contraction des muscles lors d’expressions faciales pour déceler des émotions. S’y ajoutent les données sur le mouvement ou la santé tout comme la détection de la présence physique dans un lieu déterminé. Les données de géolocalisation transmises par les appareils mobiles ou l’Internet des objets y sont souvent associées. 

Enfin, d’autres données peuvent provenir d’informations codées a posteriori, comme les observations des interactions au sein d’un groupe ou des éléments provenant du service de l’admission et des dossiers des étudiants. 

Le traitement et le stockage des données

Les données encodées selon xAPI ou Caliper sont typiquement conservées dans un entrepôt de stockage des apprentissages (traduction de l’anglais Learning Record Store ou LRS). Auparavant, certains ajustements ou ajouts peuvent être nécessaires.

Certains apprenants (ou leurs tuteurs légaux) peuvent souhaiter que les traces d’apprentissage ne soient pas conservées ou utilisées. Nombre d’appareils et d’applications n’offrent pas d’interface simple pour désactiver la transmission de ces traces. C’est pourquoi il est utile de prévoir un filtre à l’importation des données. La protection des données privées est une condition essentielle à l’acceptation par le public d’un système d’analyse de l’apprentissage, comme l’a démontré aux États-Unis l’échec retentissant de InBloom, un service qui agglomérait des données sur des offenses criminelles des apprenants, sur la prise en charge d’un jeune par les services sociaux, sur des sanctions scolaires, sur les diagnostics de retard mental ou d’autisme et sur les handicaps physiques, pour ne citer que ceux-là. Dans le modèle proposé par ISO/IEC 20748, les renseignements du service de registrariat sont justement conservés à l’extérieur du flux de données.

Les données conformes aux spécifications xAPI et Caliper peuvent être adossées à des profils d’application. Les principaux profils d’application de xAPI sont CMI-5 pour les données SCORM et W3C Activity Streams pour les interactions sur les réseaux sociaux. Les autres données devraient être converties.

L’ajout de données, tels un tampon de date ou un identifiant de provenance, peut également être considéré avant le dépôt dans l’entrepôt de stockage des apprentissages.

Facteur de succès 

En éducation, toute nouvelle idée ou pratique technologique a tendance à soulever l’enthousiasme et à créer des attentes irréalistes. Selon nous, la gestion entièrement automatisée du suivi personnalisé des apprenants est une utopie. D’une part, à moins d’usage d’appareillage sophistiqué, seule la portion en ligne de la démarche d’apprentissage laisse des traces. Sont donc exclues les interactions sociales observées en classe d’apprentissage actif ou collaboratif. D’autre part, il est illusoire de penser que nous arriverons à modéliser l’apprentissage dans son ensemble, tenant compte de variables comme les styles d’apprentissage, la culture ou les connaissances et expériences préalables de l’apprenant.

Malgré de lourds investissements en analyse des procédures d’évaluation des acquis, la docimologie n’a toujours pas fourni d’instruments permettant de mesurer l’apprentissage de façon adéquate, robuste et fiable. Le débat fait rage entre la mesure des connaissances et l’observation de l’exercice des compétences développées.

Par ailleurs, l’analyse de données massives, des graphes qui en résultent ou des sociogrammes n’est pas à la portée de la majorité des enseignants. Certains, comme Mike Caulfield, critiquent d’ailleurs l’approche purement empirique, dénuée d’hypothèse préalable, qui est le fait de beaucoup de démarches d’analyse de l’apprentissage.

Cela dit, en interprétant des indicateurs fournis par l’analyse de l’apprentissage dans leurs contextes propres, les enseignants peuvent approfondir, faciliter ou améliorer leurs démarches d’accompagnement des apprenants.

L’assurance du respect de la vie privée est une condition essentielle pour l’acceptation et l’utilisation de l’analyse de l’apprentissage. Le recours à la fédération d’identité, un courtier d’authentification qui veille à ne transmettre que les éléments essentiels, constitue un rempart solide qui doit faire partie de l’environnement en ligne mis à la disposition des apprenants par un établissement. Malheureusement, un trop grand nombre d’établissements ne disposent pas de code de pratique ou de conduite pour la mise en place de ce genre d’outils. Un tel code devrait idéalement comprendre des énoncés sur :

• une option de non-consentement à la cueillette et à l’utilisation de traces d’apprentissage, entraînant le retrait automatique de ces traces ;
• un mécanisme de fédération d’identité supportant l’ensemble des services en ligne internes (registrariat, bibliothèque) et externes utilisés dans le cadre des apprentissages (réseaux sociaux, YouTube, Google Apps for Education, Office 365, Adobe Creative Cloud, etc.) ;
• l’analyse des politiques de chaque fournisseur de service externe (lieu d’hébergement des données, durée de conservation, utilisation) ;
• le type de données recueillies, leur durée de conservation et leur utilisation, y compris à des fins de recherche ;
• un énoncé des mesures mises en place pour la protection de la vie privée ;
• un énoncé de la conformité aux lois concernant la protection de la vie privée et l’accessibilité universelle.