Analyser les apprentissages à partir des traces

Un article de Margarida Romer repris de la revie Distances et médiations dsavoirs une publication sous licence CC by sa.

L’analyse des traces d’apprentissage est un sujet de grande actualité qui suscite de nombreux travaux au sein de la communauté scientifique. Daniel Peraya (2019), dans son appel au débat « Les Learning Analytics en question » nous invite à comprendre ce phénomène tant du point de vue historique que de celui des enjeux actuels. D’une part, les usages des traces d’apprentissage médiatisé ouvrent de nouvelles potentialités pour le soutien et pour la personnalisation des apprentissages en contexte médiatisé ; d’autre part ces usages donnent aussi lieu à des questionnements critiques et éthiques. L’article de Peraya se conclut par une invitation au débat sur un ensemble de questions de recherche qui vont nécessiter le croisement de regards de collègues de plusieurs disciplines. Dans cette contribution au débat, je reprends ces questions pour y apporter à la fois un regard d’enseignante en formation à distance, de chercheure, mais aussi de conceptrice technopédagogique. Cette dernière expérience m’a permis de comprendre les enjeux des usages des traces numériques d’apprentissage dans des modules de formation à destination d’acteurs industriels suivant la norme SCORM. Les traces peuvent-elles être utilisées contre les apprenants ? Quel type d’inférences peut-on accepter de réaliser à partir des traces ? Dans cette rubrique, je traiterai donc parmi les questions soulevées par Peraya, celles liées à l’usage des traces et aux enjeux éthiques tant pour l’apprenant que pour les enseignants.

Comme le souligne Peraya (2019), les traces d’apprentissage médiatisé possèdent un important potentiel d’usage qu’il s’agisse de prédire certains comportements de l’apprenant, de visualiser les activités d’apprentissage ou encore de mettre en place des systèmes adaptatifs. Les apprenants, les enseignants ainsi que l’institution peuvent bénéficier de ce potentiel et peuvent y trouver un intérêt commun sur l’usage des learning analytics pour soutenir les processus d’enseignement et d’apprentissage. Mais les traces sont-elles toujours utilisées au bénéfice de l’apprenant ? Que se passe-t-il quand les traces peuvent servir à justifier une appréciation négative de l’engagement de l’apprenant ou évaluer sa participation dans une activité d’équipe ? Dans un contexte de formation médiatisée, les enseignants disposent d’une vision très partielle de l’activité des apprenants et peuvent cependant, sur cette base, porter des jugements sur l’activité de l’apprenant au sein du dispositif de formation.

La production de données relatives au temps que consacre l’apprenant aux activités au sein de l’environnement numérique a fait émerger un nombre important d’études visant mettre en relation le temps de fréquentation de l’apprenant avec (la prédiction de) ses résultats d’apprentissage (Goda et al., 2015). Le « comportement temporel » est analysé à partir des interactions avec le dispositif de formation à partir d’indicateurs tels que le délai de réponse, la fréquence des interactions ou encore l’analyse du temps consacré à la tâche, qui peut être considéré comme le signe d’une bonne régulation de celle-ci ou, au contraire, de procrastination. Bien que la procrastination soit souvent liée à des résultats d’apprentissage inférieurs (Cerezo, Esteban, Sánchez-Santillán et Núñez, 2017 ; Goda et al., 2015), l’implication tardive d’un apprenant ne doit pas nécessairement être jugée de façon négative ; il existe en effet une diversité de types de procrastination, qui peuvent correspondre à des stratégies de régulation du processus d’apprentissage relevant, par exemple, de la procrastination productive (Westgate, Wormington, Oleson, et Lindgren, 2017). Connaître le comportement temporel d’un étudiant peut influencer négativement l’enseignant dans son évaluation. Or procrastiner est une stratégie souvent volontaire visant à optimiser le temps consacré à la tâche.

Un deuxième aspect sur lequel je souhaiterais intervenir est la perception du temps de réponse dans les contextes d’apprentissage médiatisé : celle-ci est l’objet des études de chronémie. Celle-ci est définie comme l’étude de la temporalité dans les interactions par Bruneau (2007). Dans un contexte de formation à distance, Kalman, Scissors, Gill et Gergle (2013) analysent la perception des temps de réponse dans des forums asynchrones pour analyser l’influence du délai de réponse dans la collaboration et la confiance. Selon ces auteurs, le délai de réponse influence le jugement de l’autre personne, tant en termes d’engagement que de confiance. La réalisation extrêmement tardive d’un travail peut donner lieu à une perception très diverse de la part les enseignants. Lorsque l’enseignant dispose d’informations sur les éventuelles contraintes de vie de l’étudiant, il va pouvoir mieux comprendre les raisons de ce retard et la procrastination ne sera sans doute plus la seule explication possible. Les traces des étudiants, sur une plateforme de formation (Learning Management System) comme Moodle, permettent de visualiser rapidement le comportement temporel des étudiants et peuvent contribuer à identifier les procrastinateurs et, par conséquent, à développer à leur encontre un a priori négatif. Ces données qui ont trait au déroulement temporel de l’activité sont alors utilisées dans un but qui pourrait nuire à l’image de l’apprenant (Westgate et al., 2017). Pour se garder d’un tel piège, il serait nécessaire prendre en compte les résultats des études de ce comportement, dans lesquelles ces auteurs font état de différents types de procrastination, dont certains sont délibérément adoptés afin de favoriser une forme de productivité (« productive procrastination ») visant à réduire les incertitudes liées à la réalisation de la tâche.

Notre premier élément de mise en garde face au développement des approches analytiques des traces médiatisées renvoie à la nécessité de nous référer à des modèles de l’apprenant et de la tâche qui puissent permettre d’interpréter correctement le comportement des apprenants et considérer que, pour un même comportement observable par des traces (par exemple, travailler à la dernière minute), il peut y avoir plusieurs profils d’apprenants. Au moment d’analyser les traces temporelles d’apprentissage et le comportement temporel des apprenants, il conviendra alors d’interpréter différemment les procrastinateurs stratégiques des procrastinateurs habituels qui n’arrivent pas à faire une bonne régulation temporelle.

L’analyse de cette problématique m’amène à questionner les dimensions éthiques soulevées par Peraya (2019) dans sa présentation. Actuellement, la majorité des étudiants en formation à distance ne connaît ni le type de traces que leur activité d’apprentissage est en train de générer ni l’exploitation qui en est faite à des fins de profilage. Le consentement éclairé des étudiants n’est pas réclamé de manière claire quand ceux-ci s’engagent dans l’usage d’Environnements Informatiques pour l’Apprentissage Humain (EIAH) qui génèrent des traces d’apprentissage (Slade et Prinsloo, 2013). Peut-on recueillir et exploiter ces données sans un consentement éclairé ?

De plus, la prise de conscience de l’exploitation des traces dans les dispositifs de formation à distance donne lieu à un changement de comportements d’une partie des étudiants. Certains cherchent à produire des traces dans le but d’améliorer l’image qu’ils renvoient aux autres étudiants et aux enseignants. Pour cela, ils se connectent régulièrement ou interagissent avec différentes ressources ou sur différents forums dans le but d’apparaître comme étant plus actifs (Romero, 2010). Il s’agirait, dans ce cas précis, d’un effet de désirabilité sociale peu représentatif du comportement cognitif de l’apprenant. Sur ce même type de comportements, le bumping ou la supplantation d’identité soulèvent également des difficultés dans la vérification de l’authentification de l’identité de la personne qui produit les traces d’apprentissage sous le couvert d’une certaine identité numérique (Shyles, 2002).

Les enjeux éthiques rejoignent ceux de l’industrialisation de la formation dans le contexte de l’exploitation des traces pour profiler les étudiants (Mœglin, 2016). Nous l’avons montré ci-dessus, ce type de profilage peut desservir l’apprenant, soit qu’il influence négativement le jugement de l’enseignant, soit qu’il décourage l’apprenant en affichant ses mauvaises performances et ses risques d’échec. Est-il convenable de persévérer quand l’algorithme d’analyse des traces nous a déjà classé comme étant un étudiant en difficulté ? Jusqu’à quel point la visualisation des analyses qu’offrent les tableaux de bord change-t-elle de manière positive ou négative l’engagement de l’apprenant ? Pour aborder cette question, je me référerai à mon expérience à l’Université Laval au Québec. Cette grande université francophone s’est dotée d’un LMS, d’une plateforme de formation propre, ainsi que d’un système d’analyse des traces dénommé « Ma réussite » (Paquelin, 2016). En 2014, lors des premiers déploiements à la Faculté des Sciences de l’Éducation, ce système a été intégré dans le cours d’intégration du numérique à l’enseignement préscolaire et primaire dont j’étais en charge (Romero, Lepage et Lille, 2017). J’ai appris l’existence de ce dispositif par l’irruption dans mon bureau d’étudiants qui s’inquiétaient des affichages « oranges » et « rouges » dans le système « Ma réussite » et ce dès le début du cours. Le système d’analyse des traces traitait de manière automatique les traces liées aux forums et de connexion pour signifier les niveaux de risque aux étudiants (vert, orange ou rouge). Cependant, dans mon cours, le premier forum visait uniquement à définir les équipes de travail pour les étudiants n’ayant pas créé d’équipes pendant la pause des premiers cours. La participation au forum n’était pas du tout liée à l’engagement sur des apprentissages et montraient, de manière très partielle, l’activité des étudiants ayant choisi cette modalité pour créer leurs équipes de travail. Ces expériences ont permis faire un retour d’expérience au Bureau de soutien à l’enseignement (BSE). Parmi les recommandations pour rendre signifiantes les traces d’apprentissage médiatisées, on peut souligner la nécessité d’intégrer les enseignants dans la définition du modèle d’analyse des traces du cours, car cette analyse nécessite prendre en compte l’ingénierie de formation mise en place pour un cours en particulier. Ensuite, il faut considérer que les systèmes d’analyse des traces répondent à des modèles épistémologiques liés à des pratiques enseignantes. Dans des cours universitaires centrés sur les contenus avec une consultation fréquente des ressources mises à disposition, le système de traces peut tenir compte des interactions réalisées avec les contenus des cours ; cependant, dans un cours basé sur une pédagogie par projets, les traces numériques doivent cibler uniquement les activités pouvant rendre compte de l’engagement individuel au sein d’un travail collectif. De manière concrète, le système doit permettre aux enseignants de désactiver l’usage de certaines traces qui pourraient confondre le système, tout en signalant les activités d’apprentissage médiatisées qui pourraient être prises en compte pour l’analyse des étudiants (Liu et al., 2016). Les modules d’analyses des traces d’apprentissage de Moodle présentent actuellement ce type de fonctionnalités, donnant la possibilité aux enseignants de créer des modèles d’analyse adaptés à l’ingénierie pédagogique de leur cours (Luna, Castro et Romero, 2017).

L’articulation entre la démarche éthique et la qualité de la formation, un autre aspect que soulève Peraya (2019) dans son texte de cadrage initial, se retrouve à l’origine même des démarches de standardisation et d’analyse des traces des formations à distance suivant des normes e-learning (Del Blanco et al., 2013). Je terminerai ma contribution au débat en abordant les enjeux des traces comme une démarche d’assurance qualité pour les acteurs industriels. L’apparition des normes SCORM en 2001 correspond à l’émergence des premiers systèmes de traces dans les formations médiatisées. Avec du recul, on peut se rendre compte que l’usage des traces d’apprentissage a pu favoriser d’abord la qualité de la formation. La norme SCORM, l’un des premiers standards des contenus e-learning, a en effet été développée d’abord comme une norme de qualité destinée à suivre le bon déroulement de la formation (Fallery, 2004 ; Gebers et Arnaud, 2004). Pour comprendre les enjeux de cette standardisation, il faut situer ces premières normes dans le contexte de la formation professionnelle dans l’industrie aéronautique. C’est bien l’association internationale de professionnels Aviation Industry Computer Based Training Committee (AICC) qui a développé les premiers standards pour décrire tant l’intégration des objets d’apprentissage dans les dispositifs de formation que les premiers systèmes de traces des apprentissages. Si la recherche permet d’éclairer les démarches qualité et de discuter des modèles à mettre en place pour faciliter l’ingénierie des formations médiatisées, c’est bien au cours de la réalisation de ressources éducatives e-learning pour des entreprises que j’ai pu appréhender les enjeux que représentent les traces d’apprentissage pour les entreprises.

Dans le contexte de la réalisation de contenus de formation e-learning pour la formation de pilotes et de techniciens d’un grand groupe aéronautique nous devions concevoir les ressources éducatives e-learning de manière à pouvoir tracer de manière unitaire pour chaque ressource d’un package SCORM les contenus « appris » par le participant à la formation. Comme conceptrice technopédagogique je devais contribuer à scénariser les ressources e-learning et les réaliser à l’aide du logiciel Adobe Flash. À défaut de pouvoir évaluer correctement les apprentissages réalisés selon une approche par compétences, les traces de consultation des différentes pages de contenu permettent au constructeur aéronautique de s’assurer que chaque apprenant a bien pris connaissance des informations fournies dans cette unité de contenu de formation. Nous pourrions même évoquer les risques des systèmes d’analyses des traces pour l’apprenant. Prenons le cas d’un incident aéronautique. À la suite de cet incident, la compagnie accuse un technicien de ne pas avoir suivi le protocole de changement d’une certaine pièce. D’autre part, le technicien indique qu’il n’a pas été informé du protocole. Si l’entreprise aéronautique dispose des traces d’apprentissage numérique pouvant retracer le moment où le technicien a suivi la ressource e-learning correspondant au protocole de ladite pièce elle peut utiliser cette information contre son technicien. Les traces d’apprentissage numérique peuvent être utilisées par les acteurs industriels dans le cadre d’actions légales. Ils pourraient ainsi attester, en cas d’accident, que la formation avait bien été donnée aux membres du personnel suscpectés d’être responsables de l’incident en question.

Par ces exemples, j’ai souhaité souligner le besoin de développer, chez l’ensemble d’acteurs éducatifs, la compréhension des enjeux des traces éducatives afin d’assurer l’éthique liée à la collecte et l’analyse des traces. Il faut également s’assurer que les participants, dont les traces sont recueillies, puissent être correctement informés afin de fournir ou refuser de donner leur consentement au recueil et à l’analyse des données les concernant. Pour la prise en compte de ces enjeux, il est souhaitable de pouvoir encourager la coopération entre chercheurs en sciences de l’éducation et en sciences du numérique. Cette collaboration doit permettre un regard multidisciplinaire qui pourrait donner lieu à de meilleurs modèles d’analyse de traces d’apprentissage. Il faut par ailleurs engager fortement les enseignants dans la modélisation des systèmes de récolte et d’analyse des traces afin de s’assurer que ces modèles répondent à leurs besoins. Nous sommes face à des chantiers d’envergure afin que l’analyse des traces d’apprentissages médiatisées (Learning Analytics) devienne un atout pour le soutien aux processus d’enseignement et d’apprentissage, tout en respectant les enjeux éthiques liés à la récolte, à l’analyse et à l’usage des données.

Bibliographie

Des DOI (Digital Object Identifier) sont automatiquement ajoutés aux références par Bilbo, l’outil d’annotation bibliographique d’OpenEdition.
Les utilisateurs des institutions abonnées à l’un des programmes freemium d’OpenEdition peuvent télécharger les références bibliographiques pour lesquelles Bilbo a trouvé un DOI.

Bruneau, T. J. (2007). Time, change, and sociocultural communication : A chronemic perspective. Σημειωτκή-Sign Systems Studies, 35(1-2), 89-117.

Cerezo, R., Esteban, M., Sánchez-Santillán, M., et Núñez, J. C. (2017). Procrastinating Behavior in Computer-Based Learning Environments to Predict Performance : A Case Study in Moodle. Frontiers in Psychology, 8, 1403. Récupéré de : https://doi.org/10.3389/fpsyg.2017.01403
DOI : 10.3389/fpsyg.2017.01403

Del Blanco, Á., Serrano, Á., Freire, M., Martínez-Ortiz, I. et Fernández-Manjón, B. (2013). E-Learning standards and learning analytics. Can data collection be improved by using standard data models ? Dans 2013 IEEE Global Engineering Education Conference (EDUCON) (p. 1255-1261).

Fallery, B. (2004). Les trois visions de la formation ouverte et leurs propositions de normes : Standardiser les contenus, les activités ou les interfaces ? Systèmes d’information et Management, 9(4), 11–31.

Gebers, E. et Arnaud, M. (2004). Standards et suivi des apprenants. Distances et savoirs, 2(4), 451–485.

Goda, Y., Yamada, M., Kato, H., Matsuda, T., Saito, Y. et Miyagawa, H. (2015). Procrastination and other learning behavioral types in e-learning and their relationship with learning outcomes. Learning and Individual Differences, 37, 72–80. https://doi.org/10.1016/j.lindif.2014.11.001
DOI : 10.1016/j.lindif.2014.11.001

Kalman, Y. M., Scissors, L. E., Gill, A. J. et Gergle, D. (2013). Online chronemics convey social information. Computers in Human Behavior, 29(3), 1260–1269. Récupéré de : https://doi.org/10.1016/j.chb.2012.12.036
DOI : 10.1016/j.chb.2012.12.036

Liu, D. Y., Taylor, C. E., Bridgeman, A. J., Bartimote-Aufflick, K., Pardo, A. (2016). Empowering Instructors Through Customizable Collection and Analyses of Actionable Information. PCLA@ LAK, 3–9.

Luna, J. M., Castro, C. et Romero, C. (2017). MDM tool : A data mining framework integrated into Moodle. Computer Applications in Engineering Education, 25(1), 90–102.
DOI : 10.1002/cae.21782

Paquelin, D. (2016). D’une université campus à une université multi-modale. Analyse d’une dynamique québécoise, le cas de l’Université Laval. Distances et médiations des savoirs, 16.

Peraya, D. (2019). Les Learning Analytics en question. Distances et médiations des savoirs, 25. Récupéré de : https://journals.openedition.org/dms/3485

Romero, M. (2010). Gestion du temps dans les activités projet médiatisées à distance : le facteur temporel en e-learning. [S.l.] : Éd. universitaires européennes.

Romero, M., Lepage, A. et Lille, B. (2017). Computational thinking development through creative programming in higher education. International Journal of Educational Technology in Higher Education, 14(1), 42.
DOI : 10.1186/s41239-017-0080-z

Shyles, L. (2002). Authenticating, Identifying, and Monitoring Learners in the Virtual Classroom : Academic Integrity in Distance Learning. Presented at the National Communication Association, New Orleans, Louisiana.

Westgate, E. C., Wormington, S. V., Oleson, K. C. et Lindgren, K. P. (2017). Productive procrastination : academic procrastination style predicts academic and alcohol outcomes : Productive procrastination and alcohol. Journal of Applied Social Psychology, 47(3), 124–135. Récupéré de : https://doi.org/10.1111/jasp.12417
DOI : 10.1111/jasp.12417

Pour citer cet article

Margarida Romero, « Analyser les apprentissages à partir des traces », Distances et médiations des savoirs [En ligne], 26 | 2019, mis en ligne le 17 juin 2019, consulté le 27 juin 2019. URL : http://journals.openedition.org/dms/3754

Auteur
Margarida Romero

Laboratoire d’Innovation et Numérique pour l’Éducation (LINE), ESPE de Nice, Université Côte d’Azur

margarida.romero@unice.fr