Les Learning Analytics vus par Vanda Luengo

Un article entretien de Daniel Peraya et Vanda Luengo repris de la revue Distances et Médiations des Savoirs, une publication sous licence CC by sa

Le texte de cette contribution a pour origine un entretien réalisé par Skype le 22 août 2019 (50 minutes). Il a été rédigé par D. Peraya et relu par V. Luengo. Nous avons décidé d’un commun accord de conserver certaines caractéristiques du langage oral initial.

D. P. : Si nous commencions par ce qui divise les chercheurs : la posture épistémologique et les approches inductive et déductive…

V.L : Je rappellerai tout d’abord que l’on a souvent tendance à penser ou à affirmer que les Learning Analytics consistent en des procédures d’analyse statistique. Mais en réalité cette définition est incomplète, car on utilise aussi des procédures informatiques (algorithmiques), notamment dans la recherche de patterns, de comportements ou plus généralement de récurrences de phénomènes. Cela dit, je voudrais revenir sur la question épistémologique, sur celle de l’approche scientifique, qui touche au choix d’un modèle d’analyse soit inductif soit déductif. Tout d’abord, les LA ne se limitent pas à une approche explicative. Pour ma part, mes travaux s’appuient sur les propositions de Gartner qui distingue quatre types d’analyse des LA, quatre approches de difficulté croissante : descriptive (What happened ?) ; diagnostique (Why did happen ?) ; prédictive (What will happen ?) ; prescriptive (How can we make it happen ?) (Davenport, Harris et Morris, 2010 ; Van Harmelen et Workman, 2012). Dans les deux premiers cas, la méthode déductive est tout à fait pertinente et son usage classique. Cette approche est d’ailleurs bien antérieure à l’émergence de LA et à son succès actuel.

Les données permettent de valider des hypothèses qui découlent de théories et de modèles issus des sciences sociales, de la psychologie de l’apprentissage, des différents domaines des sciences de l’éducation, de la didactique, de la psychologie de l’apprentissage ou encore de l’ergonomie. Dans d’autres cas, la démarche consiste à travailler sur des données de manière « non supervisée », c’est-à-dire que les chercheurs n’ont à propos de ces données aucune attente a priori. On découvre ainsi des phénomènes qui, le plus souvent, peuvent alors être mis en rapport avec des modèles et des théories qui permettent de les expliquer.

C’est en tout cas de cette façon que je mène mes recherches. Par exemple, dans le cadre d’analyse de l’apprentissage et dans une perspective prédictive, il est rare que la prédiction d’un certain type d’erreurs ne puisse être expliquée au regard d’une théorie. Si l’on fait du clustering, on va distinguer des groupes et même si la démarche de distinction de ces groupes a été menée sans aucun a priori théorique, ce sont bien les théories qui vont permettre d’expliquer les distinctions entre ces groupes. Un autre exemple tiré de mes travaux personnels est l’utilisation des LA pour traiter les données d’oculométrie et des données d’interactions factuelles dans le cadre d’une recherche menée avec de collègues de sciences de l’éducation qui utilisent une méthode d’observation issue des sciences de l’éducation – CLASS – les comportements d’interactions de l’enseignant avec ses étudiants durant la classe (Dessus, Cosnefroy et Luengo, 2016). Dans cette étude, les résultats de l’observation et de l’annotation des interactions (méthode CLASS et ceux du traitement des données oculométriques et des données factuelles qui ne proviennent pas de l’annotation par des observateurs humains) ont permis de valider des hypothèses formulées partir de théories et de modèles issus des SHS (triangulation des méthodes). En France d’ailleurs, il me semble que, dans le cadre d’équipes pluridisciplinaires, on travaille principalement selon une approche déductive.

D. P. : Venons-en aux données dont la nature est souvent mise en cause.

V.L. : Je préciserais encore qu’il existe une différence importante entre Data Mining et Learning Analytics. Les équipes, les approches ne sont pas les mêmes. Dans le premier cas, il s’agit plus de produire des connaissances sur les méthodes et algorithmes permettant de produire des connaissances à partir des données tandis que dans le second il s’agirait d’une approche plutôt explicative permettant la prise de décision. Le Data Mining, et c’est là tout son intérêt, permet d’identifier des phénomènes que l’on n’avait jamais pu observer auparavant et que les théories permettent ensuite d’expliquer et de comprendre. J’ai vécu une telle situation à l’occasion de mes travaux antérieurs en médecine (Toussaint, Luengo et Jambon, 2017). Nous avions construit un modèle didactique extrêmement pointu qui décrivait les connaissances et leurs modalités d’évaluation (Luengo, Vadcard, Tonetti et Dubois, 2011). L’analyse des données a fait apparaître des phénomènes, par exemple des erreurs de comportements, que nous n’avions pas anticipés et donc qui n’avaient pas été pris en compte dans la modélisation initiale et que nous ne pouvions donc pas expliquer. Avec le temps, en multipliant les analyses, à travers des processus itératifs, il a été progressivement possible de les expliquer (Toussaint et al., op. cit.).

En fin de compte, pour moi, la principale différence ne réside donc pas dans l’approche scientifique puisque les deux approches, déductive et inductive, peuvent être complémentaires en SHS, mais bien dans le type de données à partir desquelles se font les analyses. Il y a quinze ans, les données habituellement recueillies étaient observées et déjà labélisées ou étiquetées à travers des conceptions et des cadres de référence a priori alors qu’actuellement les traces, que nous recueillons sont des faits qui ne sont soumis à aucun a priori. Certes, nous pouvons les interpréter ou non, mais ce sont des faits qui ne sont pas construits pour les besoins de l’analyse. Cette approche peut apporter des perspectives intéressantes dans la mesure où l’on n’a pas d’a priori d’observation, mais elle peut aussi amener des difficultés ou des utilisations qui ne peuvent être soutenues scientifiquement parlant, car elles manquent de contexte. Par ailleurs certains chercheurs, notamment Alain Mille [1] et Sébastien Iksal [2], proposent une démarche dans laquelle on déclare a priori le modèle de trace permettant la collecte. Cette démarche sera donc plutôt déductive, puisque dans le modèle on embarque des hypothèses d’observation.

À propos des données, je parle souvent de « données épaisses ». Je m’explique. Ce qui me gêne dans de nombreuses recherches utilisant les LA, menées en dehors d’une perspective et d’une équipe pluridisciplinaires, c’est qu’elles cherchent à valider des démarches, des procédures, des méthodes statistiques et/ou algorithmiques, mais qui ne font pas apparaître un intérêt suffisant du point de vue de l’apprentissage et de l’enseignement. Par exemple, quand on travaille sur la notion de décrochage dans les MOOC, se baser uniquement sur les traces d’utilisation des vidéos, les logs de connexions me semblent insuffisants dans la mesure où l’on ne prend en compte ni le contexte pédagogique, ni le contenu de la vidéo ni l’activité d’appropriation de celui-ci par l’apprenant. Ce que j’appelle une donnée épaisse est une donnée qui décrit l’activité de l’apprenant de façon plus fine, comme on peut le faire dans un EIAH : je peux savoir que l’apprenant a construit un point, un segment, qu’il a déplacé la figure. Je peux donc reconstituer la sémantique de l’action qui est liée au processus d’apprentissage. J’ai aussi avancé la notion de donnée hétérogène qui est liée à celle d’épaisseur. Il y a bien sûr plusieurs formes d’hétérogénéité de la donnée, mais j’utilise le terme dans l’acception que voici. Il s’agit de multiplier les traces qui décrivent une action de l’apprenant afin d’enrichir le plus possible la description de celle-ci, autrement dit de lui donner cette épaisseur. Il convient donc de croiser plusieurs traces de nature différente relative à la même action de l’apprenant : je peux par exemple savoir que celui-ci a déplacé un objet (trace dans l’EIAH), quels sont les gestes qu’il a effectués, quels sont les événements (déplacement de la souris, par exemple) qui se sont déroulés et ce qu’il a regardé au même moment (donnée oculométrique). Idéalement, il est donc question de décrire exhaustivement l’activité par l’ensemble des paramètres observables et objectivables qui la constituent. Je dirai aussi que les données recueillies dans les EIAH ont plus d’épaisseur que celles que l’on peut récolter dans les MOOC, sans doute car les premiers sont plus orientés vers l’apprentissage et vers la recherche que vers la diffusion à grande échelle : leur ingénierie est donc différente.

Je pense que ces deux notions, l’épaisseur de la donnée et son hétérogénéité permettent de mieux rendre compte de la complexité du phénomène étudié ce qui du point de vue méthodologique, je le concède, n’est jamais une tâche aisée.

D.P. : Pourrait-on dire que le passage de la donnée factuelle à la donnée épaisse et hétérogène passe par une prise en compte du contexte dans lequel se déroule l’activité d’apprentissage ?

V. L. : En sciences de l’éducation, la description des contextes (pédagogique, didactique, physique, etc.) est une tâche complexe, mais pourtant essentielle pour déterminer le domaine de validité des résultats. Par exemple, des algorithmes très intéressants et pointus utilisés pour étudier le décrochage dans un MOOC ne sont nécessairement exploitables dans un autre MOOC, différent par la discipline, le contexte régional, etc., et linguistique de conception et de diffusion. Ils le seront encore moins dans une classe présentielle où l’on utilise un EIAH dont les dimensions contextuelles (objectifs, approches pédagogiques, publics, ingénierie, environnement, etc.) sont très différentes. Pour cette raison, j’insiste beaucoup sur la nécessité de décrire et de documenter de manière très précise toutes les caractéristiques du contexte de chaque recherche. La connaissance de ce dernier définit bien sûr le domaine de validité de la recherche, mais elle constitue aussi l’une des conditions de sa réplicabilité et, par conséquent, de sa validité scientifique.

Dans cette perspective, je pense profondément qu’il est plus important de partager les méthodes, les processus et les protocoles d’analyse que les données elles-mêmes. Si l’interopérabilité des données entre les plateformes, les chercheurs, les équipes n’est pas entièrement résolue, des solutions techniques commencent à exister. Par contre, de nombreuses raisons rendent ce partage difficile. Il y a d’abord, de façon très pragmatique, les chercheurs qui craignent la concurrence et refusent donc de partager leurs données avant de les avoir exploitées et d’avoir publié leurs résultats. Ensuite, d’un point de vue éthique, les réglementations et notamment le RGPD rendent le partage plus compliqué d’autant plus que dans mon domaine par exemple, celui de l’adaptation et de la personnalisation, anonymiser les données n’a évidemment aucun sens. Le partage impliquerait dans ces cas la suppression de tellement d’informations, un tel appauvrissement des données, que celles-ci ne seraient quasiment plus intéressantes.

En ce qui concerne le partage des processus d’analyse, on est moins avancé et pourtant, du point de vue de la démarche scientifique, partager ces processus me paraît essentiel. Un tel partage est en effet la condition même de la réplicabilité des recherches scientifiques. C’est pour cette raison que j’ai construit avec des collègues de plusieurs équipes françaises le projet HUman oBservatory Based on anaLysis of e-LEarning traces (HUBBLE, ANR 2014) qui avait pour problématique centrale ces différentes questions. Nous cherchions aussi à mesurer la distance « intercontextuelle » entre deux recherches, entre leurs deux contextes. Mon hypothèse est que du degré de proximité de ces contextes dépend la possibilité d’appliquer et de transférer à un nouveau contexte les processus d’analyse utilisés dans le premier contexte. Concrètement, la question est de savoir comment pouvoir évaluer deux contextes afin de pouvoir les considérer comme équivalents ou suffisamment proches pour répliquer les procédures utilisées dans le premier au second. Pour l’instant, du point de vue de la méthodologie, nous utilisons une analyse sémantique menée par un observateur humain sur la base d’une analyse critériée des contextes. Du point de vue informatique, il n’est pas impossible de modéliser cette approche de la distance intercontextuelle, mais c’est un projet et le domaine est encore jeune.

Aujourd’hui, dans mon labo, et dans le domaine des EIAH, nos travaillons beaucoup sur ces problèmes épistémologiques et méthodologiques qui sont récurrents et qui ne concernent d’ailleurs pas seulement les LA. Il s’agit de questions essentielles de la démarche scientifique qui touchent à la validité et à la généralisation de toute recherche ainsi qu’à la capitalisation des résultats et, par voie de conséquence, au développement même de notre domaine.

D.P. : Dans plusieurs interventions récentes, notamment lors de votre intervention aux « rencontres universitaires : pédagogie et numérique » en novembre 2018 (run.2018) [3], vous faisiez la distinction, dans votre travail, entre la recherche et la « vraie vie »…

V. L. : C’est vrai et la distinction est importante. Si aucune question n’est inintéressante du point de vue la recherche (le travail de mes doctorants en est la preuve), dans mon contexte actuel je considère les LA comme un outil de décision pour agir sur les pratiques pédagogiques au sein de mon université. Aujourd’hui, je suis responsable du centre d’innovation pédagogique de celle-ci et c’est dans ce contexte que j’essaie d’utiliser les LA pour faire évoluer les pratiques pédagogiques de mes collègues, des scientifiques, qui sont vraisemblablement plus sensibles à ce type de données et de résultats qu’aux modèles théoriques des SHS. Je dois donc prendre un certain nombre de décisions relatives à des questions qui orientent le choix de mes données et leurs modalités de traitement. Mais il est clair pour moi qu’avant de m’engager dans une quelconque recherche-action, je dois m’assurer du degré d’acceptabilité de la décision potentielle. La question principale est de savoir si l’utilisation des LA peut contribuer à un changement réel, sinon je ne crois pas que cela vaille la peine. La distinction que je pose ainsi de façon un peu sommaire entre la recherche et la vraie vie est celle qui définit les deux grandes communautés internationales. EDM plus centrées sur la recherche et la validation d’algorithmes ou de modèles d’une part, et d’autre part SoLAR qui se préoccupe davantage de donner aux acteurs un retour sur leurs pratiques et l’appropriation des environnements afin de les faire évoluer [4].

Par contre, ma frustration provient souvent de la difficulté à trouver des données d’épaisseur dans ces conditions écologiques. En situation expérimentale ou quasi expérimentale, comme cela a été le cas avec les logiciels de géométrie ou de chirurgie orthopédique sur lesquels j’ai beaucoup travaillé, c’est évidemment beaucoup plus simple. Je pense que plus les données sont massives, plus elles sont factuelles et donc moins elles possèdent d’épaisseur au sens où j’ai défini cette notion ci-dessus. Ensuite, nous rencontrons une autre difficulté qui sans aucun doute nuit aux résultats que nous pouvons obtenir. Je le disais récemment (Luengo, 2019), aux États-Unis, les chercheurs en IA et éducation s’installent dans une école pour dix ans : ils s’inscrivent donc dans une perspective longitudinale qui leur permet de comprendre en profondeur les phénomènes observés grâce à la capitalisation des données, des processus d’analyse et des résultats. En France, je suis persuadée que nos travaux souffrent d’un mode de financement à court terme (trois, quatre ans) qui ne permet pas une telle capitalisation. Elle est pourtant indispensable. Aussi une approche de type Design Based Research serait une solution acceptable en France aujourd’hui comme sans doute dans nos pays francophones. Certains collègues, par exemple Eric Sanchez, se positionnent dans cette perspective.

D.P. : Revenons au point de vue éthique. Les intervenants à ce débat (DMS n° 26) ont souligné l’importance de la transparence et de l’implication des utilisateurs dans le choix de données, dans leur traitement et dans l’utilisation des résultats. La complexité des processus, notamment des dimensions statistiques et informatiques, rend leur compréhension pour des personnes non expertes bien évidemment très difficile. Comment résoudre cette difficulté ?

V.L. : Je n’ai malheureusement aucune réponse scientifique à cette question pourtant importante. J’ai quelques expériences de terrain qui concernent l’utilisation des tableaux de bord qui montrent que ce nous croyons évident ne l’est nullement pour les utilisateurs finaux. Il faut impérativement une transparence, il faut que les processus et les algorithmes soient accessibles aux utilisateurs aux enseignants. Par contre, je ne pense pas qu’il faille leur donner les compétences statistiques et informatiques nécessaires à la compréhension des protocoles et des processus, bien que certains collègues le recommandent. Dans mon domaine d’intérêt, celui des tableaux de bord, la solution réside sans doute dans la confiance qu’accordent les enseignants et les utilisateurs aux informations qui leur sont restituées. On peut se demander si une labellisation officielle ne pourrait pas être créée par le ministère en collaboration avec des scientifiques. À condition bien sûr qu’elle soit acceptée par les enseignants, cela pourrait constituer une réponse adéquate à ce problème, sachant qu’il s’agit en effet d’une boîte noire qui le restera pour un grand nombre d’entre eux. Mais il faut néanmoins qu’elle soit accessible.

D.P. : Les membres du projet LACE [5], cherchaient à identifier les scénarios les plus crédibles, des points de vue de leur désirabilité comme de leur faisabilité, dans une perspective à moyen terme. Pour conclure, quels sont les principaux résultats que vous en retiendriez ?

V.L. : L’un des résultats marquants de cette analyse prospective va dans le sens de ce que nous évoquions à l’instant : que les LA deviennent une approche partagée, ouverte et accessible à tous est une perspective hautement désirable bien qu’elle paraisse moyennement faisable. Un deuxième scénario concerne de l’apport des LA dans le développement de l’auto-apprentissage ce qui va permettre à l’enseignant de changer de rôle et de posture. Il deviendra ainsi progressivement un accompagnateur du processus d’apprentissage plus qu’un transmetteur de connaissances. Ce scénario ne semble pas très innovant dans la mesure où c’est une des tendances actuelles en éducation, largement soutenue par l’usage des technologies. Mais les LA peuvent être considérées comme une des technologies qui peut grandement contribuer à cette transformation de la posture de l’enseignant. Une autre proposition est moins optimiste, puisqu’elle postule la faillite des LA dans la mesure où les apprenants pourraient déjouer les procédures mises en œuvre et donc « tricher » avec le système, faire croire au système qu’ils font autre chose que ce qu’il font réellement.

D.P. : Pour conclure, pourquoi ces scénarios d’utilisation des LA vous passionnent-ils ?

V.L. : En dehors de toute visée prospective, ces scénarios m’intéressent dans mes enseignements de master en sciences de l’éducation avec des étudiants qui enseignent déjà. Je peux ainsi leur faire prendre conscience du potentiel des LA et ils peuvent imaginer des utilisations pertinentes dans leur propre contexte. Ce sont donc des instruments de formation. À la question de savoir quel est le meilleur scénario à l’horizon 2025, je suis bien incapable de répondre du point de vue scientifique. Qui pourrait d’ailleurs le dire… Mais je suis très intéressée à voir si nous sommes capables de mettre en œuvre ce premier scénario, nous avons les connaissances, les algorithmes, mais en aurons-nous la capacité ?

Bibliographie

Des DOI sont automatiquement ajoutés aux références par Bilbo, l’outil d’annotation bibliographique d’OpenEdition.

Les utilisateurs des institutions qui sont abonnées à un des programmes freemium d’OpenEdition peuvent télécharger les références bibliographiques pour lequelles Bilbo a trouvé un DOI.

Dessus, P., Cosnefroy, O. et Luengo, V. (2016). Keep Your Eyes on “em all !” : A Mobile Eye-Tracking Analysis of Teachers’ Sensitivity to Students. Dans K. Verbert, M. Sharples et T. Klobučar (dir.), 11th European Conf. on Technology Enhanced Learning (EC - Tel 2016) (p. 72-84). Lyon, France : Springer.

Davenport, T., Harris, J. et Morison, R. (2010). Analytics at Work, Harvard Business School Publishing Corporation. Récupéré le 5 septembre de http://blogs.gartner.com/matthew-davis/top-10-moments-from-gartners-supply-chain-executive-conference/

Luengo, V., Vadcard, L., Tonetti, J. et Dubois, M. (2011). Diagnostic des connaissances et rétroaction épistémique adaptative en chirurgie. Revue d’Intelligence Artificielle, 25(4), 499-524.
DOI : 10.3166/ria.25.499-524

Luengo, V. (2019, 14 février). Un environnement de recherche nouveau. Intervention à la Journée « Intelligence artificielle », CIEP. Récupéré le 5 septembre de https://www.ciep.fr/actualites/2019/02/11/journee-intelligence-artificielle et de https://www.youtube.com/watch ?v =xpl0WcvxSVY&t =83s

Toussaint, B. M., Luengo, V. et Jambon, F. (2017). Analyse de connaissances perceptivo-gestuelles dans un Système Tutoriel Intelligent. Sciences et Technologies de l’Information et de la Communication pour l’Éducation et la Formation (STICEF).

Van Harmelen, M. et Workman, D. (2012). Analytics for learning and teaching. JISC CETIS Analytics Series, 3, 1-41.

Référence électronique

Daniel Peraya et Vanda Luengo, « Les Learning Analytics vus par Vanda Luengo », Distances et médiations des savoirs [En ligne], 27 | 2019, mis en ligne le 13 octobre 2019, consulté le 18 novembre 2019. URL : http://journals.openedition.org/dms/4096