Caractériser les vidéos de MOOC et leur place dans les dispositifs pour mieux interpréter les analyses de traces d’interaction

Un article de Mathieu Cisel publié dans la revue Distances et Médiations des Savoirs, une reviue sous licence CC by sa

Introduction

Les analyses même sommaires de dispositifs suggèrent que les vidéos pédagogiques constituent généralement l’un des éléments centraux d’un MOOC. L’expérience montre en effet que la plupart de ces cours n’ont d’ailleurs pour seules activités évaluées que des exercices automatisés portant sur le contenu de ces vidéos, les interactions sur les forums de discussion étant marginales sur le plan quantitatif (Cisel, 2016). Il est dès lors souhaitable que la communauté scientifique renouvelle la réflexion sur la question, et c’est donc avec un certain plaisir que j’ai appris l’existence de cette série d’articles susceptibles de faire avancer le débat sur la question (Peraya, 2017). Ma contribution se décline en deux axes, qui correspondent à autant de pistes de recherche qu’il me semblerait utile et nécessaire de développer dans des travaux à venir.

Le premier axe porte sur l’analyse des attributs de ces vidéos, analyse visant à mieux comprendre la logique qui sous-tend la conception de ces MOOC. En d’autres termes, il s’agit à travers cette analyse de déterminer s’ils se rapprochent davantage du documentaire, du cours universitaire, du blog vidéo ou d’autres formes de dispositifs, afin de fournir des interprétations plus pertinentes des indicateurs de performance tels que le nombre d’inscrits ou le taux de certification, ou tout autre indicateur fondé sur les traces d’interaction. À cet égard, je pense également « que l’approche proposée, explicitement désignée comme une approche “dispositive” (Aïm & Depoux, 2015, § 4) pourrait être appliquée avec succès à propos de toutes les vidéos des MOOC, et bien sûr des MOOC eux-mêmes » (Peraya, 2017).

Le second axe s’inscrit davantage dans la lignée des travaux que j’ai menés au cours de mes recherches doctorales. Il porte sur les utilisations qui sont faites de ces vidéos et sur l’interprétation de telles utilisations. On trouve un certain nombre de travaux fondés sur des traces reflétant les actions réalisées sur des vidéos, en particulier dans la littérature anglo-saxonne (Anderson et al., 2014 ; Kizilcec, Piech et Schneider, 2013). Néanmoins, ces travaux sont rarement théorisés, et je milite en faveur d’une synthèse entre une approche théorique à la française de l’analyse des dispositifs, et un ancrage empirique solide fondé sur l’analyse de traces d’interaction avec les vidéos. Plus précisément, j’ai pu constater au cours de ma thèse (Cisel, 2016) que l’un des manques criants des travaux portant sur ces traces réside dans la relative ignorance de la manière dont les vidéos étudiées s’intègrent dans le dispositif, une méconnaissance de la logique instrumentale du dispositif (Albero, 2010). Or on ne saurait faire l’économie d’une étude de la place des vidéos dans le dispositif, du rôle qu’elles y jouent, si l’on souhaite pleinement interpréter les utilisations qui en sont faites. Pour ne pas me cantonner à des propos incantatoires, je tâcherai d’illustrer cette position par quelques analyses auxquelles j’ai été confronté en tant que jeune chercheur.

Posture de l’auteur

Avant d’entamer la discussion, précisons que, comme Bruillard (2017), je parle du point de vue du chercheur en sciences de l’éducation spécialisé dans les technologies éducatives, mais aussi de celui du concepteur de MOOC, et donc de vidéos pédagogiques. J’ai coordonné la conception du MOOC Monter un MOOC de A à Z, au sein du laboratoire STEF, berceau de la série de MOOC eFAN. Enfin, ma thèse de doctorat porte sur les indicateurs de performance dans les MOOC – plus particulièrement sur la question des taux de certification – et beaucoup des analyses sur les vidéos que je suggère ici correspondent à des recherches que je n’ai pu mener moi-même, mais qui me semblent indispensables à l’avancement de la réflexion sur ces sujets. Ces précisions étant données, commençons par introduire une première piste de recherche, celle de la catégorisation de ces dispositifs sur la base de leur fonction et du public auquel ils s’adressent, travail qui impose de se pencher sur les attributs des vidéos.

De l’intérêt de catégoriser les vidéos pour appréhender la logique du dispositif

Mes travaux de thèse m’ont amené à réaliser un certain nombre d’entretiens avec des concepteurs d’une part, et à analyser des pages de présentation de cours d’autre part. Ce travail s’il a permis de prendre la mesure de la complexité de la situation, laisse de nombreuses questions en suspens. En apparence, et des auteurs comme Vrillon (2017) l’ont constaté avec moi, ces dispositifs semblent s’adresser à un public varié, constitué d’adultes aux motivations tout aussi diverses, et rarement exclusivement à un public d’étudiants inscrits dans un cursus académique. Les entretiens avec les concepteurs de MOOC suggèrent néanmoins que si des adaptations conséquentes ont été réalisées pour prendre en considération les caractéristiques supposées de ce public, ces dispositifs ont le plus souvent comme origine un cours académique délivré à des étudiants en formation initiale. Certes, les auteurs déclarent que le vocabulaire qu’ils mobilisent est simplifié, que des raccourcis sont faits. Mais qu’en est-il des adaptations effectives du contenu des formations académiques initiales ? Au-delà des intentions de leurs concepteurs, à quoi les MOOC s’apparentent-ils davantage au final ?

Tel cours d’astrophysique se fonde sur une conférence de vulgarisation visant le grand public, et correspond à ce que Bruillard (2017) nomme le MOOC « documentaire ARTE ». Tel autre cours de droit s’adressait initialement à un public d’adultes en formation continue, et suit une logique correspondante. Le dernier est un cours en présentiel filmé et tronçonné en capsules vidéos courtes. Dans ce dernier cas, « les choix de médiatisation et de scénarisation sont clairement ceux de la transmission des contenus indépendamment de toute réflexion comme de toute prise en compte et des médias et de leurs attributs spécifiques » (Peraya, 2017). Les différences dans les « dispositifs de magistralité » (Aïm et Depoux, 2017) sont bien trop important pour être négligées lors d’une réflexion sur les indicateurs de performance.

En effet, les statistiques d’inscription dithyrambiques annoncées à cor et à cris n’ont que peu de sens si l’on ne conçoit pas clairement à quoi s’apparentent les MOOC. À budget constant, mille personnes qui visionnent un documentaire, cela n’a pas la même signification que mille personnes qui terminent une formation pour adultes ou un cours universitaire. Le raisonnement est simple, il reste à théoriser. Il existe selon nous un enjeu certain à ce que la recherche aille au-delà de ces considérations issues du sens commun d’une part, et donne un ancrage empirique à la réflexion d’autre part. Et sur ce second point, l’on ne saurait se contenter indéfiniment d’entretiens avec des concepteurs.

L’analyse du contenu des vidéos, de leurs attributs, constitue une étape nécessaire dès lors que l’on souhaite déterminer s’ils relèvent davantage du cours universitaire ou du documentaire, de la formation continue ou du blog vidéo. Car s’il est indéniable, comme le rappelle Peraya (2017), qu’une certaine standardisation de la durée des vidéos et de la formation s’est opérée, rien ne laisse penser que cela soit le cas des registres de langages utilisés, ou des divers éléments susceptibles de nous aider à réaliser ce travail de catégorisation.

C’est donc à ce stade que nous rejoignons l’une des réflexions qui a cadré ce débat, à savoir la comparaison entre les vidéos de MOOC et la télévision éducative. Il est difficile d’appréhender la pertinence d’une telle comparaison sans s’attacher à décrire les attributs de telles vidéos. Bien évidemment, il ne s’agit pas de reproduire un travail purement descriptif, tel que celui mené par Guedes da Silva et al. (2016) où l’analyse mobilise avant tout des critères techniques et contextuels. On ne saurait se satisfaire de savoir si la caméra cadre sur l’enseignant ou si la vidéo intègre de nombreuses images d’archives. Si de tels attributs peuvent être éventuellement analysés, le travail de catégorisation doit nécessairement se fonder sur des « typologies descriptives des vidéos pédagogiques basées sur leurs fonctions pédagogiques (information, feedback, contextualisation, ressources authentiques, etc.) ou certaines de leurs dimensions intrinsèques (longueur, style, etc.) » (Peraya, 2017).

Comprendre le rôle des vidéos dans le dispositif pour interpréter les analyses de traces

Ce n’est qu’une fois cette tâche réalisée que l’on pourra pleinement appréhender ce que signifie la délivrance d’un millier de certificats. Ce travail de caractérisation de la logique du dispositif sur la base de l’analyse du contenu de ses vidéos est néanmoins insuffisant dès lors que l’on s’intéresse aux utilisations qui sont faites de ces vidéos, et en particulier à l’écart entre activité prescrite et activité effective des utilisateurs.

Cet écart est sans grande surprise important dans ces dispositifs où l’inscription est gratuite et le degré de contrainte minimal. Les analyses de traces d’interaction montrent ainsi qu’un certain nombre d’utilisateurs visionnent la plupart des vidéos sans obtenir le certificat, et que l’inverse est tout aussi vrai (Kizilcec et al., 2013 ; Anderson et al., 2014). Une proportion non négligeable d’apprenants s’attaquent aux activités évaluées du certificat sans consulter les vidéos en amont, voir sans les consulter du tout. Ce type de comportement stratégique est exemplifié par cet extrait issu de l’article de Bruillard (2017), qui a lui-même testé dans un MOOC sa capacité à obtenir le certificat en passant le moins de temps possible à visionner des vidéos :

« J’ai souhaité adopter, dans le suivi de ce MOOC, le comportement des apprenants stratégiques, que l’on avait détecté depuis plusieurs années, cherchant à obtenir le certificat à moindres frais. Je suis parti des questions des quiz pour trouver le plus vite possible la réponse dans les vidéos ou dans les fichiers PDF associés. J’ai pu tester l’efficacité de cette technique et obtenir un certificat avec un très bon score de 94 %, en travaillant moins de 3 heures au total… mais en apprenant uniquement les quelques points mis en exergue dans les questions. »

Voilà une stratégie particulièrement intéressante, qui constitue à mon sens un objet d’étude propice à la synthèse de diverses méthodes et approches théoriques. Après avoir exposé quelques considérations sur l’intérêt des traces d’interaction et des méthodes mixtes pour aborder ce type de question, nous reviendrons sur l’importance d’une analyse de la place des vidéos dans le dispositif pour interpréter ce type de comportement.

Rappelons que les méthodes mixtes (Creswell, 2009 ; Ivankova, Creswell et Stick, 2006) correspondent à l’hybridation d’approches quantitatives et qualitatives pour l’étude d’un phénomène. Force est de constater que malgré leur intérêt potentiel, elles n’occupent que peu de place dans les articles de recherche, en particulier dans le domaine des MOOC (Raffaghelli, Cucchiara et Persico, 2015). Dans le cas présent, l’approche quantitative peut être incarnée par l’analyse des traces d’interaction. De manière générale, les actions réalisées par les utilisateurs sur les vidéos sont faciles à stocker : lecture, téléchargement, interruption, etc. Multipliez cela par le nombre parfois conséquent d’utilisateurs, et ce sont des Téraoctets de données qui sont collectées. De quoi donner le vertige à tout chercheur féru d’approches quantitatives. Pour peu que l’on ait un partenariat avec les platesformes d’hébergement, l’on peut obtenir des données sur des centaines de milliers voire des millions d’individus. Enfin, à condition d’avoir quelques notions de base sur la gestion de données massives, il devient possible, à peu de frais, de décrire un phénomène macrosocial, que les approches qualitatives permettent ensuite de mieux interpréter.

Dans le cas qui nous intéresse ici, les traces permettent de voir que le type de comportement décrit par Bruillard (2017) n’est en rien anecdotique. Elles nous autorisent à visualiser l’assiduité des certifiés, comprise comme la proportion des vidéos effectivement visionnées, ainsi que l’utilisation des vidéos qui est faite par les non-certifiés. On peut sur leur base également analyser quel est l’ordre de réalisation des activités évaluées et de visionnage des vidéos. Néanmoins, il est difficile de sortir d’une logique purement descriptive si l’on se borne à décrire les résultats de telles analyses de traces. Et si l’on souhaite que l’interprétation de telles données ne se cantonne pas à des spéculations de sens commun dénuées de fondement empirique, une analyse qualitative du phénomène, fondée notamment sur une analyse des dispositifs, s’impose. Car, le risque guette de tomber dans une fascination pour l’analyse quantitative, et de succomber aux sirènes d’une approche athéorique de la question. Nombreux sont les travaux produits outre-Atlantique qui semblent avoir ce travers (Guo et al., 2014), remarque qui fait écho à la critique que Peraya (2017) fait de l’approche résolument empirique de Guedes da Silva et al. (2016).

En termes de théorisation, nous pensons comme Roland (2017) que l’approche instrumentale constitue un angle d’attaque intéressant pour analyser les utilisations qui sont faites des vidéos. « Dans cette approche instrumentale, l’instrument est conçu comme étant une entité mixte, comprenant une composante artefactuelle et une composante constituée d’un ou de plusieurs schèmes d’utilisation, eux-mêmes souvent liés à des schèmes d’action plus généraux » (Roland, 2017, § 12). On peut s’intéresser ici à un double mouvement, celui qui consiste à réinvestir « des schèmes familiers, déjà constitués (l’instrumentation) », et celui qui consiste à produire « de nouveaux schèmes afin d’atteindre les buts visés (l’instrumentalisation). » C’est en particulier ce processus d’instrumentalisation, illustré par Bruillard (2017), qui doit retenir l’attention, tant il est source d’écarts entre usages prescrits et usages effectifs. La notion de catachrèse semble tout indiquée pour approfondir le raisonnement. Une fois déterminé l’ancrage théorique de la réflexion, reste à choisir une approche méthodologique. La première impulsion consiste à étudier ce double processus d’instrumentation et d’instrumentalisation au travers d’entretiens réalisés auprès d’utilisateurs de MOOC. La démarche est on ne peut plus légitime, mais elle gagnerait à être complétée par une analyse des dispositifs dont les traces sont étudiées.

Force est de constater qu’il existe des différences sensibles d’un cours à l’autre quant aux utilisations qui sont faites des vidéos (Anderson et al., 2014 ; Cisel, 2016). J’avais été confronté à la question en étudiant un échantillon de cours français organisés sur Coursera. Je constatais que pour certains cours, les certifiés et les non-certifiés regardant l’ensemble des vidéos étaient en proportions équivalentes. Dans d’autres, cette seconde catégorie d’utilisateurs était virtuellement inexistante. Et plusieurs collègues firent outre-Atlantique des observations analogues sur la base d’échantillons de cours (Kizilcec et al., 2013).

Reste que l’on peut difficilement interpréter de telles différences si l’on fait l’économie d’une approche dispositive. Il n’est néanmoins guère surprenant qu’une telle approche ne soit pas employée lors d’analyses de traces d’interaction. Les compétences et les cadres théoriques mobilisés dans ces différentes approches méthodologiques sont fort distincts. Cependant, peut-être serait-il temps de lever l’aporie, et je suis persuadé que l’analyse de la place des vidéos dans le dispositif constitue une piste féconde à cet égard. On ne saurait analyser de la même manière les traces d’un cours dont les vidéos sont relativement indépendantes les unes des autres, comme c’est le cas de certains MOOC de la série eFAN (enseigner et former avec le numérique) (Bruillard, 2017), et des MOOC dont les vidéos sont constituée d’un cours universitaire unique saucissonné en capsules de quelques minutes.

En effet, il serait curieux de ne pas prendre en compte le fait que l’équipe pédagogique enjoint parfois l’utilisateur à se réapproprier le cours de diverses manières. Dans de nombreux cas, l’on ne peut en aucune façon parler de détournement du dispositif lorsqu’un utilisateur ne suit pas linéairement la séquence des vidéos. Et pourtant, dans la pratique, l’analyse des traces et celle du dispositif se font généralement de manière désarticulée, car il est difficile de mener de front deux approches aussi distinctes. Il conviendrait dans l’idéal de les hybrider, mais les conditions sont rarement réunies pour qu’une telle approche se concrétise. Voilà un programme de recherche qui nous permettrait de lever les oppositions stériles que l’on semble entrapercevoir au détour de certaines rencontres scientifiques.

Comment réaliser une telle articulation ? Quelles méthodologies mobiliser pour que l’hybridation de ces deux démarches ne se fasse pas au détriment d’une certaine rigueur méthodologique ? Autant de questions auxquelles je laisserai à d’autres le soin de répondre, du moins pour le moment. Si je ne suis pas moi-même parvenu au cours de mes recherches doctorales à réaliser cette synthèse que j’appelle de mes vœux, je reste persuadé qu’elle constitue une approche féconde. D’aucuns nous prédisent que l’approche à la française des sciences de l’éducation ou de l’information et de la communication sera à terme balayée par les « Big Data » et les analyses quantitatives qui leur sont consubstantielles. Voilà une opposition qui me semble vide de sens, malheureusement incarnée dans les confrontations inopportunes mais néanmoins récurrentes, entre qualitatif et quantitatif, entre primat à l’empirie et primat à la théorie. Il reste à prouver que les synthèses sont non seulement possibles, mais qu’elles sont souhaitables. La question de l’hybridation entre analyses des traces d’interaction et approche dispositive constitue vraisemblablement un terrain propice à de telles tentatives. Reste à la réifier dans des travaux de recherche nécessairement pluridisciplinaires, qui imposeront à leurs auteurs de prendre un certain nombre de risques, tant sont périlleux les croisements de méthodologies issues de cadres conceptuels aussi éloignés. Mais n’est-ce pas à l’intersection des champs disciplinaires que se font les recherches les plus intéressantes ?

Bibliographie

Des DOI (Digital Object Identifier) sont automatiquement ajoutés aux références par Bilbo, l’outil d’annotation bibliographique d’OpenEdition.
Les utilisateurs des institutions abonnées à l’un des programmes freemium d’OpenEdition peuvent télécharger les références bibliographiques pour lesquelles Bilbo a trouvé un DOI.

Aïm, O. et Depoux, A. (2015). D’une magistralité l’autre. Remédiation de l’ethos professoral par le dispositif du MOOC. Distances et médiations des savoirs. Distance and Mediation of Knowledge, 9. Repéré à http://dms.revues.org/983

Aïm, O. et Depoux, A. (2017). À propos des vidéos dans les Mooc : le dispositif de magistralité aux prises avec l’industrialisation des formats de la parole didactique. Distances et médiations des savoirs. Distance and Mediation of Knowledge, 18. Repéré à http://dms.revues.org/1826

Albero, B. (2010). De l’idéel au vécu : le dispositif confronté à ses pratiques. Dans B. Albero et N. Poteaux (dir.) (p. 67-94). Enjeux et dilemmes de l’autonomie. Une expérience d’autoformation à l’université. Étude de cas. Paris : Maison des Sciences de l’Homme.

Anderson, A., Huttenlocher, D., Kleinberg, J. et Leskovec, J. (2014). Engaging with Massive Online Courses. Dans Proceedings of the 23rd International Conference on World Wide Web (p. 687-698). New York : ACM. Repéré à https://doi.org/10.1145/2566486.2568042
DOI : 10.1145/2566486.2568042

Bruillard, É. (2017). Mooc une forme contemporaine de livres éducatifs. De nouveaux genres à explorer ? Distances et médiations des savoirs. Distance and Mediation of Knowledge, 18. Repéré à l’adresse : http://dms.revues.org/1830

Cisel, M. (2016). Utilisations des MOOC, éléments de typologie (Thèse de doctorat inédite). Paris Saclay. Repéré à http://www.theses.fr/2016SACLN024

Creswell, J. W. (2009). Research Design : Qualitative, Quantitative, and Mixed Methods Approaches. London : SAGE Publications.

Guedes da Silva, A., Moura Santos, A., Albuquerque Costa, F. et Viana, J. (2016). Enhancing MOOC Videos : Design and Productions Strategies. Dans M. Kalil et M. Ebner (dir.), Proceedings of the European Stakeholder Summit on experiences and best practices in and around MOOCs (EMOOCS 2016) (p. 107-122). Graz : University of Graz (Autriche). Repéré à http://emoocs2016.eu/wp-content/uploads/2016/02/proceedings-emoocs2016.pdf

Guo, P.J., Kim, J. et Rubon, R. (2014). How Video Production Affects Student Engagement : An Empirical Study of MOOC Videos. Dans L@S ‘14 Proceedings of the first ACM conference on Learning @ scale conference (p. 41-50). Repéré à http://up.csail.mit.edu/other-pubs/las2014-pguo-engagement.pdf

Ivankova, N. V., Creswell, J. W. et Stick, S. L. (2006). Using Mixed-Methods Sequential Explanatory Design : From Theory to Practice. Field Methods, 18(1), 3-20. https://doi.org/10.1177/1525822X05282260
DOI : 10.1177/1525822X05282260

Kizilcec, R. F., Piech, C. et Schneider, E. (2013). Deconstructing Disengagement : Analyzing Learner Subpopulations in Massive Open Online Courses. Dans Proceedings of the Third International Conference on Learning Analytics and Knowledge (p. 170-179). New York : ACM. Repéré à https://doi.org/10.1145/2460296.2460330
DOI : 10.1145/2460296.2460330

Peraya, D. (2017). Au centre des Mooc, les capsules vidéo : un renouveau de la télévision éducative ? Distances et médiations des savoirs. Distance and Mediation of Knowledge, 17. Repéré à http://dms.revues.org/1738

Raffaghelli, J. E., Cucchiara, S. et Persico, D. (2015). Methodological Approaches in MOOC Research : Retracing the Myth of Proteus. British Journal of Educational Technology, 46(3), 488-509. https://doi.org/10.1111/bjet.12279
DOI : 10.1111/bjet.12279

Roland, N. (2017). L’approche sociocognitive : une voie pour de nouvelles questions de recherche à propos des ressources audiovisuelles pédagogiques. Distances et médiations des savoirs. Distance and Mediation of Knowledge, 19. Repéré à http://dms.revues.org/1905

Vrillon, E. (2017). Une typologie de MOOC de France université numérique (FUN) : méthode et enjeux, STIEF, 24. Repéré à http://sticef.org/num/vol2017/24.2.4.vrillon/24.2.4.vrillon.htm

Pour citer cet article

Référence électronique

Mathieu Cisel, « Caractériser les vidéos de MOOC et leur place dans les dispositifs pour mieux interpréter les analyses de traces d’interaction », Distances et médiations des savoirs [En ligne], 20 | 2017, mis en ligne le 18 décembre 2017, consulté le 30 décembre 2017. URL : http://journals.openedition.org/dms/2015

Auteur
Mathieu Cisel

Post-doctorant - Université Paris V

matthieucisel@gmail.com