Comment mes questionnaires sur les MOOC ont évolué au fil du temps

Un articlerepris du blog de Mathieu Cisel et publié le 14 juin

Je trouve que l’on ne prend pas suffisamment en considération la façon dont les instruments de la recherche se construisent au fil du temps, quelles sont les influences qui se mettent en place, tout ça tout ça. Du coup, pour donner à voir ce qui se passe véritablement dans la tête d’un chercheur, je vous propose de décrire la démarche de construction de mes questionnaires adressés aux utilisateurs de MOOC, des questionnaires qui ont sensiblement évolué au fil des années. De vous à moi, si vous n’êtes pas chercheur, ce billet ne va probablement pas vous intéresser.

La mise au point des questions utilisées dans mes enquêtes que j’ai diffusées dans le cadre de ma thèse a imposé de réaliser de multiples allers-retours entre la littérature antérieure au mouvement MOOC et la littérature spécialisée sur la question. Les questions incluses dans mes enquêtes ont été bâties d’une part à partir des nomenclatures de l’INSEE, et d’autre part à partir d’une traduction du questionnaire recommandé par la plate-forme américaine Coursera à ses partenaires, obtenu grâce aux collègues diffusant leur cours sur cette plate-forme. Certaines questions ont été supprimées, car incompatibles avec la législation française, (appartenance ethnique, etc), mais l’essentiel des questions a été maintenu. Dans la mesure où je voulais m’inscrire dans la communauté scientifique en constitution à l’échelle internationale sur ces questions, mon objectif était à l’origine de pouvoir comparer directement les résultats issus de nos travaux avec ceux effectués à l’échelle internationale, et plus particulièrement outre-Atlantique. J’ai néanmoins fait évoluer significativement mon talon sociologique suite à la publication par Seaton et al. (2015) d’un article intitulé Enrollment in MITx MOOCs : Are we educating educators ?. Dans cet article, les auteurs montrent qu’une partie significative des participants enseignent ou ont enseigné la discipline enseignée dans le MOOC, ce qui nous a poussés à modifier nos questionnaires.

Des ajustements au fil des enquêtes

Plutôt que de poser une question spécifique aux enseignants, j’ai préféré affiner la question relative aux professions et catégories socioprofessionnelles (PCS). Je m’étais basé à l’origine sur le niveau 1 de la nomenclature des PCS de l’INSEE de 2012 [1] ; j’ai utilisé par la suite le niveau 3. Certaines des modalités liées à la catégorie correspondant aux ouvriers ont été gardées au niveau de détail du niveau 2, car l’analyse des réponses collectées dans les enquêtes a démontré que ces PCS étaient virtuellement absentes de l’audience des MOOC. Le niveau de détail le plus important a été gardé pour les professions liées à l’enseignement. De même, j’ai alors utilisé le niveau 1 de la nomenclature d’activités française de l’INSEE (2008) [2] pour collecter des données sur les secteurs d’activité afin de tester l’hypothèse de l’implication du secteur de l’enseignement et de la formation dans les MOOC.

La question des motivations et des intentions

Sur la base de la typologie des motifs d’entrée en formation de Carré (2002), j’ai à l’origine sélectionné un nombre restreint de modalités parmi lesquelles devaient choisir les participants. Des entretiens préliminaires m’ont néanmoins conduits à ajouter des modalités non prévues explicitement dans la typologie de Carré, comme le fait de suivre un MOOC dans le but d’expérimenter le format. Notons que je n’ai pas pu reprendre directement les instruments développés par l’auteur dans le cadre de la construction de sa typologie, car le nombre de questions attenantes était incompatible avec le nombre de questions que les équipes pédagogiques des cours partenaires étaient prêtes à inclure dans l’instrument. J’ai donc dû construire mes propres questions. Les années 2013 et 2014 ont vu se succéder un certain nombre de questionnaires aux méthodologies relativement divergentes eu égard au problème des motivations. Un certain nombre de chercheurs ont proposé de standardiser les questions sur cette démarche, Schneider & Kizilcec (2014) proposant notamment une échelle, baptisée OLEI. Leur approche se base sur des questions dont la réponse est binaire ; pour chacune des motivations sous-tendant l’inscription de leur étude, le participant doit déterminer s’il se reconnaît ou non dans les motivations proposées dans une échelle de treize items.

Suite à des échanges avec l’un de ces auteurs, mon enquête a évolué, dans la mesure où nous avons étudié chacune des motivations de manière indépendante. Au cours de la seconde vague d’enquêtes, j’ai inclus une question spécifique à l’intérêt pour le format MOOC, pour l’interaction avec les autres participants, et ainsi de suite. Néanmoins, j’ai souvent préféré une approche ternaire à l’approche binaire recommandée par ces auteurs ; par exemple, questionnés sur l’intérêt pour le certificat, les répondants devaient déterminer si cet intérêt était d’ordre professionnel ou personnel, sans que cette division ne nuise à la comparaison avec les enquêtes publiées par Kizilcec & Schneider (2015). J’ai inclus des questions sur les intentions des participants relativement aux activités prescrites auxquelles ils souhaitaient participer. On notera que le premier module du dispositif était disponible plusieurs jours avant que les participants ne soient invités à répondre à l’enquête, de sorte que la plupart avaient eu l’opportunité de parcourir quelques-unes des ressources du dispositif avant de répondre à l’enquête. À cet égard, le contexte diffère considérablement du cas où le participant doit déclarer son intention au moment de l’inscription, avant même d’avoir pu consulter la moindre ressource. Enfin, les questions relatives aux comportements d’inscription (nombre de cours suivis en simultané, etc) visaient à compléter l’analyse des données d’inscription de FUN, l’impossibilité de croiser traces d’activité, questionnaires et données d’inscription rendant nécessaire l’approche par données autodéclarées.

Bref, vous voyez un peu l’esprit. Il y a ce que l’on pourrait appeler une certaine heuristique dans la construction des instruments de recherche d’une thèse. Il n’est pas toujours évident en tant que doctorant de comprendre les trajectoires qu’ont suivie les collègues, car ce n’est pas le genre de choses qu’on trouve dans les manuels, ni dans les productions finales. Pour ces raisons, je trouve que le billet de blog est un format idéal pour ce type de partage.

[1] Elles sont consultables à cette adresse : http://www.insee.fr/fr/methodes/default.asp?page=nomenclatures/pcs2003/liste_n2.htm

[2] Disponible à cette adresse http://www.insee.fr/fr/methodes/default.asp?page=nomenclatures/naf2008/naf2008.htm