Méthodes mixtes et recherche en technologies éducatives : une illustration de la stratégie exploratoire séquentielle

Ce billet fait partie d’une série d’articles sur les méthodes mixtes en éducation. La lecture des articles précédents est nécessaire pour comprendre le billet du jour, consacré à l’approche séquentielle exploratoire. Dans le cas de la stratégie exploratoire séquentielle, un travail de collecte et d’analyse de données qualitatives est réalisé en prélude d’une étude quantitative, et la phase d’analyse quantitative se base sur les résultats de cette étude qualitative.

Plus que l’interprétation d’un résultat, l’objet est ici d’explorer un phénomène. Morgan (1998) suggère que cette stratégie est pertinente pour tester les éléments d’une théorie émergente, et qu’elle peut être utilisée pour généraliser les résultats issus d’une étude qualitative à différents échantillons. Enfin, cette manière de procéder peut être favorisée lorsque le chercheur doit développer un instrument faute d’avoir à sa disposition des instruments adéquats. C’est notamment le cas lorsque l’on se sert d’entretiens pour réaliser un questionnaire.

Nous nous proposons d’illustrer le cas de la stratégie exploratoire séquentielle sur la base de la question du comportement d’inscription au sein de la principale plate-forme de MOOC française, France Université Numérique, qui a réuni plus d’un million d’inscription de près de 400.000 utilisateurs sur la période 2013-2015. Ces données comportent pour chaque inscription une date, l’identifiant du cours, l’identifiant de l’utilisateur et l’obtention éventuelle du certificat associé au cours. Nous cherchons à identifier dans ces données d’inscription des éléments susceptibles d’éclairer la faiblesse des taux de certification. Pour ce faire, nous nous basons sur une quarantaine d’entretiens que nous avons réalisés et analysés en amont de la collecte des données quantitatives. Ces entretiens nous ont orienté vers le cadre conceptuel du webmarketing, cadre qui nous a permis d’identifier un concept, la visite expérientielle (Isaac & Voole, 2008). Nous faisons l’analogie entre l’inscription à un cours et l’achat d’un produit sur Internet.

Dans le cas de la visite expérientielle, « les motivations de visite sont plutôt hédonistes (découvrir une offre originale, se faire surprendre, se promener dans un vaste assortiment, comme une caverne d’Ali Baba, etc.). Les visites régulières sur PriceMinister ou sur eBay rentrent dans cette catégorie d’achat expérientiel » (Isaac & Voole, 2008). Ce cas correspond dans nos entretiens aux participants qui, après avoir découvert une plate-forme, FUN, Coursera, edX, y reviennent régulièrement pour vérifier si de nouveaux cours sont susceptibles de les intéresser, sans avoir une idée précise de la thématique sur laquelle ils désirent se former. Ce cas est illustré par un entretien réalisé avec ingénieur web, qui, dans une période de transition professionnelle, redécouvre le catalogue de cours de Coursera. Face à la richesse de l’offre, il s’inscrit à plus de cours qu’il ne peut en suivre.

Cet utilisateur se laisse guider par l’offre de cours de Coursera pour réaliser ses inscriptions. Il connaissait mal l’offre avant de visiter la plate-forme, et n’avait pas en tête une idée précise de ce qu’il recherchait avant de parcourir le catalogue, deux éléments qui nous permettent d’identifier ce cas comme relevant d’une visite expérientielle. L’analyse des entretiens semi-directifs va nous amener à émettre deux hypothèses. La première est qu’au cours d’une visite expérientielle, un participant est plus enclin à s’inscrire à plusieurs cours dans la même journée, d’affilée, au cours d’une même session de navigation. La seconde est que les taux de certification associés aux inscriptions issues de visites expérientielles sont nettement plus bas que pour les autres formes d’inscription. Nous sommes passés de la démarche qualitative, qui a conduit à la formulation des hypothèses, à une démarche plus quantitative où il s’agit de confirmer les hypothèses ainsi formulées (QUAL vers quan).

Pour interroger le jeu de données d’inscription de la plate-forme de MOOC française FUN, nous nous sommes tout d’abord penchés sur le laps de temps qui sépare deux inscriptions consécutives lorsque le participant s’inscrit à plusieurs cours. Pour des inscriptions groupées, c’est-à-dire réalisées le même jour, ce délai est nul, par définition. On constate que sur les 669.423 inscriptions étudiées, 46 % sont groupées, le reste étant définies comme isolées. Ces résultats suggèrent que plus du tiers des inscriptions de FUN sont le fait d’utilisateurs qui s’inscrivent la même journée à plusieurs cours d’affilée. Nous pouvons même aller plus loin en constatant que 72,9% de ces inscriptions groupées sont réalisées le premier jour de l’inscription sur la plate-forme. Pour désigner cette dernière catégorie d’inscriptions, nous parlerons d’inscriptions groupées du premier jour.

On constate que les inscriptions isolées du premier jour sont celles dont les taux de certification sont les plus élevés (18 %), tandis que les inscriptions isolées postérieures au premier jour correspondent à des taux de certification intermédiaire (11 %). Un tel écart n’existe pas pour les inscriptions groupées, dont les taux de certification avoisinent 6% le premier jour comme les suivants. Ces résultats apportent un certain crédit aux deux hypothèses que nous avons formulées à partir des entretiens. En effet, l’indicateur basé sur les données d’inscription qui reflète selon nous la visite expérientielle, c’est-à-dire l’inscription groupée, est associé à un plus faible taux de certification. Nous sommes ici dans un cas où ce n’est pas la théorie qui a guidé l’analyse. Ce sont des données qualitatives qui nous amenés à nous pencher sur un cadre théorique particulier, et à partir de là, à mener une analyse quantitative. Ces deux conditions permettent de ranger ce cas dans la catégories des stratégies exploratoires séquentielles.

Comme le prévoient les auteurs des ouvrages relatifs aux méthodes mixtes, les deux stratégies séquentielles présentées dans ce billet comme dans le billet précédent se sont révélées particulièrement longues, et ont nécessité près d’un an de collecte et d’analyse de données. Il faut par ailleurs compter plusieurs mois pour réaliser l’interprétation conjointe de ces deux formes de données. Ces différentes contraintes peuvent expliquer pourquoi certains auteurs adoptent préférentiellement des stratégies concomitantes, qui sont le sujet du billet à venir.

PS : La bibliographie associée à cet article est disponible dans ce billet.