Evaluations via Cartes Conceptuelles à trous et apprentissage par les pairs

Un article, communication au colloque QPES 2019, "(Faire) coopérer pour (faire) apprendre ?", une publication sous licence CC by sa nc

MANUELA GUISSET
Conseillère Pédagogique au Louvain Learning Lab de l’UCLouvain

LIESJE COERTJENS
Professeure à l’UCLouvain (Psychologie et Sciences de l’éducation)

DOMINIQUE DEJAEGER
Professeure à l’UCLouvain (Faculté des Sciences de la Motricité)

GUILLAUME LOBET
Professeur à l’UCLouvain (Faculté des bioingénieurs)

OLIVIER SERVAIS
Professeur à l’UCLouvain (Ecole des sciences politiques et sociales)

VINCENT WERTZ
PROFESSEUR A L’UCLOUVAIN (ECOLE POLYTECHNIQUE DE LOUVAIN)

PATRICK WILLEMS
Professeur à l’UCLouvain (Faculté des Sciences de la Motricité)

JEAN-FRANÇOIS REES
Professeur à l’UCLouvain (Faculté des Sciences)

1. Contexte

Alors que les enseignants doivent expliciter les acquis d’apprentissage (AA) visés par leur enseignement, l’augmentation de la taille des cohortes d’étudiants dans de nombreuses filières universitaires complique l’évaluation de ces AA. Dans de nombreux cas, l’évaluation recourt à des questions à choix multiples (QCM) qui permettent une automatisation de la correction des résultats. Dans certaines filières universitaires comptant de très grands nombres d’étudiants, la plupart, sinon la totalité, des enseignements de première année sont évalués de cette manière, ce qui peut renforcer les biais associés à ce type de questionnaires, et mener à une sélection inappropriée de profils étudiants dès le début de la formation.

Parmi les inconvénients de l’évaluation par QCM, citons : la tentation de se focaliser sur des détails plutôt que d’évaluer la vision globale de la matière et les liens entre les concepts ; favoriser la mémorisation plutôt que le raisonnement, ainsi qu’une contraction du champ cognitif, donnant l’impression simpliste qu’une question n’a qu’une réponse unique ; le risque que les réponses fausses (leurres) ne soient mémorisées et perturbent l’apprentissage, en particulier en début de formation (Leclerq, 1986), le recours à la pénalisation des mauvaises réponses qui fait intervenir des variables non pertinentes pour la mesure des connaissances (Lecroart, 2016). Enfin, concevoir un QCM de qualité est une tache lourde et difficile parce qu’elle nécessite de générer des réponses fausses mais plausibles, et à renouveler régulièrement sa banque de questions.

A côté de ces inconvénients, des qualités sont associées à l’analyse automatisée des réponses : rapidité, simplicité, fiabilité et objectivité constituent des atouts importants pour des évaluations d’un grand nombre d’apprenants.

Dans ce contexte, nous développons un dispositif d’évaluation innovant qui permettrait de répondre aux principales critiques faites aux QCM tout en conservant ses qualités. La présente recherche a pour objectif de valider scientifiquement ces hypothèses.

2. Objectifs

2.1. Objectif général

L’objectif principal de la recherche est de développer un outil d’évaluation associant les qualités des cartes conceptuelles à ceux de l’analyse automatisée des formulaires QCM.

L’intérêt du dispositif est de garantir une évaluation qualitative (à haut niveau taxonomique) des apprentissages tout en facilitant la conception et la correction de ces évaluations par l’enseignant, même pour de grands groupes d’étudiants (plusieurs centaines) et en favorisant la coopération entre étudiants en amont et pendant les évaluations.

2.2. Hypothèses

Plusieurs hypothèses sont testées. Elles sont liées au processus d’apprentissage et au dispositif de carte conceptuelle et analysent :

(1) la capacité des cartes conceptuelles à trous à évaluer des AA requérant les différents savoirs cognitifs dans différents contextes disciplinaires ;

(2) la possibilité d’ajuster la fidélité et la capacité de discrimination des CCàT par la manipulation de certains paramètres ;

(3) leur utilisation dans des tests formatifs et certificatifs incluant une période de discussion entre participants, de manière à favoriser l’apprentissage par les pairs ;

(4) l’influence d’une familiarité avec les cartes conceptuelles sur les performances au test

(5) l’influence d’une utilisation des CCàT sur l’adoption des cartes conceptuelles dans les apprentissages des étudiants ;

(6) la capacité des cartes conceptuelles à renforcer voire développer l’apprentissage de certains concepts pendant l’évaluation

3. Un dispositif innovant

3.1. Des cartes conceptuelles dans l’enseignement

Les cartes conceptuelles sont des représentations graphiques de connaissances, formées de noeuds (les concepts) reliés par des mots liens qui explicitent la nature du lien entre les concepts.

Cette représentation est considérée comme étant proche à l’organisation des connaissances dans le cerveau (Novak et al., 2008). Aussi, créer une carte conceptuelle à partir de ses apprentissages constitue un exercice favorisant l’organisation des connaissances et leur mémorisation à long terme. Leur analyse par l’enseignant permet également d’identifier des représentations erronées des savoirs et de leurs relations chez les étudiants.

La littérature regorge d’exemples d’utilisation des cartes conceptuelles dans l’enseignement, en tant qu’outil d’apprentissage et d’évaluation (par ex. Barras & Dayer 2017 ; Delorme, Delestre & Pécuchet, 2004). La majorité de ces exemples concerne des dispositifs dans lesquels les cartes conceptuelles sont produites par les étudiants et évaluées une à une par l’enseignant directement, via l’évaluation par les pairs ou par un protocole de comparaison quantitative des cartes produites par les étudiants avec celle, de référence, produite par l’enseignant ou par un expert. Cependant, très rares sont les recherches faisant part de cartes conceptuelles à compléter par les étudiants.

3.2. Des cartes conceptuelles à trous (CCàT)

Concrètement, le dispositif d’évaluation par CCàT comprend trois documents :
– une carte conceptuelle portant sur une partie/la totalité de la matière, associant concepts et mots-liens dont une certaine proportion est remplacée par des nombres
– une liste des concepts et mots liens manquants associés à une lettre de l’alphabet
– un/deux formulaires de réponse de type QCM identiques.

L’utilisation de deux formulaires de réponse vise à associer une période de réflexion collective et de collaboration entre les étudiants : après un temps de travail individuel, les étudiants rendent leur premier formulaire de réponse, puis sont invités à discuter de leurs réponses avec leurs voisins. Chaque étudiant complète ensuite le second formulaire de réponse, identique au premier. L’évaluation finale tient compte des deux formulaires, avec une pondération fixée par l’enseignant.

Cette période de travail collectif permet aux étudiants de confronter leurs réponses et d’en débattre, permettant un apprentissage significatif durant l’évaluation. Les premiers résultats ont montré que le dispositif associant l’apprentissage par les pairs permet à près de 80 % des étudiants d’améliorer leur apprentissage pendant le test.

Le dispositif peut être utilisé dans le cadre d’évaluations formatives ou certificatives, continues ou non. Par ailleurs, il peut être mis en oeuvre lors d’un cours, sans nécessiter de disposer de salles supplémentaires permettant d’éloigner les participants les uns des autres, comme cela est le cas lors des examens classiques (deux séries différentes sont proposées).

4. Méthodologie de recherche

La recherche, soutenue par le Fond de Développement Pédagogique de l’UCLouvain rassemble plusieurs professeurs de l’Université et une conseillère pédagogique du Louvain Learning Lab. Issus des différents secteurs de l’institution (sciences et technologies, sciences de la santé et sciences humaines), les enseignants-testeurs ont réalisé de nombreux tests en situation réelle afin de valider les hypothèses présentées plus haut.

Dans des amphithéâtres allant de 40 à plus de 600 étudiants, chaque enseignant a proposé à ses cohortes des évaluations formatives et certificatives utilisant les cartes conceptuelles à trous, les modalités pratiques de chacune variant en fonction des besoins de la recherche.

Afin de confronter les hypothèses de la recherche, deux types de résultats sont pris en compte : premièrement, les notes obtenues par les étudiants aux différents tests, triées en fonction des contraintes qui leur ont été imposées ; ensuite les réponses obtenues aux « feedbacks » récolté auprès des étudiants après chaque évaluation. Ce feedback individuel en ligne consiste à recueillir les perceptions des étudiants à propos de la méthodologie utilisée et du dispositif CCàT. La combinaison de ces deux sources de données nous a permis de tirer des conclusions significatives par rapport à nos différentes hypothèses de travail.

5. Expérimentations – tests du dispositif

Dans le cours de biologie animale, le dispositif d’évaluation par cartes conceptuelles à trous est combiné à un cours proposé aux étudiants sous forme de classe inversées favorisant la coopération et la collaboration entre étudiants pendant les phases de prise de connaissance de la matière via la plateforme en ligne Perusall (www.perusall.com). En amont de l’évaluation, les étudiants consultent les ressources mises à disposition par l’enseignant et interagissent entre eux par le biais de questions et de réponses visibles par tous afin de s’assurer une bonne compréhension de la matière.

Les évaluations certificatives prennent place, de manière continue, pendant toute la durée du cours (un quadrimestre). Les étudiants sont évalués 5 fois et chaque test est composé de 3 parties distinctes, selon le dispositif explicité plus haut.

Dans un premier temps, les collectes de données lors d’évaluations mettant en oeuvre le dispositif de CCàT se sont concentrées sur deux objectifs : mesurer la capacité du dispositif à faire apprendre les étudiants pendant l’évaluation et identifier l’influence de plusieurs paramètres de la carte sur les résultats des étudiants.

6. PACCO : un dispositif en ligne de caractérisation des CCàT

Réalisé à l’aide du langage de programmation « R » (utilisé traditionnellement pour le développement de logiciels statistiques et d’analyse de données), un programme permettant la caractérisation des cartes conceptuelles baptisé PACCO (Plateforme d’Analyse de Cartes COnceptuelles) a été développé. Il est proposé en ligne et est open-source, à la disposition de tout enseignant qui en aurait l’usage.

PACCO a pour objectif de fournir aux enseignants, en amont de la complétion de la carte par les étudiants, une série de métriques utiles à sa conception.

Le principe est simple : l’enseignant qui a conçu sa carte via un outil de type CmapTool l’importe dans PACCO (dans un format adapté). Instantanément, celui-ci génère une série de métriques permettant à l’enseignant d’apprécier l’indice de complexité de sa carte à trous : ratio entre le nombre de concepts et le nombre de trous, analyse des données globales et individuelles de la situation des concepts et des trous (nombre de connexions, nombre de concepts autour, nombre de trous autour), représentation schématisée de la carte, indice global de complexité.

Nous testons actuellement l’impact de la structure de la carte, caractérisée par chacun de ces paramètres, sur la difficulté de la tâche réalisée par les étudiants. Ces métriques permettront à l’enseignant de générer des cartes qui soient de complexité connue, permettant d’ajuster la difficulté, le temps accordé pour leur résolution, etc.

Cependant, cet outil ne permet de mesurer que des informations quantitatives et non qualitatives. En effet, la complexité intrinsèque de chaque concept, son assimilation difficile par les étudiants ou les liens peu évidents qu’il peut avoir avec le reste de la carte sont laissés à l’appréciation de l’enseignant qui aura conçu la carte.

La dernière version de PACCO est disponible à l’addresse : https://plantmodelling.shinyapps.io/cartes_conceptuelles/

7. Résultats

7.1.1. Les cartes conceptuelles à trous sont capables de mesurer des acquis
d’apprentissage requérant différents savoirs cognitifs

Les experts rencontrés dans le cadre de la recherche sont unanimes : le niveau taxonomique (taxonomie de Bloom et de Solo) atteint par les évaluations de type CCàT est plus élevé que dans le cas de QCM classiques. C’est ici la capacité des cartes à mesurer les compétences de synthèse, de structuration et de lien entre les concepts qui est appréciée.

Dans la taxonomie de Bloom [1], alors que les QCM évaluent facilement la connaissance, la compréhension et éventuellement l’application de la matière présentée au cours, les CCàT atteignent le niveau 4, c’est-à-dire l’analyse, le fait de mettre en relation les faits, énoncés ou questions.

Dans la taxonomie de Solo, proposée en 1982 par Biggs et Collis [2], c’est le niveau relationnel (comparaison, contraste, analyse, relation, application) qui est atteint, alors que les QCM traditionnels se limitent à évaluer des compétences multistructurelles.

7.1.2. La manipulation des paramètres de la carte influence la validité, la fidélité et la capacité de discrimination du test

Une variable a été testée jusqu’à présent :
– Le nombre de propositions dans la liste des concepts à replacer dans la carte à trous.

Dans une cohorte d’étudiants soumis à une évaluation certificative par CCàT, la moitié du groupe (A) a reçu une carte conceptuelle avec n trous et une liste de propositions composée de n+2 items. L’autre partie du groupe (B) a reçu la même carte mais sa liste de proposition comportant n-2 items ainsi qu’une proposition « Le concept n’est pas présent dans la liste » qui devait être sélectionné deux fois par les étudiants. Le même dispositif a été reconduit une seconde fois en prenant soin d’échanger les groupes A et B.

La question de la capacité de discrimination du test sur base du nombre d’items présents dans la liste de proposition a également été soumise à l’appréciation d’experts.

Il ressort de l’expérience menée avec les étudiants que la liste contenant n-2 items est sensiblement plus difficile à gérer pour les étudiants, les résultats étant sensiblement moins élevés. Dans les questionnaires de feedback remis par les étudiants, ils ont confirmé la difficulté plus importante de cette liste incomplète.

Cette conclusion suggère que l’absence de deux concepts dans la liste force les étudiants à adopter une attitude hypothético-déductive et plus seulement à travailler par élimination des concepts déjà utilisés ailleurs dans la carte.

7.1.3. Une période de collaboration et de discussion entre participants permet
d’améliorer les apprentissages

Les résultats des seconds formulaires de réponses sont presque systématiquement meilleurs que les premiers. Quand ils ne le sont pas, c’est généralement parce que l’étudiant avait déjà fait un très bon score à la première tentative.

Les observations que nous avons pu mener dans les auditoires et les retours des étudiants convergent dans le même sens : la période de collaboration et d’apprentissage par les pairs entre les deux formulaires de réponse est l’occasion d’argumenter, voire de débattre des réponses des ns et des autres, plus que de copier les propositions des voisins. Nous avons assisté à de longues explications, contre-argumentations et le plus souvent consensus autour de « propositions » (au sens de Novak [3]), de liens logiques entre deux concepts (ou plus). Plusieurs étudiants nous ont rapporté avoir compris des concepts qu’ils n’avaient pas pu bien saisir au moment de l’étude ou qu’ils pensaient avoir appréhendé dans leur globalité, en lien avec le reste de la matière, alors que ce n’était pas le cas.

Les chiffres vont dans le même sens : les résultats des étudiants, entre la première et la seconde complétion de la même carte (après période de discussion) augmentent en moyenne de 31%.

7.1.4. Une familiarité avec les cartes conceptuelles influence les résultats au test

Les expérimentations en auditoire ne se sont pas encore penchées sur ces questions.

Cependant, nous constatons que les étudiants, au fur et à mesure de l’évaluation continue par CCàT, sont de plus en plus enclins à produire leur propre carte conceptuelle pour se préparer au test. De même, ils déclarent en grande majorité avoir plus de facilité à compléter les cartes au fur et à mesure des évaluations par CCàT.

7.1.5. Les étudiants apprennent en complétant une carte conceptuelle à trous

Lors d’un dispositif d’évaluation certificative par CCàT, les étudiants se sont vu proposer une évaluation en 2 parties : un quizz de type QCM et une carte conceptuelle à trous. Les deux formats d’évaluation portaient exactement sur la même matière. La moitié de l’auditoire (A) s’est vue proposer le quizz avant la carte et l’autre moitié (B) la carte avant le quizz. Lors du test suivant, les attributions des deux groupes ont été inversées afin de tester la validité du processus. Dans les deux cas, un « groupe témoin » de deux questions QCM n’ayant pas de rapport avec les concepts présentés dans la carte (mais faisant partie de la matière à étudier) a été proposé aux étudiants.

Les résultats sont significatifs : les groupes ayant commencé par compléter la carte ont systématiquement mieux réussi le quizz que le groupe ayant commencé par le quizz (augmentation des résultats de 11% en moyenne). Les deux questions sans rapport avec la carte ont, elles, été réussies de la même manière par les deux groupes (différence de 2%). Nous pouvons donc en conclure que la carte conceptuelle a aidé les étudiants à répondre aux questions du quizz.

8. Limites et perspectives

Les cartes conceptuelles, bien que caractérisées grâce à PACCO, restent des outils fortementdépendants de l’enseignant qui les conçoit. Une attention très particulière doit être apportée à la conception, qui doit être la plus objective et universelle possible afin de limiter les risques de confusion ou de réponses multiples possibles.

Une relecture attentive doit être opérée, si possible par un regard extérieur, afin de repérer les incohérences, doublons, coquilles, erreurs dans le dédoublement en séries de l’évaluation, etc. Si corriger une coquille en temps réel avec un petit groupe d’étudiants évalués via un outil informatique est imaginable, aucune erreur n’est permise lors d’une évaluation en grand auditoire.

Par ailleurs, comme toute autre forme d’évaluation dans l’enseignement supérieur, une réserve est à souligner : certains étudiants ne sont pas à l’aise avec le principe de cartes conceptuelles. Tout comme d’autres ont des difficultés avec un examen oral, une rédaction ou un QCM, certains profils d’étudiants sont naturellement peu enclins à organiser leur pensée sous forme de carte conceptuelle ou se sentent rapidement perdus face à une carte. Une variété des formes d’évaluation tout au long du cursus de l’étudiant est donc importante. Cette limite fera l’objet
d’un approfondissement dans la suite de la recherche afin de pouvoir l’appréhender au mieux.

Finalement, la littérature scientifique étant pratiquement inexistante à propos de l’évaluation via des cartes conceptuelles à trous, nous procédons ici par tâtonnement, avançant au gré de nos essais et de nos erreurs afin de définir un dispositif qui réponde le plus possible aux besoins des enseignants et des étudiants. Si les théories récentes en matière d’apprentissage nous sont absolument indispensables dans nos travaux, nous manquons cependant de points de comparaison avec d’autres expérimentations de dispositifs similaires qui auraient été menées par ailleurs.

Les prochaines étapes de la recherche consistent notamment à l’élargissement des expérimentations du dispositif ainsi qu’à la validation de sa transférabilité dans tous les secteurs d’apprentissages de l’enseignement supérieur.

9. Conclusion

Les cartes conceptuelles produites par les étudiants sont des outils reconnus et appréciés en pédagogie de l’enseignement supérieur, que ce soit en situation d’apprentissage ou d’évaluation, pour leur structure et les liens qu’elles proposent entre des concepts parfois difficiles. Les évaluations par questions à choix multiples (QCM) sont également légion, plébiscitées pour l’automatisation de leurs corrections ainsi que la possibilité de créer une banque de questions récurrentes.

Les cartes conceptuelles à trous (CCàT) combinent les avantages de ces deux outils, offrant aux enseignants une méthode d’évaluation des acquis facile à préparer et à corriger tout en garantissant un niveau taxonomique élevé des apprentissages et aux étudiants une occasion d’apprendre pendant la complétion individuelle de la carte et pendant la période d’apprentissage par les pairs proposée entre deux complétions d’une même carte.

Utilisées comme outil d’évaluation formative ou certificative, de manière ponctuelle ou continue, les cartes conceptuelles à trous permettent à l’enseignant de s’assurer que les étudiants perçoivent la matière dans sa globalité, sont capables de faire et de caractériser des liens entre des concepts vus précédemment et de les rattacher aux connaissances préétablies. S’appuyant sur les théories actuelles de l’apprentissage, les CCàT proposent l’évaluation de compétences et de connaissance d’un niveau taxonomique (Bloom revisité, Solo) supérieur à un QCM traditionnel en permettant la mise en relation entre des concepts qui doivent être auparavant maitrisés. Cela sous-tend la nécessité, de la part de l’étudiant, de maitriser la matière dans sa globalité, tant en ce qui concerne les détails que les concepts et les liens entre ceux-ci.

Par ailleurs, la préparation, vivement conseillée, de l’évaluation par l’étudiant à l’aide de cartes conceptuelles qu’il produit lui-même est gage de capacité de synthèse et de restitution. L’automatisation de la correction, à l’aide des outils traditionnels de prise en charge des QCM (scanners optiques par ex.), garantit une rapidité, une objectivité et une aisance non négligeables et permet à l’enseignant de libérer du temps pour ses missions d’enseignement, de recherche et de service.

Références bibliographiques

Barras, H., & Dayer, E. (2017). Comment faire appel à une carte conceptuelle pour évaluer les apprentissages dans l’enseignement supérieur ?.

Biggs, J., & Collis, K. (1982). Evaluating the quality of learning : The SOLO taxonomy. New York : Academic Press

Bloom, B. (1956). Taxonomy of educational objectives. Handbook 1 : Cognitive domain. New York : David McKay Company Inc

Bouvy, T., & Warnier, L. (2011). Document de synthèse sur les QCM. Document non-publié, Université catholique de Louvain, Louvain-la-Neuve.

Cronbach, L., & Meehl, P. (1955). Construct validity in psychological tests. in Psychological Bulletin, 52, 281V302.

Delorme, F., Delestre, N., & Pécuchet, J-P. (2004). Evaluer l’apprenant à l’aide de cartes conceptuelles. Technologies de l’information et de la connaissance dans l’enseignement supérieur et l’industrie. Compiègne : Université de Technologie de Compiègne, pp25-31.

Krathwohl D.R. (2002) A Revision of Bloom’s Taxonomy : An Overview, Theory Into Practice Leclercq, D. (1986). La conception des questions à choix multiple. Bruxelles : Labor.

Lecroart, Isabelle (2016). L’évaluation certificative par QCM à l’université. La pénalisation des mauvaises réponses est-elle associée à une meilleure discrimination des étudiants ?. Faculté de psychologie et des sciences de l’éducation, Université catholique de Louvain, 2016.

Novak J.D. et al. (2008). The theory underlying concept maps and how to construct and use them. Technical report, Institute for Human and Machine Cognition 01-2008.

Romainville, M., Goasdoué, R. & Vantourout, M. (2013). Évaluation et enseignement
supérieur. Louvain-la-Neuve, Belgique : De Boeck Supérieur.