Évaluer avec l’intelligence artificielle dans le dossier "Evaluer pour apprendre" des cahiers pédagogiques

Ces dernières années, les tests et les évaluations ont été au centre des préoccupations des décideurs politiques en matière d’éducation, avec un intérêt et une inquiétude croissants qui concernent leur nature et leur forme, ainsi que les utilisations faites des résultats. Ajoutons que l’emprise du cognitif et de l’informatif dans l’enseignement et sur les systèmes de production [1] [2] fait remplacer la notion de qualification par la notion de compétence personnelle, qui « se présente comme un ensemble propre à chaque individu, combinant la qualification au sens strict acquise par la formation per se, le comportement social, l’aptitude au travail en équipe, la faculté d’initiatives, le gout du risque ».

Ainsi, une des questions essentielles est de mettre en place une reconnaissance ou évaluation des compétences acquises permettant d’analyser de manière méthodique les résultats d’un élève et d’orienter son travail tout au long de l’année, et donc de favoriser sa progression. À cette fin, nous avons cherché à développer un outil informatique permettant la mise en œuvre de l’évaluation par compétences, mais aussi capable d’effectuer une analyse fine du profil de l’élève.

MODÉLISER LE PROFIL DE L’APPRENANT

Les interactions de l’apprenant lors des activités génèrent des données qui peuvent être ainsi analysées pour concevoir des modèles. Ces données conduisent à des mises à jour du profil de l’apprenant tenu par l’enseignant, le parent, le système informatique ou l’apprenant lui-même, qui à leur tour aident à élaborer des décisions ou recommandations ultérieures. La recherche nous indique que le feedback est plus efficace lorsqu’il est formulé le plus près possible de l’achèvement du travail demandé.

La plupart des ordinateurs et des capteurs créent des flux d’activité qui représentent l’activité au fil du temps, dans l’ordre séquentiel dans lequel elle s’est produite. La granularité des informations peut aider à identifier les moments où un changement d’approche d’un apprenant face à un problème peut témoigner d’un nouvel apprentissage. Une fois ces informations recueillies sur une activité ou un « des résultats obtenus suite à cette activité », une interprétation lui est attribuée. Ces informations peuvent alors être utilisées pour fournir un feedback immédiat aux apprenants ou à leurs enseignants sur leurs performances dans cette activité spécifique.

Avoir plus de données peut aider à créer de meilleurs modèles de connaissances, de compétences et d’attributs des apprenants ou, du moins, à les ajuster, en s’assurant que les relations entre l’observation des apprenants et les inférences tirées sur leurs compétences sont exactes et valides.

UN FEEDBACK IMMÉDIAT

Par ailleurs, la notation automatisée peut permettre un feedback immédiat aux apprenants, non seulement sur le travail terminé, mais aussi sur le travail en cours. L’utilisation d’un environnement numérique en classe peut ainsi donner une nouvelle perspective de la modalité de la compréhension des informations dont les enseignants ont besoin pour prendre des décisions. Le but de cet environnement est de mieux synchroniser l’enseignement et l’apprentissage.

Pour cela, l’outil doit aider à positionner l’élève sur un ensemble de compétences opérationnelles et comportementales évaluables selon plusieurs critères. Il doit prendre en compte à la fois le travail réalisé par l’élève, mais également son attitude. La première phase de la mise en place de l’outil a donc été l’observation à partir d’une grille prenant en compte deux objectifs : d’abord l’apprentissage qui concerne les compétences opérationnelles au travers de critères explicités dans un tableau, puis le savoir être qui concerne les compétences comportementales de l’élève.

GAGNER DU TEMPS

Un autre constat évident est le temps considérable consacré par les enseignants à l’évaluation par compétences. Pour pallier ce problème, un logiciel faisant appel à l’intelligence artificielle a été créé afin d’alléger la gestion des fichiers ; le temps consacré à la manipulation des classeurs élèves a ainsi été réduit. Ce logiciel a été pensé afin d’automatiser toutes les tâches répétitives à réaliser lors de la création d’une évaluation. Il comporte deux modules : IN/EVAL et IA/EVAL.

Le module IN-EVAL permet de créer une nouvelle évaluation et de gérer celles déjà existantes via l’interface. Il permet aussi de gérer le fichier synthèse qui résume l’ensemble des scores obtenus, par exemple pour les évaluations pendant un trimestre. Grâce à ce logiciel, le temps consacré à l’évaluation devient largement plus raisonnable.

Le module IA-EVAL, quant à lui, est un module d’évaluation intelligent conçu pour les élèves apprenant les sciences et les mathématiques. Plus précisément, IA-EVAL propose des activités qui évaluent et développent des connaissances conceptuelles en offrant aux élèves des tâches différenciées de niveaux de difficulté croissants au fur et à mesure que l’élève progresse.

GUIDER L’APPRENTISSAGE

Afin de s’assurer que l’élève continue de persévérer, IA-EVAL fournit différents niveaux de conseils et des indications pour aider l’élève à accomplir chaque tâche. Il évalue les connaissances de l’élève sur le sujet, mais également sa conscience métacognitive, c’est-à-dire sa connaissance de ses propres capacités et besoins d’apprentissage. Il s’appuie sur un modèle d’apprentissage simple pour suivre la façon dont un élève utilise les fonctions d’aide d’un logiciel scientifique. Pour cela, un indice est présenté automatiquement après une erreur. Les élèves peuvent alors choisir le type d’indice qu’ils veulent ; les indices allant du niveau 1 (le moins spécifique) au niveau 4 (le plus spécifique). En plus de recevoir des indices, les élèves peuvent également visualiser librement des ressources.

L’analyse des journaux d’activités résultant de l’étude empirique a permis d’observer les comportements des apprenants et éventuellement leur orientation, en distinguant ceux qui sont orientés par des buts de maitrise (c’est-à-dire dont l’objectif est de développer de nouvelles capacités et connaissances) de ceux qui sont orientés par des buts de performance (c’est-à-dire ceux dont l’objectif est de surpasser les autres).

COMMENT FONCTIONNE IA-EVAL

Pour évaluer les progrès de chaque élève, IA-EVAL utilise un Composant-de-Connaissances qui stocke les connaissances d’IA-EVAL sur les sciences et les mathématiques, afin qu’il puisse vérifier si le travail de chaque élève est correct ; un Composant-d’Analyse qui recueille et analyse des données sur les interactions de chaque élève avec le logiciel ; et un Composant-Profil-d’Élève qui calcule et stocke constamment ce que IA-EVAL juge être les connaissances per se de chaque élève et sa prise de conscience métacognitive.

Le Composant-de-Connaissances IA-EVAL est affiné afin qu’il puisse générer toutes les étapes (correctes et incorrectes) nécessaires pour trouver une solution, et non seulement des réponses (correctes et incorrectes). Pour toute tâche que l’élève doit effectuer, IA-EVAL peut générer toutes les étapes suivies par l’élève. Il permet aussi de tracer les aides requises et utilisées lors de l’exécution de ladite tâche.

Le Composant-d’Analyse recueille les interactions de chaque élève avec le logiciel. Plus précisément, il recueille les données (y compris les ressources) à chaque étape suivie par l’élève lors de la résolution de la tâche, la quantité d’indices ou de conseils dont l’élève avait besoin pour réussir chaque étape et chaque tâche, le niveau de difficulté de chaque tâche accomplie par l’élève ainsi que le temps alloué (voir figure 1 représentant l’interface d’une de ces activités).

Figure 1

Le Composant-Profil-Élève utilise les résultats du composant d’analyse pour renforcer ou modérer son jugement sur chaque élève à propos de : sa connaissance et sa compréhension de chaque concept dans un programme de mathématiques ou de sciences, en évaluant la capacité de chaque élève à terminer une étape de solution, ou une tâche entière, correctement sans aucun indice ; son potentiel de développement de ses connaissances et de sa compréhension de chaque concept dans un programme de mathématiques ou de sciences, en évaluant la capacité de l’élève à terminer correctement une étape de solution, ou une tâche entière, avec un niveau particulier de conseils ou des indications ; sa prise de conscience métacognitive de ses connaissances et de sa compréhension, et de l’étendue du besoin d’utiliser des conseils et des astuces pour réussir, en évaluant la capacité de l’élève à identifier exactement le niveau d’indices ou de conseils dont il a besoin pour terminer correctement une étape de la solution, et en évaluant le niveau de difficulté auquel il peut réussir.

SOLLICITER L’AIDE ADAPTÉE

À tout moment, IA-EVAL peut fournir les ingrédients qui peuvent être synthétisés et interprétés pour produire des interfaces (Figure 2) qui illustrent ses jugements sur la performance d’un élève sur une tâche particulière, sur un ensemble de tâches et sur toutes les tâches accomplies.

Figure 2

La carte dans la boite de dialogue intitulée « Activités » représente le domaine du programme que l’élève étudie, chaque nœud représentant un sujet du programme. Lorsque l’utilisateur survole un nœud de cette carte, le graphique à barres (ci-dessous et à gauche de la carte) indique le niveau de difficulté de la tâche à accomplir et les chiffres (ci-dessous à droite de la carte), indiquent la nature de l’aide accessible.

Un nouvel élément d’interface a été introduit pour aider les apprenants à réfléchir à leurs performances et à prendre des décisions sur l’aide qu’ils devraient utiliser. Il a fourni à l’apprenant une carte du programme superposée avec des informations sur l’aide que les apprenants avaient utilisée pour terminer les activités à chaque point du programme.

Les résultats mettent également en évidence (et donnent quelques indications sur) la nature des réflexions futures nécessaires pour le développement des programmes d’orientation et d’adaptation des apprenants.

DEVENIR ACTEUR DE SON ÉVALUATION
IA-EVAL est un système d’évaluation générique qui illustre une seule approche pour évaluer ce qu’un élève sait et comprend. Le système convient à des matières telles que les mathématiques ou les sciences et il est basé sur des outils de recherche existants. Cependant, de nombreuses techniques d’IA différentes (telles que le traitement du langage naturel, la reconnaissance vocale et l’analyse sémantique) peuvent être utilisées pour évaluer l’apprentissage des élèves, et une combinaison appropriée d’outils serait nécessaire pour d’autres matières, telles que la langue parlée ou l’histoire, et des compétences telles que la résolution de problèmes en collaboration.

L’expérimentation de cette nouvelle approche de l’évaluation par compétences montre que, pour la majorité des élèves, avoir une attitude et une démarche d’apprentissage est une condition sine qua non pour réussir une activité. L’enseignant a donc tout intérêt à s’investir tout au long de l’année dans l’inculcation de ces valeurs. Elle a mis également l’accent sur la communication entre enseignant et élève, qui est un des plus grands enjeux de l’évaluation. Cet échange constant est essentiel au bon déroulement de l’évaluation, il permet à l’élève de comprendre le contrat qui le lie avec l’enseignant sur l’activité réalisée. Elle a aussi montré que l’autoévaluation est une pratique qu’il faut privilégier, car elle permet à l’élève de s’investir et de devenir acteur de son évaluation.

Cette étude montre enfin que l’évaluation par compétences est toutefois chronophage et nécessite que des outils soient mis en place pour que le temps qui y est consacré reste raisonnable et ne grève pas les autres activités de l’enseignant.

Cécile Barbachoux
Responsable du master MEEF enseignement des sciences de l’ingénieur, université Côte d’Azur-Inspé
Jeremy Ranguis
Professeur au lycée Jules-Haag de Besançon
Joseph Kouneiher
Directeur du département Sciences et technologies, université Côte d’Azur-Inspé