Le chatbot en formation : un tuteur virtuel ?

Les chatbots existent depuis des années mais jusqu’à présent, ils étaient souvent plus « bots » que « chat », autrement dit plus robotisés que portés sur la conversation. Avec le développement de l’Intelligence Artificielle (IA) générative, l’utilisation de ces assistants conversationnels virtuels pourrait évoluer de manière significative dans les années à venir. On peut faire l’hypothèse que l’IA va les rendre plus sophistiqués, plus spontanés, et donc plus performants, loin de la représentation qu’on peut en avoir aujourd’hui. On ne s’étonnera donc pas que les organismes de formation s’y intéressent pour accompagner leurs apprenants, le Cnam en tête ! Est-ce à dire que les chatbots vont se transformer en « tuteurs virtuels », au même titre que les formateurs dans les enseignements à distance ?
Deux expériences d’usage des chatbots ont été initiées en parallèle au Cnam. L’une au Cnam Paris, pilotée par Vincent Dalmeyda, chef du service Accompagnement aux Usages Pédagogiques et Numériques du Cnam ; l’autre en région, pilotée par Karine Debec, Responsable du Service Accompagnement Pédagogique et Numérique au Cnam des Pays de la Loire.

Le living Lab Sofa les a réunis pour échanger sur la pertinence technique de cet outil et les éventuels usages qui pourraient en découler. S’il est trop tôt pour tirer des enseignements de ces expérimentations, il en ressort un potentiel et des points de vigilance.

Living lab Sofa : pourquoi avoir ajouté des chatbots dans certains cours du Cnam ?
Vincent Dalmeyda : l’idée de départ était d’expérimenter et d’observer la faisabilité et la pertinence technique de cet outil. Nous avons saisi l’offre d’un prestataire qui voulait tester et développer un chatbot en situation réelle. Nous avons circonscrit l’expérimentation à une dizaine de cours.

Karine Debec : nous étions dans la même logique d’opportunité et d’expérimentation pour voir s’il pouvait apporter un service supplémentaire aux apprenants. Nous recherchons des moyens de renforcer l’engagement des apprenants en Formation ouverte et à distance. Nous avons commencé par trois cours au semestre 1, puis cinq cours au semestre 2, en demandant au développeur de faire évoluer l’outil.

Living lab Sofa : quelles formes prennent ces chatbots ?
Vincent  : ils se présentent sous la forme d’une bulle informationnelle mise à disposition dans Moodle.

Karine : Pour notre part, nous avons fait le choix de les intégrer dans chaque séquence de cours, dans Moodle.

Living lab Sofa : quels usages peuvent être visés avec les chatbots ?
Vincent : en termes d’usage, nous voulons étudier si le chatbot permet d’accélérer les réponses faites à l’apprenant, notamment en enseignement à distance. Jusqu’à présent, lorsqu’un apprenant se pose une question, il doit la poser sur un forum et attendre quelques heures la réponse de son enseignant. Le chatbot a été programmé pour lui répondre en instantané à partir des contenus du cours. Une autre fonction potentielle pour l’apprenant est le résumé de contenu à partir de l’agrégation de cours. Il pourrait aider, par exemple, à la définition de notions, ou encore à l’identification des points clés à acquérir, y compris sous forme de Map (carte mentale).

Karine : oui, il y a également l’idée d’entrainement à l’approche des examens. Cela peut venir de l’apprenant qui peut lui demander de lui poser des questions pour réviser, voire des exercices supplémentaires. Ou de l’enseignant, le chatbot constituant alors une aide pour réaliser des quiz ou des flashcards.

Living lab Sofa : sur quelles ressources s’appuient-ils ?
Vincent  : nous avons demandé aux enseignants concernés de donner leur accord préalable à l’usage de leur cours. Les chatbots utilisent donc les contenus des cours mis en ligne par les enseignants comme principale ressource. Il se nourrit de toutes les données textuelles. Pour ce qui est des vidéos, nous récupérons la transcription et c’est ce fichier texte qui est utilisé. Cela pose davantage de difficultés pour les cours où il y a des formules, des équations, des tableaux… Pour cela, il s’applique sans doute mieux à un cours de droit qu’à un cours d’informatique. Enfin, l’intégration dépend aussi de la taille et du nombre de fichiers.

Karine : pour nous, la limite est de 10 mégaoctets, mais elle peut être dépassée. La vidéo est traitée comme un audio et fait l’objet d’une transcription automatique et d’une synthèse. Dans la prochaine version développée, le chatbot peut donner la source de sa réponse et renvoyer à la section où elle se trouve dans le cours. Il est également possible de lui donner l’URL d’une page web et de faire en sorte qu’il s’y cantonne. Il n’ira pas chercher ailleurs sur un moteur de recherche par exemple, car on ne pourrait plus garantir la provenance de l’information.

Living lab Sofa : comment garantir la qualité des réponses apportées par le chatbot ?
Vincent : c’est tout l’enjeu de l’expérimentation. De notre côté, nous l’avons programmé pour que si l’apprenant n’est pas satisfait de la réponse, il soit systématiquement invité à se retourner vers le forum ou l’enseignant.

Karine : oui, il faut impérativement que l’enseignant puisse vérifier les réponses apportées par le chatbot, et qu’il en soit le garant. Le prestataire a développé un statut qui permet à l’enseignant d’accéder aux questions posées par l’élève et aux réponses apportées par le chatbot.

Living lab Sofa : quels premiers usages observez-vous ?
Vincent : l’expérience n’a que 4 ou 5 mois, il y a donc encore peu de retours. Dans les premiers constats que nous avons pu faire, les apprenants se contentent souvent d’ouvrir la bulle de discussion, d’écrire un mot mais ne cherchent pas vraiment à l’utiliser. Nous avons seulement demandé aux enseignants d’informer les élèves de la mise à disposition de cet outil sans forcément leur expliquer les usages possibles.

Karine : nous n’avons pas nécessairement constaté non plus un engouement très fort des utilisateurs finaux. A ce stade nous ne pouvons faire que des hypothèses sur l’intérêt qu’ils peuvent y trouver. Un des élèves l’ayant testé a toutefois évoqué une plus grande liberté d’expression : il ose poser des questions qu’il ne s’autorisait pas forcément dans des échanges synchrones avec l’enseignant, sans craindre son jugement ou celui des autres…

Living lab Sofa : quels premiers enseignements tirez-vous de ces expérimentations ?
Vincent : l’importance d’embarquer les enseignants, de leur expliquer comment fonctionne l’outil et de les rassurer sur ce qui va être fait de leurs données. Et il faut étudier la pertinence des réponses ! Dans ce que nous avons pu observer, il y a du déchet. Notre travail pour l’instant est de les identifier en permettant à l’enseignant de lire les réponses réalisées par les chatbots. De manière qu’il s’assure que ces réponses correspondent bien à ce qu’il a dispensé dans son cours.

Karine : oui, il faut d’abord que les enseignants soient eux-mêmes convaincus de l’intérêt de cet assistant virtuel. Nous devons montrer aux utilisateurs (enseignants et élèves) les usages possibles de l’intelligence artificielle, apprendre aux élèves à formuler des prompts, bref à s’approprier l’outil. Si le chatbot n’est pas poussé par l’enseignant, il ne sera pas utilisé. Il faut enfin qu’ils identifient et sélectionnent les contenus qui leur semblent pertinents pour alimenter le chatbot.

Living lab Sofa : Et dans l’avenir ?
Vincent  : une des évolutions envisagées, c’est la possibilité à partir par exemple d’une Map, de cliquer sur un mot pour aller retrouver la ressource d’origine, donc de faire des liens plus systématiques entre les réponses et les cours.

Karine : la manière dont il se présente va sans doute aussi évoluer : on peut déjà lui donner un nom, ce qui peut renforcer cette idée d’assistant virtuel en face de soi. Mais attention, tout cela a un coût qu’il faudra aussi prendre en compte dans l’évaluation de son éventuelle plus-value.

The post Le chatbot en formation : un tuteur virtuel ? first appeared on Le Cnam - Living Lab Sofa.