L’Evaluation des Enseignements par les Élèves (EEE)

Quels sont les apports des TIC dans la mise en place et l’exploitation des évaluations des enseignements par les élèves ? Si la plateforme d’enseignement permet la mise en ligne de formulaires d’évaluation, ne pourrait-elle pas également, par ses fonctionnalités (forums, éditeur partagé wiki…), être l’outil de travail collaboratif du groupe d’enseignants chargés de la mise en place des Evaluations des Enseignements par les Elèves (EEE) et l’outil de diffusion des résultats et des bilans ?
Après la mise en place, suivant le processus de Bologne (TROQUET, 2007) en 2002 pour les anciens cursus de 1ère et 2nde années, de la formation découpée en semestres d’enseignement et son organisation en Unités de Valeur, puis, en 2004, de la création des filières de 3ème année permettant l’accès à un double diplôme d’Ingénieur et de Master, TELECOM Bretagne (Ex : Ecole Nationale Supérieure des Télécommunications) soucieuse de la qualité de ses enseignements, a engagé, en 2006, une démarche qualité sur l’ingénierie et la pédagogie.

Cet article retrace les actions de conception, de mise en place, d’adaptation des EEE et détaillera les différents résultats obtenus sur les 5 derniers semestres dans différents types et domaines d’enseignements. En conclusion, nous examinerons les points forts et les points faibles de ce dispositif et nous tenterons d’apporter, avec le recul sur ces 5 semestres, des suggestions d’amélioration.

1 - INTRODUCTION

La démarche qualité, basée sur l’évaluation-régulation centrée sur l’action se traduit par l’insertion d’un processus d’Evaluation des Enseignements par les Elèves (EEE) dont l’objectif est, à partir d’indicateurs issus de questionnaires soumis aux élèves et de réunions de bilans entre les élèves et les enseignants, d’obtenir des éléments d’estimation, d’appréciation, et de compréhension (HADJI, 1992), afin que l’équipe enseignante, le service des études et la Direction de la Formation puissent mettre en oeuvre des actions contextualisées, collectives, formatives et dynamiques (YOUNES, 2008) d’évolution et d’amélioration de la qualité pédagogique et organisationnelle des enseignements. La récolte des données et des avis des élèves est effectuée, depuis 2006, sur la plateforme d’enseignement au travers de questionnaires d’évaluation en ligne.
Ces résultats quantitatifs sont ensuite transmis aux enseignants concernés et analysés afin de servir de base aux réunions de régulation avec les élèves. Des bilans qualitatifs sont alors dressés et permettent d’engager des actions d’amélioration et d’adaptation des enseignements.

2 - LES OBJECTIFS DE L’EEE

Lorsque l’on parle d’évaluation dans un apprentissage, on se réfère souvent aux fonctions sommatives, pronostiques (ou prédictives) et formatives ayant pour but soit :

• de valider un parcours ou de vérifier de manière normative la progression,
• d’orienter l’apprenant en entrée ou en poursuite de cursus en appréciant ses capacités ou ses intentions,
• d’effectuer une médiation adaptée par la compréhension des difficultés et des différences individuelles des apprenants.

Les 3 intentions soulignées par Hadji se retrouvent ici : estimer, apprécier et comprendre.

L’EEE se réfère aussi à ces intentions car elle doit permettre :

• d’estimer, par des questionnaires ou des sondages, et de manière normative, la qualité générale de l’enseignement ressentie par les élèves.
• d’apprécier et de relever les points forts et les points posant problème.
• de comprendre, lors de réunions de concertation élèves-enseignants-direction de la formation, la nature et la source des difficultés soulevées.

Mais elle doit aussi :

• être suivie d’effets, d’actions concrètes permettant de remédier aux problèmes
• être reconduite sur plusieurs semestres consécutifs afin de démontrer, par les améliorations apportées, son utilité dans la démarche de recherche de la qualité de la formation.

Rappelons ici les définitions d’André Quinton (QUINTON, 2007)

• Du point de vue de l’institution : « Les évaluations sont des outils de pilotage des établissements, soit en tant qu’autoévaluation interne, soit lors d’évaluation externe dans le but d’obtenir une accréditation. »
• Du point de vue des enseignants : « Leur but est de promouvoir leur enseignement, de bénéficier d’avis permettant de l’améliorer, d’obtenir des avantages qu’il s’agisse de promotion ou l’obtention de moyens en personnels, matériels, locaux, etc ».
• Du point de vue des étudiants : « Les avantages que peuvent attendre les étudiants des évaluations vont de la satisfaction d’être officiellement entendus à celle d’avoir l’assurance de bénéficier des meilleures conditions d’enseignement ».

TELECOM Bretagne est habilitée à délivrer le diplôme d’ingénieur par la Commission des Titres d’Ingénieur (CTI). Les arrêtés2 du 9 avril 1997, article 23, et du 23 avril 2002 fixent l’obligation de l’évaluation des enseignements par les élèves.

La CTI examine donc, entre autres points, lors de ses visites, la politique d’amélioration continue et la démarche qualité de l’école. En réponse aux attentes de cette commission, Telecom Bretagne se doit de présenter ses actions attestant de la conformité de son organisation et de ses actions avec la charte de la CTI et, notamment, « ses actions détaillées d’appréciation des enseignements par élèves et les suites données ».

Les 3 étapes du processus d’une démarche qualité doivent donc s’appliquer ici, en notant bien que ces étapes se déroulent dans le temps :

Etape 1 - Réalisation d’une action suivant une procédure

Etape 2 - Evaluation

Etape 3 - Modification de la de l’action procédure

3 - LE CONTEXTE D’INSERTION DE L’EEE

3-1 L’école, ses campus, ses effectifs

TELECOM Bretagne, école d’ingénieur créée en 1977, offre, sur ses campus de Brest, Rennes et Toulouse, des formations, généralistes et de spécialités, appuyées par une recherche de haut niveau dans le domaine des technologies de l’information. 300 permanents dont plus de la moitié d’enseignants-chercheurs encadrent et participent aux formations d’ingénieur, de masters ou de doctorat des 1 000 élèves présents sur le campus.

3-2 L’organisation des cursus

L’organisation des cursus permet à chaque élève, au delà d’un socle commun, de construire un parcours personnel orienté vers la recherche ou vers l’ingénierie, avec un profil d’expert ou de généraliste. La compatibilité des cursus avec le système LMD permet une grande mobilité des élèves tant en Europe que dans le monde et confère un caractère international marqué à l’établissement avec 40% d’élèves étrangers.

D’une durée de 3 ans, le cursus est organisé en deux phases. Les deux premières années (Semestres 1 à 4), ponctuées par des projets, sont consacrées à la formation générale, scientifique, technique, économique et humaine et à une initiation aux méthodes de l’ingénieur. La troisième année (Semestres 5 et 6), qui précède l’entrée dans la vie professionnelle, met l’accent sur l’ingénierie des systèmes et des services. Les élèves qui le souhaitent peuvent simultanément tester leurs aptitudes à la recherche en préparant un diplôme national de master (ancien DEA).

La préparation des élèves-ingénieurs à exercer leur métier dans un cadre international induit la maîtrise de l’anglais et d’une seconde langue étrangère au niveau européen B2 ainsi que 3 mois de stage à l’étranger. Ce sont des conditions requises d’obtention du diplôme de l’école.

Par cette organisation des enseignements et des parcours, l’école répond aux attentes formulées par la CTI et rappelées par Blandin (BLANDIN, 2008) concernant le référentiel d’ingénieur généraliste complété de compétences spécifiques au secteur d’activité ou aux futures fonctions occupées en entreprise.

3-3 La personnalisation des parcours

Un des principes forts du projet pédagogique de TELECOM Bretagne est la personnalisation du cursus.Même si, in fine, tous les élèves maîtrisent une base de connaissances communes (S1), ils peuvent, au cours de la scolarité, personnaliser leurs parcours par, du S2 au S4, un choix d’Unités de Valeurs dites mineures correspondant au minimum de culture jugé nécessaire pour tous dans un domaine donné enseignement ou d’UV majeures incluant l’idée de capacité de conception plutôt que de compréhension. Enfin, la 3ème année, année de transition avec la vie professionnelle, offre un choix de filières et d’unités de valeurs adaptées aux projets personnels des élèves. Cette 3ème année se décompose en 2 phases, l’une de formation académique (S5) et l’autre de stage de fin d’études en entreprise (S6).

4 - LA PHASE PREPARATOIRE DES EEE

4-1 Les objectifs

Le processus d’EEE, tel qu’il a été conçu, implique différents acteurs, les élèves, les enseignants, le service des études, la direction de la formation, et se veut générateur de changements sur différents niveaux afin :

• d’augmenter l’implication des élèves dans leurs cursus de formation en prenant en compte leurs remarques et suggestions d’amélioration et en leur démontrant, par les actions d’ajustements des enseignants, du service des études et de la direction de la formation, la réelle prise en compte de leurs avis.

• d’alimenter la réflexion des enseignants sur leurs pratiques pédagogiques

• de vérifier la qualité et la bonne répartition, par le service des études, des moyens et matériels pédagogiques

• de valider, au niveau de la Direction de la Formation, la cohérence de l’agencement des modules d’enseignements dans les cursus proposés.

• de produire, au niveau de l’établissement, des éléments d’appréciation aux organismes certificateurs (Commission des Titres d’Ingénieurs, ISO 9001…)

4-2 L’utilisation des Technologies de l’Information et de la Communication

TELECOM Bretagne a mis en place, depuis 2005, une plateforme d’enseignement permettant la diffusion des ressources de cours, les communications synchrones et asynchrones entre les acteurs et l’évaluation de la progression des élèves (par des contrôles continus en ligne basés sur des tests de sélection ou à réponses courtes, par des dépôts de productions longues ou par les évaluations des contributions sur les forums ou les éditeurs partagés…).
Après 3 années d’exploitation, que ce soit pour l’enseignement ou les travaux collaboratifs entre enseignants et personnels de la direction de la formation ou, encore, pour des sondages et enquêtes à caractère plus général, l’usage et la pratique de cette plateforme commencent à s’ancrer tant au niveau des enseignants que des élèves.

Cette plateforme possède également des outils de création de formulaires de sondages qui, par leur facilité de mise en oeuvre, répondent bien à la création, à la diffusion et au traitement simplifié des résultats par rapport aux formulaires « papiers ».
Plusieurs applications de ce type sont déjà gérées par la plateforme et donnent satisfaction. L’utilisation de ces outils TIC, tant du point de vue de la collaboration du groupe de réflexion et de suivi que dans la diffusion des formulaires et des résultats, a donc été adoptée pour les évaluations des enseignements.

4-3 Les premières décisions du groupe d’enseignants chargé de la réflexion sur la mise en place de l’EEE

Un groupe d’enseignants volontaires a été formé afin de préciser les objectifs et les modalités de l’EEE. Ce groupe utilisait, pour ses réflexions et ses comptes-rendus de réunions, un éditeur partagé (wiki) disponible sur la plateforme d’enseignement de l’école. Dans les décisions de ce groupe, nous trouvons l’utilisation de questionnaire en ligne, option disponible sur cette plateforme, mais aussi des décisions concernant le semi-anonymat, l’adaptation des grilles en fonction du type d’enseignement et une demande de prise en compte de l’origine des élèves afin de déceler les problèmes liés à la langue utilisée dans les enseignements.

Les principales décisions du groupe de réflexion sur les évaluations constituent un premier cahier des charges :

• l’évaluation se fera au moyen d’un outil en ligne plutôt qu’une évaluation papier
• le questionnaire sera accessible via un authentifiant afin d’établir la liste des répondants mais ne permettra pas de visualiser leurs réponses individuelles (notions de semi-anonymat).
• l’évaluation sera systématique au niveau de l’UV (Unité de Valeur regroupant plusieurs modules dispensés par des enseignants différents), avec une grille commune pour chacun des 5 domaines d’enseignement en Tronc Commun (TC), UV mineures et UV majeures.
• une grille sera dérivée pour les Travaux Pratiques et Projets (projets et ateliers en S1, S2, S3 et S4)
• une grille sera également proposée pour les 9 langues enseignées. Adaptable et non obligatoire, elle sera mise en oeuvre localement sous responsabilité du département Langues et Culture Internationale.
• les résultats permettront de prendre en compte les origines francophones ou non des élèves afin de déceler les problèmes de langues (compréhension orale et écrite)
• les résultats « quantitatifs » des formulaires en lignes seront accessibles en temps réel par les responsables des UV et serviront de base pour un bilan qualitatif lors d’une réunion de bilan avec les élèves inscrits aux différentes UV.
• les résultats quantitatifs et les bilans qualitatifs reprenant les améliorations prévues seront diffusés aux enseignants et aux élèves, toujours sur la plateforme.

4-4 L’élaboration du formulaire standard et son évolution

Le groupe d’enseignants chargé de l’EEE a mis au point, en réunions présentielles ou par des contributions sur l’éditeur partagé, une grille répondant aux objectifs déclinés lors des premières réunions. Cette grille, revue et amendée plusieurs fois, faisait, à chaque version, l’objet d’une création de formulaire sur la plateforme afin de visualiser le rendu réel sur écran et de mettre en évidence les incohérences ou les difficultés prévisibles de compréhension. Les thèmes abordés dans cette grille font référence :

• à l’admission de l’élève dans le cursus, sur concours ou admis sur titre (1 question de sélection)
• à l’organisation et aux contenus (4 questions de sélection +1 champ de commentaire libre)
• aux aspects pédagogiques (8 questions de sélection+1 champ de commentaire libre)
• aux aspects personnels, l’organisation du travail de l’élève (5 questions de sélection+1 champ de commentaire libre)
• aux difficultés linguistiques pour les élèves étrangers, de compréhension écrite et orale du français, langue utilisée dans les cours (4 questions de sélection+1 champ de commentaire libre).

Toutes les questions de sélection sont à réponses obligatoires sauf celles concernant le dernier thème réservé aux élèves étrangers.

4-5 L’intégration des formulaires sur la plateforme

Le module Feedback de la plateforme Moodle a été choisi pour administrer ces formulaires d’enquêtes. Par ses fonctionnalités et son orientation « enquêtes » et « sondages », ce module répond bien aux attentes exprimées. Seules quelques modifications du code PhP ont été apportées afin de répondre au point du cahier des charges concernant le semi-anonymat ainsi que l’exportation de ces données en format tableur (Exel, OpenOffice).

Pour des raisons de gestion des inscriptions (inscriptions automatisées à partir d’une base Oracle), il a été décidé de créer des espaces séparés pour les évaluations des différents niveaux et domaines.

Après une première saisie, les bases de questions des formulaires ont été transformées en modèles et partagées entre les différents espaces dédiés aux EEE. Ceci afin d’éviter les saisies multiples et de faciliter la gestion des différentes versions de questionnaires ainsi que les modifications apportées au fil du temps.

5 – L’EXPERIMENTATION SUR LES SEMESTRES D’AUTOMNE 2006 ET DE PRINTEMPS 2007

5-1 La participation aux EEE d’automne 2006 et Printemps 2007

La participation aux 14 évaluations d’UV du S1 d’automne 2006 s’étalait de 20 à 88% suivant les UV avec une moyenne de 35%. Cette faible participation a entraîné la décision, par la Direction de la Formation, de modifier les règles de l’EEE et de rendre obligatoires les évaluations quantitatives (formulaires en ligne) ainsi que la présence des élèves à la réunion de bilan.
L’absence de participation entraînant, pour chaque étape (formulaire et réunion) une pénalité ayant le même poids qu’un contrôle continu sur la moyenne générale de l’élève à l’UV.
Mais cette décision a nécessité la mise en oeuvre d’un dispositif de « pointage » des absences et d’arbitrage des « recours ». Cette phase qui n’est toujours pas automatisée, entraîne un traitement « manuel » relativement lourd.

Question sur l’obligation de participation : Cette obligation de participation peut soulever une question sur la qualité des réponses fournies par les élèves. « Ayant chacun au moins 3 grilles à compléter à chaque semestre, certains élèves ne seraient-ils pas tentés de cocher les cases à l’aveuglette ? ».

Un relevé du temps moyen passé par les élèves à compléter quelques 300 formulaires a été effectué au printemps 2008. C’est, a priori, le seul indicateur que nous ayons. Les résultats montre que le temps moyen passé par les élèves pour compléter les grilles est de 4 à 5 minutes avec des pointes jusqu‘à 15 mn dues à la rédaction des commentaires libres et, enfin, pour une proportion de 15% environ, un temps de 1 à 2 mn, temps qui semble insuffisant pour apporter des réponses « réfléchies » aux 18 questions de sélection (qcm) obligatoires du formulaire.

5-2 Les nécessaires adaptations des grilles d’évaluation et des procédures

Ces premiers résultats, après analyse, ont entraîné une reprise et une modification des questionnaires afin de lever certaines ambiguïtés dans les énoncés et les propositions de réponse, ou de cerner, par de nouvelles questions, des problèmes particuliers mis en évidence par les élèves. Là aussi, nous sommes bien dans une démarche d’évolution et d’amélioration de la procédure d’évaluation.

5.3 Les réunions de « bilans qualitatifs » suite aux résultats »quantitatifs » obtenus par les formulaires « en ligne »

Les responsables des UV ont accès, en temps réel, aux résultats des évaluations concernant les modules dispensés dans leurs UV. Cette visualisation immédiate, sous forme de graphe, des réponses leur permet d’anticiper sur les sujets à aborder lors de la réunion de bilan qui a lieu quelques jours après la date de fermeture des questionnaires en ligne. Lors de cette réunion, l’enseignant invite les élèves à approfondir les problèmes issus des bilans quantitatifs puis propose, en accord avec les enseignants des modules, des solutions d’amélioration.

5- 4 La diffusion des résultats

Suite aux réunions de bilans, les résultats « quantitatifs », issus des questionnaires en ligne, ainsi que les propositions émanant des bilans sont mis à disposition de tous les élèves et des enseignants sur la plateforme. D’année en année, les historiques sont conservés, chacun peut ainsi mesurer les améliorations découlant de ces EEE.

6 - LA GENERALISATION DES EEE A PARTIR DU SEMESTRE D’AUTOMNE 2007

Après ces périodes d’expérimentations sur les UV des semestres 1 à 4 dans les 5 domaines d’enseignement, les EEE ont été généralisées à l’ensemble des enseignements dispensés sur ces semestres : les UV de Tronc Commun, de mineures et de majeures des 5 domaines, les projets semestriels, les langues et les UV d’intersemestre.
Pour les 3ème années, seul le semestre 5 sera concerné par les EEE, le semestre 6 étant consacré au stage de fin d’études. Pour ces élèves du semestre 5, la formation est proposée sous forme de filières et permet un choix personnalisé du parcours.

Cette option d’individualisation du parcours ne permet pas d’appliquer la procédure standard utilisée pour les élèves de 1ère et 2nde années car les inscriptions ne concernent plus les UV entières mais les modules composants les niveaux choisis dans les filières.
Après avis des responsables de ces filières, décision a été prise de proposer, dans chaque module, des questionnaires d’EEE facultatifs non-anonymes spécifiques à ces filières de 3ème année.

Quelques chiffres de la participation des élèves à la campagne d’EEE d’Automne 2008 :

– 1465 formulaires administrés

UV du semestre 1 (élèves de 1ère année) 96%

UV du semestre 3 (2nd année) 98%

Projet du semestre 1 97%

Projet du semestre 3 76%

Langues (8 langues enseignées) 74%

– Note : Plus 480 questionnaires sur les UV d’inter semestre non-traités à la rédaction de cet article.

7 - CONCLUSION

Avec ce recul sur l’application des EEE à Télécom Bretagne, quel constat pouvons-nous faire ?

Examinons ce dispositif d’EEE à partir des 5 critères d’adoption de l’innovation établis par Everett ROGERS (ROGERS, 1983) et repris par Nathalie EVEN (EVEN, 2001) :

La valeur ajoutée

Représentée ici par l’application d’une démarche qualité en réponse aux attentes de la CTI concernant la politique d’amélioration continue. Les EEE mises en place à Télécom Bretagne répondent à ces attentes en termes d’amélioration continue de l’enseignement. Comme nous l’avons vu plus haut, cette démarche d’amélioration est appliquée tant au niveau des enseignements qu’au niveau des procédures d’EEE. Pour les responsables de domaines, l’exportation, en format tableur, des données recueillies par les formulaires en ligne permet la manipulation et la consolidation des données afin d’établir des comparaisons, semestre après semestre, sur des variables précises.

La compatibilité avec les pratiques et les valeurs

Avant la mise en place de ces EEE supportées par les TIC, les enseignants proposaient, en fin de module ou d’UV, des réunions de régulation et de bilan avec leurs élèves. Ces pratiques d’évaluation existaient donc bien avant la procédure décrite ici mais n’étaient pas systématiques et le traitement des formulaires « papiers » se faisait manuellement, par l’enseignant responsable de l’UV.

La complexité

D’un point de vue technique, la plateforme présente des fonctionnalités qui permettent une création simplifiée et une mise en ligne rapide des formulaires d’évaluation ainsi que l’automatisation du traitement et la diffusion des résultats. Cette étape d’évaluation supportée par la plateforme est simple à mettre en oeuvre.

Dans le cas de Télécom Bretagne, la participation obligatoire aux EEE de 1ère et 2nd années entraîne une complexité résidant surtout dans l’établissement des listes des absences à ces activités d’évaluation. Ce traitement, établissant le différentiel entre les inscrits et les répondants, demande à être automatisé, un cahier des charges fonctionnel est en cours de rédaction sur ce point.

L’expérimentation

Cette étape est nécessaire dans la mise au point des procédures. Pour Télécom Bretagne, elle s’est étalée sur 2 campagnes consécutives d’évaluation (Automne 2006 et Printemps 2007) et a permis d’affiner les procédures mais, aussi, d’entamer l’étape d’ancrage de nouveaux usages et de nouvelles pratiques auprès des enseignants et des élèves.

La visibilité

Cette visibilité des résultats et des actions d’amélioration menées par les enseignants et l’institution constituait un des points du cahier des charges établi par le groupe de réflexion sur les EEE. Là encore, la plateforme d’enseignement joue son rôle en permettant d’afficher à tous les résultats quantitatifs et qualitatifs ainsi que les historiques des EEE et, ainsi, de pouvoir mesurer les améliorations apportées.

*****************

1 CTI, Commission des Titres d’Ingénieur. http://www.cti-commission.fr/

2 Arrêtés 97 et 2002 :http://sup.ups-tlse.fr/evaluation/textes.htm (Voir également le rapport DEJEAN, http://www.ladocumentationfrancaise.fr/rapports-publics/024000165/index.shtml)

BIBLIOGRAPHIE

BLANDIN, B, (2008). L’approche compétences dans une formation d’ingénieurs.

EVEN, N. (2001). Le suivi du dispositif : du diagnostic à l’évaluation

HADJI, C. (1992). L’évaluation des actions éducatives. Paris, PUF.

QUINTON, A. (2007). Evaluation des enseignements et des formations.

ROGERS, E. (1983). Diffusion of innovations ». New-York. FreePress

TROQUET, M.(2007), L’application du processus de Bologne en France – Bilan et perspectives.

YOUNES, N. (2008). L’évaluation de l’enseignement par les étudiants dans le supérieur.