De la démonstration à l’amélioration des dispositifs pédagogiques : une question d’évaluation

Denis Bédard, « De la démonstration à l’amélioration des dispositifs pédagogiques : une question d’évaluation », Revue internationale de pédagogie de l’enseignement supérieur [En ligne], 38(1) | 2022, mis en ligne le 13 juin 2022, consulté le 18 juin 2022. URL : http://journals.openedition.org/ripes/3993 ; DOI : https://doi.org/10.4000/ripes.3993

Ce numéro spécial de la revue RIPES présente six articles. Ils sont réunis sous l’intitulé en forme de question : « Quels bilans des mesures des effets des dispositifs institutionnels d’aide à la réussite à l’université ? ». Déjà, la question permet d’ouvrir plusieurs portes afin d’analyser ce qui se passe autour de dispositifs mis en place à l’université afin de soutenir les personnes étudiantes, en particulier les celles qui y arrivent, parfois appelées les « primo-entrants ».

Concevoir et implanter un dispositif d’aide à a réussite, comme tout dispositif pédagogique, n’est pas une mince affaire. Ce l’est encore davantage lorsqu’il s’agit d’un changement de grande envergure, c’est-à-dire qui touche l’ensemble des activités d’un cursus (ex., article de De Clercq et al.), voire d’un établissement (ex., article de Paivandi et Perret). L’évaluation de ces dispositifs représente également un chantier d’envergure, qui devrait être en symbiose avec les deux premières phases (Bédard et Béchard, 2009). Pour certains auteurs, le terme « évaluation » est principalement utilisé dans le but d’améliorer (To Improve) le dispositif ou la démarche de formation (Jouquan, 2009). Pour ces auteurs, l’évaluation se distingue alors de la réalisation d’une « recherche », qui, elle, vise à démontrer (To Prove) et dont le but principal est de produire de nouvelles connaissances (Stuffelbeam, 2003). La présence de cette possible « fracture évaluative » sera le point principal à partir duquel nous analyserons le contenu des articles en tant que contribution à l’analyse de dispositifs institutionnels d’aide à la réussite. Nous y reviendrons plus loin.

La lecture de ces six articles permet également de les considérer sous d’autres angles. Je me permettrai d’en mettre quelques-uns en lumière afin de mieux comprendre leur contribution respective et collective.

Trois articles émanent d’établissements belges et trois articles d’établissements français. Indépendamment de l’existence de cette frontière terrestre, un même constat les réunis, comme en témoigne l’introduction de Perret et de De Clercq. Ainsi, dans ces deux pays, depuis plus de 25 ans « le taux d’échec et d’abandon à l’université restent stables ». Force est cependant de constater que sur le territoire français, plusieurs « décisions gouvernementales » ont été prises afin d’inviter les établissements à pallier la situation : Plan de réussite en licence (PRL) en 2007, la loi ORE (Orientation et Réussite des Étudiants) et le Plan étudiants en 2018. D’autres mesures gouvernementales, pilotées par l’Agence de recherche nationale (ANR), ont été proposées, comme les Initiatives d’Excellence en Formation Innovante (IDEFI – article de Paivandi et Perret) afin de soutenir les établissements. Nonobstant cette particularité, la situation dans les établissements d’enseignement supérieur des deux pays apparaît similaire. Institutionnellement, les actions mises de l’avant prennent souvent la couleur des besoins locaux, voire régionaux.

Les six articles peuvent également être comparés quant à la place et à l’importance qu’ils accordent aux dispositifs dans leur traitement de la question de départ. Il est en effet possible de constater que trois articles placent bien en évidence les dispositifs mis en place dans leur établissement afin de soutenir la réussite des étudiants, alors que les trois autres les présentent en toile de fond, quasi de façon accessoire. C’est alors soit les personnes étudiantes elles-mêmes qui représentent le point focal de l’article (ex., caractéristiques individuelles, stratégies d’études, prérequis, etc.), soit les moyens mis en place pour évaluer les dispositifs (ex., critères, variables, etc.). Cette distinction sera è nouveau mis en évidence lorsque, plus bas, il sera question de la « fracture évaluative » présente dans les articles.

Un autre thème porteur d’un article à l’autre est lié à l’importance qui est accordée aux personnes étudiantes qui arrivent à l’université. Il est alors question de la capacité d’adaptation de ces personnes (article de De Clercq et al.) afin de négocier « la transition entre l’enseignement secondaire et l’enseignement supérieur » (article de Massart et al.), et ce, afin d’éviter ou de diminuer « les taux d’abandon et de redoublement à l’issue de la première année passée à l’université » (article de Berthaud et al.). En abordant ce thème, les auteurs font référence au concept de « métier d’étudiant », explicitement ou implicitement. Essentiellement, la proposition est que les personnes étudiantes doivent apprendre ou réapprendre leur « métier d’étudiant », car à l’université la donne n’est plus la même pour elles : attentes, règles, exigences de réussite, etc. J’ai toujours eu un « inconfort cognitif » avec ce concept. À ma connaissance, il est plus rarement utilisé au Canada. Une des raisons qui peut expliquer cela est l’importance qui est accordée dans plusieurs établissements à un autre concept, soit celui de la « formation professionnelle universitaire » (Bourdoncle et Lessard, 2002). En effet, dans cette perspective, la principale adaptation ou transition du « secondaire à l’université » n’apparaît pas tant liée à l’apprentissage de nouvelles habitudes d’apprenants, mais davantage à l’adoption d’une nouvelle posture d’apprentissage.

En particulier dans les filières professionnalisantes (ex., sciences de la santé, sciences appliquées, sciences de l’éducation), mais également dans d’autres filières (ex., sciences politiques, sciences sociales), la proposition est alors de tenter d’adopter une posture de « professionnel en formation ». C’est alors moins le rôle de « personne étudiante experte » que l’on cherchera à développer, mais plutôt celui de « professionnel novice » qui, dès la première année, est appelé à adopter les codes du « monde professionnel » dans lequel il souhaite exercer : les savoirs (Knowing), l’agir (Acting) et les façons d’être (Being). Dans cette perspective, la distinction entre des « buts d’apprentissage et de développement de compétence » et « des buts de performance » devient plus claire, même si ce changement de posture demeure un défi pour la personne étudiante, du moins initialement. De la même façon, l’importance de la collaboration ou de la coopération comme stratégie d’apprentissage et de travail s’arrime bien à la réalité professionnelle. Il en va de même pour la majorité des agirs communément appelés « transversaux » ou non spécifiques, comme la résolution de problèmes, le travail en équipe, la prise de décisions. Ainsi, une personne étudiante de première année qui doit construire un « projet professionnel » afin de se préparer à vivre une « transition professionnelle » (article de De Clercq et al.) risque moins de considérer cette demande comme « académique », mais davantage comme un des jalons qu’elle est invitée à atteindre sur la trajectoire de son développement professionnel à l’université.

Tenant compte de cette distinction, certains dispositifs décrits dans les articles, comme certains des « effets recherchés dans les évaluations » pourraient être réorientés afin de mieux tenir compte de la réalité professionnelle au terme de la formation, comme des visées professionnelles des personnes étudiantes. La majorité des dispositifs décrits sont axés sur l’acquisition de connaissances (de soi, de son parcours, etc.), plutôt que sur l’apprentissage de l’agir professionnel (Charlier et Biemar, 2012 ; Najoua, 2011), l’agir avec compétence (Le Boterf, 2010, 2011) ou encore l’« inter-agir » et l’intersubjectivité (Bédard et al., 2020). Ainsi, il est possible de constater que les impacts de ces dispositifs ne figurent pas toujours dans les objectifs des évaluations de leur qualité.

La recherche de qualité d’un dispositif pédagogique, en particulier lorsqu’il s’annonce comme innovant, passe souvent par des préoccupations « d’ordre pragmatique, au sens d’une centration sur l’action et d’une recherche de solutions efficaces pour répondre à des problèmes terrain » (Lemaître, 2018, p.1). La pareille semble s’appliquer aux dispositifs d’aide à la réussite décrits dans le présent numéro de la revue RIPES. Ce constat s’aligne très bien avec le sens généralement accordé à la démarche d’évaluation de la qualité des formations. Dans tous les cas, il apparaît important, voire essentiel, de documenter les pratiques, comme tentent de le faire les six articles de ce numéro. Ainsi, la place de la recherche est également présente à travers les termes « mesure des effets ».

Cela dit, il est possible de constater qu’il existe un certain « flottement » dans l’alignement des deux visées de suivi des dispositifs, soit celles de démontrer (To Prove) et celle d’améliorer (To Improve). En effet, l’alignement de ces cibles n’est pas clairement établi à travers la présence de différents critères d’évaluation présentés dans les articles.

Bien sûr, toute démarche de suivi d’un dispositif implique idéalement de colliger des données sur la transformation vécue et son évolution dans le temps. Lorsque le recueil de données vise à améliorer ce qui est, alors le discours sur la qualité de l’offre de formation est souvent ciblé. On tentera d’évaluer ce qui fonctionne (What works ?) et ce qui ne fonctionne pas (articles de Bournaud et Pamphile et de Paivandi et Perret). Lorsqu’elle souhaite, plutôt, démontrer, alors la recherche visera davantage à identifier le pourquoi (i.e. expliquer et comprendre les transformations), de même que les résultats obtenus et leurs effets (articles de Massart et al., de Bournaud et Pamphile et Berthaud et al.).

Le tableau 1 présente les principales distinctions entre les deux perspectives vis-à-vis de l’évaluation d’un dispositif. Le portrait décrit peut donner à penser que ces deux visées ne peuvent se rejoindre, voire qu’elles sont incompatibles, mais ce n’est pas le cas.

Tableau 1 : Distinctions entre la perspective « démontrer » et la perspective « améliorer » vis-à-vis de l’évaluation d’un dispositif
Tenant compte de ces distinctions, il est possible de situer les articles de De Clercq et al., de Leduc et al., et de Paivandi et Perret dans une perspective d’amélioration des dispositifs institutionnels d’aide à la réussite à l’université. De leur côté, les articles Massart et al., de Bournaud et Pamphile et de Berthaud et al. se situent davantage dans une perspective de démonstration des effets, voire de la valeur, des dispositifs. Bien sûr, cette coupure n’est pas toujours claire et la classification des perspectives invite parfois à considérer que les deux se chevauchent. De fait, il est même souhaitable que les différentes mesures de suivi d’un dispositif se conjuguent, afin de viser autant l’objectif d’améliorer que celui de démontrer. À travers cette double perspective, les choix des cibles d’investigation peuvent été déterminés de façon concertée. Ainsi, la combinaison des perspectives d’amélioration et de démonstration peut permettre 1) de combler les limites inhérentes à chacune, 2) d’échafauder des approches et des méthodologies de recherche mixtes et 3) de mieux penser l’action et d’orienter les prises de décision (voir le tableau 2).

Tableau 2. Combinaison des perspectives d’amélioration et de démonstration d’un dispositif.

Prendre en compte les deux perspectives qui motivent le recueil et le traitement de données pour documenter les transformations mises en place est stratégique et fort utile, pour les acteurs, comme pour toute autre partie prenante. De plus, il importe de réinjecter les fruits de la recherche dans les pratiques afin de les faire avancer ; ce numéro spécial et les articles qu’il contient l’illustrent éloquemment. Cette « boucle retour » est susceptible de créer un cycle d’amélioration continue, comme il semble que ce soit le cas de l’établissement qui a pu bénéficier d’un financement de l’action IDEFI (article de Paivandi et Perret). Dans cette perspective, l’organisation elle-même devient apprenante ou, comme l’a récemment constaté Jean Heutte : « même les systèmes apprennent » (Heutte, 2019, p. 311). En tenant compte « du temps long », le projet de combiner les deux perspectives évaluatives des dispositifs institutionnels d’aide à la réussite peut devenir profitable. Au sens où le dispositif peut se transformer, rester pertinent, en tenant compte des avancées de la recherche et de la réalité du terrain de pratique.

Il importe de viser l’amélioration, en continu, des dispositifs de formation, et ce, dans la perspective proposée par le paradigme de l’apprentissage (Jouquan et Bail, 2003), c’est-à-dire en considérant les établissements d’enseignement supérieur comme des organisations qui visent avant tout à favoriser l’apprentissage, plutôt qu’à donner des cours, fussent-ils pour favoriser la réussite des étudiants. Offrir une formation est un moyen, non une fin.

Dans cette perspective, la notion de qualité doit avant tout permettre d’établir si les dispositifs de formation atteignent leurs fins, c’est-à-dire si elles façonnent et soutiennent l’apprentissage, des étudiants, comme de l’organisation (Bédard et Béchard, 2009). Le point focal qu’est l’apprentissage devrait également orienter les études qui visent à mesurer les effets des dispositifs institutionnels d’aide à la réussite à l’université. Ainsi, il importe tout autant de viser à faire avancer les connaissances dans le domaine de la pédagogie de l’enseignement supérieur, pour autant que ces recherches posent des questions et formulent des hypothèses au sujet de phénomènes psychologiques, sociaux ou organisationnels qui permettent de comprendre, d’expliquer ou de prédire l’apprentissage et les conditions dans lesquels il prend place. Les différents articles de ce numéro en sont de très bons exemples.

Bibliographie

Des DOI sont automatiquement ajoutés aux références par Bilbo, l’outil d’annotation bibliographique d’OpenEdition.
Les utilisateurs des institutions qui sont abonnées à un des programmes freemium d’OpenEdition peuvent télécharger les références bibliographiques pour lequelles Bilbo a trouvé un DOI.

Bédard, D. et Béchard, J.-P. (2009). Le temps des innovations pédagogiques : trame de changement en enseignement supérieur. Dans D. Bédard et J.-P. Béchard (dir.), Innover dans l’enseignement supérieur (p. 19-27). Presses Universitaires de France.

Bédard, D., Bibeau, J., Pilon, C. et Turgeon, A. (2020). L’espace expérientiel : une pédagogie interactive. Les Annales de QPES, 1(1), 1-26. https://ojs.uclouvain.be/index.php/Annales_QPES/article/view/55803/52013
DOI : 10.14428/qpes.v1i1.55803

Béchard, J.-P. et Pelletier, P. (2004). Les universités traditionnelles : à l’heure des innovations pédagogiques ? Gestion, 1(29), 48-55.
DOI : 10.3917/riges.291.0048

Bourdoncle, R. et Lessard, C. (2002). Qu’est-ce qu’une formation professionnelle universitaire ? Revue Française de Pédagogie, (142), 131-181.

Charlier, É. et Biemar, S. (dir.) (2012). Accompagner : un agir professionnel. De Boeck Supérieur.

Heutte, J. (2019). Les fondements de l’éducation positive : perspective psychosociale et systémique de l’apprentissage. Dunod Éditeur.

Jouquan, J. (2009). L’évaluation de la qualité de la formation : au-delà les chiffres. Dans D. Bédard et J.-P. Béchard (dir.), Innover dans l’enseignement supérieur (p. 199-212). Presses Universitaires de France.

Jouquan, J. et Bail, P. (2003). À quoi s’engage-t-on en basculant du paradigme d’enseignement vers le paradigme d’apprentissage ? Pédagogie Médicale, 4(3), 163-175.
DOI : 10.1051/pmed:2003006

Le Boterf, G. (2010). Professionnaliser. Construire des parcours personnalisés de professionnalisation (6e éd.). Éditions d’Organisation.

Le Boterf, G. (2011). Qu’est-ce qu’un professionnel compétent ? Comment développer son professionnalisme. Pédagogie Collégiale, 24(2), 27-31. http://eduq.info/xmlui/handle/11515/21812

Lemaître, D. (2018). L’innovation pédagogique en question : analyse des discours de praticiens. Revue internationale de pédagogie de l’enseignement supérieur, 34(1). http://journals.openedition.org/ripes/1262

Najoua, M. (2011). Développer des compétences ou comment s’engager dans l’agir professionnel. Formation emploi, 114. avril-juin. https://doi.org/10.4000/formationemploi.3378
DOI : 10.4000/formationemploi.3378

Stuffelbeam, D. L. (2003). The CIPP Model for Evaluation. Dans D. L. Stufflebeam et T. Kellaghan (dir.), The International Handbook of Educational Evaluation. Kluwer Academic Publishers.