Critical Perspectives on Si différents livres ont été publiés ces dernières années à propos du Programme international pour le suivi des acquis des élèves (PISA) [1] , l’ouvrage dirigé par António Teodoro a comme premier intérêt majeur de proposer un regard résolument polémique sur cette évaluation pilotée par l’Organisation de coopération et de développement économiques (OCDE) qui s’est progressivement imposée comme une référence en matière de comparaison scolaire internationale et de classement des systèmes éducatifs nationaux. Mais l’intérêt de l’approche critique du PISA développée dans cet ouvrage se trouve redoublé par le fait qu’elle renvoie à des travaux mis en œuvre dans le cadre d’un important projet de recherche qui a précisément questionné la « réussite » d’un pays à ce classement scolaire international : le Portugal.
Ce projet de recherche, intitulé « A success story ? Portugal and the PISA (2000-2018) » (dir. Teodoro), a été mené par une équipe du « Centro de Estudos Interdisciplinares em Educação e Desenvolvimento » de l’Université lusophone de Lisbonne. Le titre du projet souligne, là-encore, la visée critique du projet scientifique qui sous-tend le livre recensé ici : il s’agit en effet d’interroger ce qui est présenté, notamment par le PISA (OCDE, 2019 : 3 ; 2011 : 5), comme une évolution positive des résultats du Portugal. Dans la mesure où les travaux critiques sur le PISA ont pu être parfois discutés sous l’angle du ressentiment de leurs auteurs vis-à-vis d’une évaluation qui ne mettait pas leur pays d’appartenance en tête de son classement (États-Unis, France, etc.) [2] , le fait qu’une équipe de chercheur ait entrepris d’interroger cette évolution « positive » des résultats de leur pays me semble à souligner.
Pour ce faire, ces chercheurs se sont penchés sur l’ensemble des éditions triennales du PISA auxquelles le Portugal a participé depuis 2000, et ils ont notamment étudié la manière dont différents types d’acteurs (politiques, scientifiques, médiatiques, pédagogiques, etc.) se sont saisis des performances nationales dans leurs discours et prises de position. C’est ce travail de recherche dont rend compte le livre à travers huit chapitres, signés de différents auteurs, tandis que l’introduction et la conclusion sont écrites par le responsable scientifique du projet et de l’ouvrage collectif.
Dans son introduction (pp. 1-10) intitulée « A Success Story ? Critical Perspectives on PISA as a Means of Global Governance », Teodoro rappelle tout d’abord quelques grandes caractéristiques du lancement du PISA par l’OCDE dans le cadre plus général du renforcement des politiques de globalisation et d’accountability néolibérales (p. 1). Teodoro montre notamment (pp. 1-3) comment le développement du PISA s’est appuyé sur d’importants dispositifs existants de production d’indicateurs scolaires et sur de grandes évaluations internationales antérieures. L’auteur rappelle également les principales orientations du PISA comme celles d’évaluer des littératies (compréhension de l’écrit, culture scientifique, culture mathématique), et non des savoirs directement indexés sur les disciplines scolaires ordinaires (p. 3). L’auteur se penche enfin (p. 4) sur le développement récent, au sein du PISA, de différentes évaluations comme le PISA-Baby (International Early Learning and Child Well-being Study) ou le PISA pour l’enseignement supérieur (Assessment of higher education learning outcomes, AHELO) et il évoque, là-aussi, les controverses générées par ces approches.
Le premier chapitre du livre s’intitule « Invisible Struggles, Encoded Fantasies and Ritualized Incantations : A Critical Infrastructure Studies Analysis of PISA » et il est signé de Camilla Addey (pp. 11-24). L’autrice étudie dans sa contribution la disjonction, voire l’opposition, entre les intentions et les déclarations explicites du PISA, comme infrastructure spécifique [3] , et les modalités d’action et d’influence inhérentes à l’organisation et au fonctionnement même de ce programme (pp. 11-12). Par exemple, Addey montre (p. 13) que le PISA prétend mettre en évidence les facteurs d’inégalité au sein des systèmes scolaires alors que l’analyse de la construction des échantillons d’élèves testés dans chaque pays montre que ce sont précisément ceux qui sont déjà les plus exclus ou marginalisés qui tendent à ne pas être inclus dans le PISA. Ainsi, ce paradoxe permet de faire apparaitre pour Addey (p. 12) ce que l’infrastructure PISA réalise derrière son discours explicite. En relation avec les propositions d’Easterlling (2014), Addey (pp. 15-19) décrit ensuite la puissance du PISA tendant à invisibiliser les frontières entre les organisations publiques et privées, à rendre peu accessible les lieux de décision ou à se construire comme valable pour toutes les cultures et les langues et pour l’ensemble des problématiques qui touchent les systèmes scolaires. En ce sens, l’autrice montre que le PISA (pp. 19-21), qui se présente comme un programme de haut niveau scientifique, peut être considéré comme largement irrationnel au-regard des visées et des aspirations qu’il agrège en matière éducative. Addey (p. 21) s’interroge alors pour savoir si le PISA, à travers le développement de son programme, de la diffusion de ses résultats ou de ses classements est devenu, collectivement, une « incantation ritualisée ».
Le second chapitre du livre est signé de Carlos Décio Cordeiro et Vítor Duarte Teodoro (pp. 25-47) et il est titré « How PISA is Present in the Scientific Production : A Bibliometric Review ». Partant de l’extension considérable du PISA au niveau international depuis son lancement en 2000, les deux auteurs cherchent à décrire les effets d’une telle dynamique sur le plan de la production scientifique à partir d’une étude bibliométrique (p. 25) d’un corpus d’articles en anglais publiés entre 1999 et 2021 (pp. 27-28). Cordeiro et Teodoro réalisent pour ce faire des analyses quantitatives dont les résultats leur permettent notamment de mettre en évidence l’accroissement annuel de ces publications depuis le début des années 2000 (p. 29) ou le poids des pays anglophones dans ces débats théoriques (p. 30). De même, les auteurs identifient (p. 31) les trois thématiques les plus fréquentes de ces travaux (les inégalités et la qualité de l’école et des enseignements ; le niveau des élèves et de leurs performances ; le PISA et les politiques scolaires). L’importance de ce dernier thème est également montrée par l’étude des références bibliographiques réalisée par les deux auteurs (p. 33-34). Cordeiro et Teodoro montrent en effet que les livres et articles de recherche les plus cités concernent tous l’analyse des politiques scolaires. au-delà de ce résultat, Cordeiro et Teodoro concluent (p. 41) en soulignant l’absence de certaines thématiques [4] et la rareté des questionnements croisés du PISA avec d’autres évaluations internationales.
Le troisième chapitre est signé de Romuald Normand et il s’intitule « PISA as Epistemic Governance within the European Political Arithmetic of Inequalities : A Sociological Perspective Illustrating the French Case » (pp. 48-69). Dans ce chapitre, Normand souligne dans un premier temps (pp. 49-50) en quoi le développement du PISA peut être vu comme une construction d’un espace ou réseau international à mi chemin entre la recherche, l’expertise et la politique. Normand montre ensuite (pp. 51-52) en quoi ce développement du PISA est une manifestation, tout autant qu’une contribution, au déploiement d’une forme de gouvernement international par les nombres. Comme le montre l’auteur, cette orientation est également à analyser en relation avec le courant de l’« evidence-based education » qui laisse entendre que des tests et protocoles standardisés permettent de déterminer les solutions ou les pratiques pour résoudre les difficultés scolaires (pp. 53-54). Pourtant Normand montre précisément que la construction et la réception d’une évaluation telle que le PISA suppose de prendre en compte les contextes politiques, scientifiques ou éducatifs dans lesquels ces phénomènes s’inscrivent, comme par exemple, dans le cadre européen, l’arithmétique politique des inégalités en matière d’éducation (p. 55) en lien avec les théories du capital humain (p. 57). Ainsi, dans le cas français (pp. 59-61), l’auteur décrit en quoi ces orientations croisent les idéaux républicains attachés à l’État dans le fonctionnement et le traitement du PISA par la puissance publique. Dans ce contexte, Normand montre la contribution de certains chercheurs français, convertis aux sciences de gouvernement, à la construction et à la légitimation d’une gouvernance épistémique, qui nécessite le renforcement d’une orientation critique dans les recherches sur les évaluations internationales (p. 65).
Le quatrième chapitre, de João Luiz Horta Neto, est titré « PISA and the Curricular Reforms in Brazil : The Influence of a Powerful Regulatory Instrument » (pp. 70-103). Comme son titre l’indique, l’auteur rend compte dans son texte des effets du PISA sur les politiques scolaires du Brésil. Pour ce faire, Neto s’appuie plus particulièrement sur une analyse de textes institutionnels (pp. 70-74) et en particulier sur le texte définissant le socle national des programmes scolaires brésiliens datant de 2018 (« Base nacional comum curricular », BNCC). Dans cette perspective, l’auteur discute tout d’abord (pp. 74-86) l’approche des contenus dans le PISA tout en proposant un examen critique de certains résultats et notamment des limites et incertitudes concernant les échelles de compétences produites par le PISA. Partant, l’auteur interroge les effets du PISA dans les évolutions intervenues dans l’orientation et le contenu du BNCC (pp. 86-93). Neto discute par exemple l’influence du PISA dans certains débats sur le choix de formulation de compétences ou de littératies dans le BNCC (p. 92) ou dans l’importance donnée aux évaluations externes dans le texte institutionnel brésilien (pp. 93-96) [5]. Par-delà les différences entre le BNCC et le PISA, l’auteur montre alors que ces deux textes partagent une centration sur le développement de standards éducatifs et l’évaluation des résultats comme moyens d’améliorer l’éducation (p. 99).
Le cinquième chapitre de l’ouvrage s’intitule « Testing PISA Tests : A Study about how Secondary and College Students Answer Pisa Items in Mathematics and Science » et il est signé de Vítor Duarte Teodoro, Vítor Rosa, João Sampaio Maia, et Daniela Mascarenhas (pp. 104-125). Partant de l’hypothèse selon laquelle les épreuves administrées aux élèves de 15 ans dans le PISA étaient plus adaptées à des élèves plus âgés (pp. 106-107), les auteurs ont soumis un ensemble d’exercices du PISA en mathématiques (issus de l’édition 2012) et en science (issus du PISA 2015), à un échantillon construit en ce sens : 50 % environ de cet échantillon (non représentatif) d’élèves portugais de 15 à 23 ans était composé d’étudiants de plus de 18 ans (pp. 108-109). Cette approche permet aux auteurs de montrer qu’il n’y a pas de différence entre les résultats obtenus dans leur enquête et les résultats obtenus aux mêmes exercices par les élèves de 15 ans évalués par le PISA, que ce soit au Portugal ou dans l’ensemble des pays de l’OCDE (pp. 110-115). Mais les participants à l’enquête réalisée par Teodoro et ses collègues devaient, au-delà de répondre à des exercices du PISA, les évaluer au moyen de quatre échelles touchant par exemple à la difficulté des questions ou au fait d’avoir déjà étudié le contenu concerné par l’exercice (pp. 119-121). Ainsi l’analyse des chercheurs montre que la facilité d’un item (mesurée en fonction de la réussite des élèves testés) est corrélée avec une évaluation positive des participants quant à leur compréhension du texte concerné par l’item, leur certitude quant à la validité de leur réponse, leur estimation de la difficulté de la tâche. Pourtant, les chercheurs décrivent également que la facilité des exercices n’est pas significativement corrélée avec le fait que les répondants déclarent ou non avoir déjà étudié le contenu des items (p. 121). Pour Teodoro et ses collègues, ce résultat va dans le sens d’un principe majeur du PISA concernant le fait que son évaluation ne se limite pas aux contenus d’enseignement des disciplines scolaires (p. 124).
Le sixième chapitre, écrit par Vítor Rosa, s’intitule « International Large-Scale Assessment : Issues from Portugal’s Participation in TIMSS, PIRLS and ICILS » (pp. 126-141). En s’appuyant sur différentes évaluations à large échelle, l’auteur analyse dans son chapitre l’accroissement de leur importance, au cours des dernières décennies, dans la conduite des politiques publiques. Selon Rosa, par-delà les orientations politiques, les gouvernements déclarent s’appuyer sur de telles évaluations pour améliorer les fonctionnements des systèmes scolaires et mieux utiliser les budgets (pp. 126-127). Si elles semblent désormais bien emplantées dans le pilotage des politiques scolaires, leur développement est pourtant relativement récent, depuis les premières enquêtes menées dans les années 1960 par l’International Association for the Evaluation of Educational Achievement (IEA). Le Portugal a pu participer a plusieurs de ces enquêtes et l’auteur présente successivement les grandes caractéristiques de trois d’entre elles (pp. 127-130) : TIMSS (Trends in International Mathematics and Science Study), PIRLS (Progress in International Reading Literacy) et ICILS (International Computer and Information Literacy Study). L’analyse des résultats obtenus par les élèves portugais dans ces différentes évaluations montre une progression générale des performances (pp. 135-137). Des décisions politiques ont pu être prises en relation avec la diffusion de ces évaluations et l’évolution des résultats nationaux.
Le septième chapitre est titré « PISA in Media Discourse : Prominence, Tone, Voices and Meanings » et il est signé de Ana Carita, Teresa Teixeira Lopo et Vítor Duarte Teodoro (pp. 142-168). Les auteurs rendent compte ici d’une étude quantitative longitudinale du traitement médiatique du PISA dans un quotidien portugais (Público) entre 2001 et 2018 (pp. 149-152). En se penchant sur la manière dont cette référence généraliste de la presse nationale aborde la participation du Portugal à PISA à travers un corpus de 184 articles, Carita et ses collègues montrent tout d’abord l’importance croissante conférée à cette question au fur et à mesure de sa construction en tant qu’enjeu politique et social majeur (pp. 152-156). Les auteurs analysent ensuite plus finement les titres des 112 articles publiés durant la période et dont le PISA est l’objet majeur (pp. 156-158). Ils montrent notamment que ces titres tendent progressivement à être de plus en plus neutres ou positifs par rapport aux résultats portugais du PISA s’améliorant. Cependant, un examen détaillé permet à Carita et ses collègues de décrire une certaine opposition entre la tonalité plus positive des articles d’actualité et la tonalité plus négative des articles d’opinion ou des éditoriaux. Enfin, l’analyse des auteurs des articles conduit Carita et ses collègues à faire notamment apparaitre la rareté des textes signés par les acteurs sociaux dans ce traitement médiatique du PISA, et en particulier l’absence des acteurs scolaires directement concernés par cette évaluation (pp. 158-160). Carita et ses collègues soulignent alors la relative contradiction de ce résultat avec le poids des enjeux soulevés par le PISA (p. 166).
Le huitième et dernier chapitre de l’ouvrage, « OECD and Education : How PISA is becoming a “Big Science” Project », est signé de Vítor Rosa et Ana Lourdes Araújo (pp. 169-179). Dans leur chapitre les deux auteurs, cherchent à montrer en quoi le PISA s’inscrit dans le cadre de la big science, c’est-à-dire des projets scientifiques de très grandes envergures, tant par la taille des équipes de chercheurs impliquées, que par les budgets mobilisés ou les données recueillies et traitées, qui se sont développés dans la deuxième partie du XXe siècle (pp. 171-173). L’analyse des publications de l’OCDE liées au PISA (rapports et cadres techniques) permet en effet à Rosa et Araújo de faire émerger les caractéristiques de big science que l’on peut trouver dans ce programme : au-delà du nombre croissant de pays participants à cette évaluation (p. 173), les auteurs décrivent par exemple la mobilisation et la diversification d’un nombre toujours plus grand d’institutions impliquées dans la mise en œuvre du programme (p. 174). Pourtant, Rosa et Araújo soulignent la prédominance de trois grandes organisations anglophones depuis le premier cycle du PISA datant de 2000 (p. 175) [6]. De même, les auteurs soulignent le fait que les experts et conseillers au sein du PISA sont majoritairement des États-Unis, des Pays-Bas et d’Australie (p. 175). Il y a là une question d’importance touchant à la diversité des points de vue dans le PISA, d’autant plus que des mégaprojets tels que celui-ci soulèvent des critiques (p. 177). On peut alors se demander avec les deux auteurs si la mise en œuvre de ces évaluations à large échelle ne demande pas aux auteurs de s’aligner, ou de se conformer, à leurs cadres et leurs orientations.
Le livre s’achève par un texte d’António Teodoro, intitulé « Limitations and Risks of an OECD Global Governance Project » (pp. 180-197). Dans cette conclusion, l’auteur rassemble les apports majeurs du projet de recherche qu’il a dirigé (évoqué plus haut) et qui a débouché sur cet ouvrage. Teodoro s’interroge sur l’importance prise par le PISA au niveau international malgré ses importantes failles théoriques et méthodologiques, alors même que des évaluations à large échelle antérieures, plus robustes, existaient antérieurement. Pour l’auteur, l’explication se trouve dans le fait que l’OCDE, une organisation pourtant de taille modeste, est devenue un acteur clé d’un mouvement de globalisation des politiques scolaires d’orientation néolibérale (pp. 183-185), sous tendu par les théories de l’économie du savoir. Dans cette perspective, relativement simpliste et largement critiquée (pp. 186-189), les résultats obtenus par les élèves de 15 ans au PISA peuvent être présentés comme le moyen adéquat de connaitre les compétences des futures forces productives d’un pays et donc comme l’indicateur privilégié du développement économique possible de ce dernier. Paradoxalement, Teodoro souligne pourtant (pp. 189-190), en s’appuyant sur différents auteurs, que les politiques et visées éducatives qui découlent plus particulièrement du PISA affectent précisément la qualité de l’enseignement et des apprentissages (centration sur des résultats immédiats et des compétences « rentables », etc.). L’auteur plaide en conséquence pour d’autres orientations éducatives, ancrées dans un projet collectif social et humaniste, par opposition au point de vue individualiste et économique qui émerge des textes de l’OCDE (pp. 193-194).
En abordant le PISA sous différents angles d’étude critique, ce livre permet donc de discuter de manière approfondie d’importantes questions que pose cette évaluation, non seulement au plan scientifique, mais aussi aux plans éducatifs, politiques et sociaux. Il ressort en particulier de la lecture de l’ouvrage que le PISA ne produit pas seulement des résultats et des standards qui s’imposent progressivement, mais qu’il inscrit également ces orientations dans des modalités rhétoriques qui instituent des formes de pouvoir et de responsabilité (par exemple en désignant les acteurs qui doivent agir ou ceux qui sont responsables des résultats plus ou moins bons, etc.). Pourtant, on peut aussi se demander avec Savage et al. (2021 : 313-314), si, en s’intéressant particulièrement à PISA, la recherche en éducation, notamment d’orientation critique, ne contribue pas elle-même à ce mouvement en réifiant ce programme et la puissance de l’OCDE. Comme nous y invite l’ouvrage, il s’agit donc de développer et de diversifier les questionnements de la recherche en éducation, par rapport à des dynamiques internationales tendant justement à l’uniformisation et la globalisation des approches.
Daniel BART
Université de Lille
Théodile-CIREL
Bart D. & Daunay B. (2016) Les blagues à PISA. Le discours sur l’école d’une institution internationale. Vulaines-sur-Seine : Éditions du Croquant
Easterling K. (2014) Extrastatecraft : The Power of Infrastructure Space. New-York : Verso.
Hopmann S. T., Brinek G. & Retzl M. (eds.) (2007) PISA According to PISA. Does PISA keep what it promises ? Berlin : LIT Verlag.
Meyer H.-D. & Benavot A. (eds.) (2013) PISA, power, and policy : the emergence of global educational governance. Oxford : Symposium Books.
OCDE (2011) Résultats du PISA 2009. Volume I. Paris : PISA, Éditions OCDE.
OCDE (2019) Résultats du PISA 2018. Volume I. Paris : PISA, Éditions OCDE.
Volante L. (ed.) (2018) The PISA Effect on Global Educational Governance. New-York : Routledge.
Savage G. C., Gerrard J., Gale T. & Molla T. (2021) « The politics of critical policy sociology : mobilities, moorings and elite networks » – Critical Studies in Education 62, 3 (306-321).
Waldow F. & Steiner-Khamsi G. (eds.) (2019) Understanding PISA’s Attractiveness : Critical Analyses in Comparative Policy Studies. London : Bloomsbury Academic.