PISA : un pis-aller ?, par Philippe de Lara

Version imprimable

La france moche - Vélizy 2 - http-wizzz.telerama.frlafrancemochephotos5627501419_0.jpgOui, je sais, elle n’est pas très bonne. J’avais pensé également à « Le PISA nouveau est arrivé ! ». Le Beaujolais nouveau a en effet ceci de commun avec le rapport PISA 2009 d’être un événement mondial sur lequel plein de gens ont un avis. Mais avec le Beaujolais au moins, ceux qui en parlent l’ont goûté. Je ne suis pas sûr que ce soit le cas avec le PISA, une vaste enquête de l’OCDE sur les « acquis scolaires » des élèves âgés 15 ans dans 75 pays (les 34 membres de l’OCDE et 41 autres). Il faut dire que cette étude énorme, qui intègre à chaque édition (tous les trois ans) un nombre croissant de pays (avec désormais des données régionales — on parle beaucoup des résultats spectaculaires de la ville de Shanghai, qui écrase le reste du monde dans toutes les matières) et un nombre croissant de thèmes traités, atteint aujourd’hui plus de 1200 pages (1209 pour les cinq volumes parus en décembre, un 6ème est attendu en juin 2011).

Bien sûr, il y a une synthèse par volume et une synthèse des synthèses, mais c’est là que le bât blesse. La sophistication des méthodes, le souci des biais statistiques, l’invention d’outils permettant de mesurer des choses de plus en plus nombreuses, tout cela est impressionnant. On était même rassuré, aux débuts du programme du moins[1], de voir que les tâtonnements inductifs ont joué un grand rôle dans l’élaboration et l’évolution du système d’enquête : ce devrait être un gage de modestie et de bon sens. Mais de cela, il ne reste rien dans les synthèses 2009 : plus les résultats devraient inciter à la prudence, à expliciter les partis pris, la fragilité du lien entre les données et leur interprétation, plus les synthèses sont péremptoires, pour ne pas dire arrogantes, sous l’apparence feutrée et prudente du langage expertocratique : voici des faits indiscutables, des préconisations incontournables. Hélas, les commentaires dans la presse en rajoutent le plus souvent dans la simplification dogmatique des synthèses de l’OCDE.

La maladie de l’évaluation atteint ici le stade terminal, l’information devient l’outil de la méconnaissance, pis, du refus de savoir. Pas d’idée, juste votre rang ! C’est d’autant plus préoccupant que l’écho médiatique du PISA est à la mesure de l’impact croissant des classements internationaux en tout genre sur l’action des gouvernants. Leur devise semble être aujourd’hui : le monde est trop compliqué pour être transformé, il s’agit seulement de s’y classer (appelons ça la 11ème thèse sur la réforme[2]). Améliorer la transmission des savoirs, ouvrir les jeunes à la culture, les préparer à la vie d’adulte ? Trop compliqué ! Plutôt que d’avoir une politique éducative, forcément complexe, forcément disputée, contentons-nous de grimper dans le classement au PISA. On pourrait croire que les études comme PISA améliorent la rationalité de l’action publique, mais elles ne font que la décerveler. Les experts de l’OCDE, enivrés de l’influence qu’ils ont acquise à la faveur de cette mode du benchmarking, ne peuvent plus s’arrêter. De trois ans en trois ans, PISA élève ses prétentions toujours plus haut, recommande à tout va, avec une certitude de plus en plus inébranlable : puisque les chiffres vous le disent ! Alors que les concepteurs de PISA avouaient pratiquement qu’ils ne savaient pas ce qu’ils mesuraient, ni un niveau scolaire, ni un potentiel académique, ni des compétences transdisciplinaires, ni des capacités concrètes (« dans les situations de la vie réelle »), mais une sorte de mélange de tout cela, le progrès bureaucratique a transformé l’imprécision en certitude universelle, non seulement sur les acquis scolaires, mais aussi sur la réduction des inégalités sociales, la motivation des élèves, la qualité des professeurs, et l’âge du proviseur.

C’est dommage, car le PISA recèle une mine d’informations : l’augmentation du pourcentage d’élèves en grande difficulté en France mais aussi celui des élèves au dessus de la moyenne ; le tassement des différences entre les systèmes scolaires massifiés depuis longtemps, de plus en plus agglomérés autour de la moyenne et la montée spectaculaire des performances des pays dont la massification scolaire est plus récente, en particulier en Asie ; l’accentuation du « gender gap », c’est-à-dire de la supériorité des filles sur les garçons en compréhension de l’écrit et en moyenne générale (mais pas en mathématiques), phénomène universel. Je tâcherai d’y revenir, quand j’aurai tout lu (je ne ferai pas semblant que c’est le cas).

Mais pire que les évaluateurs, il y a ceux qui les écoutent, et qui sont incapables de faire la différence entre les vraies découvertes, les truismes (« Dans tous les pays, les élèves qui prennent plaisir le plus à lire devancent largement ce qui prennent le moins »… sans commentaire), les extravagances, et les énoncés tellement abstraits et décontextualisés qu’ils sont dépourvus de sens, comme : « Les systèmes d’éducation les plus performants accordent une plus grande autonomie individuelle aux établissements dans l’élaboration des programmes et des politiques d’évaluation, sans toutefois permettre nécessairement la concurrence des établissements dans le même bassin scolaire. ».

La phrase rituelle « Même si les critères des enquêteurs de l’OCDE sont contestables » (ou ceux du classement de Shanghai, ou ceux du jury de Miss monde, etc.) a la vertu magique de faire semblant de soulever le problème et de n’en tenir aucun compte. Le tour est joué, le classement a remplacé la pensée[3].

Encore un fois, je ne conteste pas l’utilité de l’enquête elle-même (du moins les parties I à III, car la partie IV, sur les politiques qui font les écoles de la réussite, est surtout un mélange de préjugés, de tautologies projectives, et de banalité indécidables). C’est sa présentation par l’OCDE et sa réception médiatique qui sont dangereuses.

Il y aurait encore beaucoup à dire sur ce qu’il y a dans les rapports PISA, mais je veux aussi parler de ce qui n’y est pas, et dont tout l’art des auteurs est de nous faire oublier que ça n’y est pas : ainsi les contenus d’enseignement. Voici un PISA qui aborde longuement le plaisir de lire (voir la perle citée plus haut), les différences de lectures entre les filles et les garçons, etc., mais où la nature de ces lectures n’apparaît nulle part : s’agit-il de L’Équipe ou de Shakespeare ? Rien non plus sur le contenu de l’enseignement, ce qui est transmis, car le dada de l’OCDE, c’est le management, les structures de commandement. Quand un patron ne sait pas quoi faire, il centralise ou il décentralise, il autonomise les « unités de base », ou il crée des « contrôles transversaux », blablabla. Ces considérations sur les structures pourraient avoir un peu de sens si elles étaient contextualisées, c’est-à-dire rapportées à l’histoire et à la culture du pays, à l’esprit des lois. On pourrait ainsi distinguer entre l’autonomie authentique et celle du petit chef caporalisé, du « patron » de supérette qui n’a que le pouvoir de sadiser ses caissières et de subir la tutelle de la maison mère. Bref, la “décentralisation” au profit des chefs d’établissement peut être tout et son contraire et ce que raconte le rapport à ce sujet du vent de la bouche (qui souffle cependant dans une direction déterminée : plus de décentralisation).

Autre éléphant blanc du PISA, la question des temporalités de l’apprentissage. Que veulent dire les notion de compétences, de capacités, de résolution de problème « à 15 ans ». Il ne faut pas confondre ce qu’un adolescent sait faire et ce qu’il saura faire : l’apprentissage est un processus étendu dans le temps. Dans beaucoup de disciplines, on peut aller plus vite au début mais caler plus tard, pour avoir court-circuité certaines bases. Il y a des apprentissages « inutiles » sur le moment mais qui deviennent très utiles en différé, de façon parfois prévisible (faire des gammes pour jouer Liszt proprement), parfois inattendue (faire du latin m’a permis d’apprendre plus facilement l’anglais et l’italien). La technique principale de l’enquête consistant à mesurer des compétences de résolution de problème « dans la vie réelle » répond à des contraintes (de comparabilité entre des pays et des systèmes scolaires très différents) et n’est certainement pas dénuée de pertinence, mais elle entraîne des biais dont celui-ci : il y a un droit à l’enfance, encore en vigueur à 15 ans, droit d’être autre chose qu’un adulte en miniature, et l’un des aspects de ce droit, c’est celui de ne pas être forcément capable de résoudre des problèmes de la vie réelle car on a autre chose à apprendre et à rêver, et que c’est l’inutile et le rêve dans l’enfance qui préparent les talents les plus opérationnels plus tard. Je ne reproche pas à PISA de laisser échapper cette dimension humaine, on ne saurait tout mesurer, une coupe instantanée est par définition aveugle sur la durée. Je lui reproche d’ôter au lecteur jusqu’au sens que ces choses, qui sont le tissu de la vie humaine, existent, et, a fortiori, ont la moindre importance pour les politiques de l’éducation.

Classer n’est pas comparer. Comparer est difficile, mais utile, classer facile et trompeur. Il est temps d’en finir avec la maladie de l’évaluation, de reconnaître avec lucidité que ce que nous apprenons dans ce genre d’études vaut bien moins que ce que nous perdons de vue à cause d’elles. L’évaluation repose plus souvent sur le principe aveugle : « qui veut noyer son chien l’accuse de la rage » (ou son homologue positif « tout confirme l’analyse du précédent comité central ») que sur le principe : « voyons ce qu’il en est ». Les politiques qui ont soif d’évaluation, de scientométrie et autres « outils » me font penser à ces banquiers qui ont cru grâce aux nouveaux produits financiers (titrisation, etc.) pouvoir faire leur métier en se passant de ce qui en est le cœur : l’appréciation du risque réel des entreprises réelles. On sait ce qu’il en advint.

 

Philippe de Lara, philosophe, professeur de science politique.
http://blog.educpros.fr/philippedelara/

 


[1]Voir le remarquable article de Nathalie Bulle, « L’imaginaire réformateur. PISA et les politiques de l’école », Le Débat, n° 159, mars-avril 2010. Article repris ici-même : http://skhole.fr/l-imaginaire-réformateur-pisa-et-les-politiques-de-l-école

[2]Les CSP bac + 12 de plus 50 ans auront reconnu un pastiche de la 11ème thèse sur Feuerbach de Marx (« jusqu’à présent, les philosophes n’ont fait qu’interpréter le monde, il s’agit maintenant de la transformer »).

[3]La phrase citée, une version parmi cent autres de cette clause stéréotypée, est d’Eric Zemmour, phénix du bas clergé médiatique, officiant dans le cas au Figaro Magazine. Il est savoureux de le voir tirer du classement médiocre de la France par PISA des conclusions exactement inverses de celles d’un autre clerc médiatique, celui-là évêque consacré de l’expertise pédagogique, Gérard Courtois, militant au journal Le Monde. Pour le premier, c’est la fin de l’école républicaine qui est coupable, le laxisme égalitariste, pour l’autre c’est au contraire, l’école républicaine, la sélection élitiste. Chacun projette ses certitudes. Un « expert » chacun le sait, c’est quelqu’un qui a un avis et donc n’a pas besoin d’en changer. Les commentaires les plus sensés sont à ma connaissance ceux de Natacha Polony dans Le Figaro.

Commentaires

Libérer PISA (ça fait un peu indépendantiste, mais bon...)

Une idée comme ça : et si les données brutes de PISA étaient mises en accès libre et exploitées par crowdsourcing ? On a vu ce que ça pouvait donner lorsque Tim Berners-Lee en a appelé au gouvernement britannique pour "liberer" ce genre de données (http://www.ted.com/talks/tim_berners_lee_the_year_op...)

Les gouvernements n'ont toujours pas réalisé l'exploitation qu'ils peuvent faire du "surplus cognitif" (Shirky)des internautes...

OCDE et réformes : Les maths modernes

Dès 1958, l'O.E.C.E. crée un Bureau du Personnel Scientifique et Technique, dont l'un des objectifs est de « rendre plus efficace l'enseignement des sciences et des mathématiques ». En novembre 1959, l'O.E.C.E. organise un séminaire de dix jours, le Colloque de Royaumont, animé par Marshall H. Stone, de l'Université de Chicago. L'objectif de ce colloque est de promouvoir une réforme du contenu et des méthodes de l'enseignement des mathématiques à l'école secondaire (12-19 ans).

........
Dès 1959, le Colloque de Royaumont veut « préciser les matériels nouveaux et les méthodes d'enseignement rénovées correspondant à ces conceptions ».

Onze ans après, G. Walusinski écrit :
"Dans ce que, pour aller vite, on appelle « rénovation de l'enseignement mathématique », il y a heureusement conjonction d'une réforme des contenus et d'une réforme non moins importante des méthodes didactiques ; c'est un véritable changement d'orientation, une réforme en profondeur, une nouvelle conception de l'enseignement mathématique."

Pour lire la totalité de l'article dont le titre évocateur est "Marchandisation. Du bon usage de l'OCDE", voir lien : http://michel.delord.free.fr/march.pdf

OCDE : Redéfinition du métier d'enseignant

Extraits du Rapport général de l'OCDE de 1974 : "L'enseignant face à l'innovation."

"Le rôle de l'enseignant dans les situations axées davantage sur l'apprentissage et moins sur l'enseignement évoluera probablement dans les directions suivantes : dans les techniques utilisées par l'enseignant, vers une meilleure maîtrise des accès au savoir et des méthodes de
recherche, plutôt que du savoir lui-même." [OCDE74, p.4]

Redéfinition du métier d'enseignant :
"Modèles de rôle :
Cadre d’entreprise
Adulte créatif
Animateur socioculturel
Animateur psychosociologue
Animateur socioculturel
Moniteur de colonies de vacances
Animateur, Animateur facilitateur
Educateur"

http://michel.delord.free.fr/ocde74.pdf

Rapport commenté dans http://michel.delord.free.fr/march.pdf

Réserves sur PISA

Michel Delord dans le texte Calcul : Etat des lieux*, p.14 : En calcul comme pour l'apprentissage de la langue, il s'agit de recueillir et de développer un héritage qui a fait de l'école primaire française, malgré ses défauts réels, une des meilleurs du monde depuis la fin du XIXème siècle. Un des principaux fossoyeurs de cette école, Antoine Prost, reconnaissait sa valeur lorsqu'il affirmait que, encore dans les années 50, « les programmes de l'école primaire française sont en moyenne en avance d'un ou deux ans sur ceux des écoles étrangères. »** Et, trouvant que les programmes étaient trop lourds, son courant de pensée en a demandé et obtenu l'allègement. Ce faisant, il dégradait effectivement le niveau de l'enseignement mais surtout répandait une interprétation des caractéristiques de l'école qu'il combattait réduite aux limites de son propre entendement : une conception purement quantitative tout juste capable d'évaluer les contenus enseignés en comptant des « recettes sur des questions soigneusement cloisonnées ».

 

* http://michel.delord.free.fr/ulm29062004.pdf

** Ce qui indique bien la chute vertigineuse de niveau reconnue, sans le vouloir, par les divers organismes d'évaluation français lorsque, à la suite des dernières évaluations PISA et PIRLS, ils se satisfont d'une place moyenne parmi les pays européens. Ce faisant, nous ne prenons pas pour argent comptant les conclusions de ces études car leur conception n'est pas exempte de critiques. Voir :

1) Cautions on OECD's Recent Educational Survey (PISA), by S. J. Prais, Oxford Review of Education, Vol. 29, June, 2003

http://docserver.ingentaselect.com/deliver/cw/carfax...

2) Michel Delord, Note technique sur le redoublement, 17 juin 2004

http://michel.delord.free.fr/redoub.pdf

comparaisons internationales aveugles à ...

Michel Delord : " Le premier texte du Grip craignait la réduction des études comparatives aux études synchroniques et notait : " Une comparaison historique est nécessaire car elle n'est pas aveugle, comme les comparaisons internationales, à un mouvement commun de dégradation." "

http://michel.delord.free.fr/blogjpb-pedagoeffic-260...