PISA : à quand la fin des idéologies ?

Version imprimable

Avec la sortie de la dernière mouture de l’enquête PISA, version 2012, des contrevérités ont été affirmées sans réflexion ni examen. Le palmarès des systèmes éducatifs proposé par l’OCDE sert malheureusement bien souvent des objectifs tout autres que ceux, fondamentaux, de l’école. C’est pourquoi nous proposons de revenir sur les enseignements majeurs de cette comparaison internationale des performances des élèves d’un peu plus de 15 ans, qui a lieu tous les trois ans depuis 2000, en nous limitant au français et aux mathématiques. Rappelons que PISA ne s’intéresse pas au niveau atteint par les élèves dans les disciplines, mais à leur aptitude à appréhender les situations de la vie quotidienne, grâce à leur formation scolaire. Ainsi, un pays comme la Finlande peut démontrer de très bons scores (bien qu’en baisse, la moyenne des jeunes finlandais en mathématiques en 2012 est comparable à celle des jeunes français en 2000) tout en préparant mal ses élèves à la poursuite d’études supérieures, comme le montrent les enquêtes menées à ce sujet.[1]

Des palmarès trompeurs

Les « palmarès » ont très peu de sens parce que, si l’on veut évaluer les effets propres de l’école, il faut tenir compte des niveaux socioéconomiques des populations. Ce qui compte, c’est la capacité des systèmes éducatifs à amener leurs élèves au niveau le meilleur possible compte tenu des variables économiques et culturelles. Les pays scandinaves sont par exemple contre-performants à PISA – hormis la Finlande - si l’on tient compte des avantages socio-économiques moyens de leurs élèves.[2]

En revanche, on peut se référer directement aux résultats de l’enquête si l’on étudie des évolutions au sein d’un même pays (dès lors que les variations des conditions économiques entre deux enquêtes peuvent être négligées). PISA est vraisemblablement un bon « thermomètre » à cet égard car les tests sont identiques ou comparables d’une enquête à l’autre.

Un grand écart français ?

On évoque les performances honorables des meilleurs élèves français et les contre-performances des moins bons. Les passions élitistes de nos concitoyens seraient satisfaites tandis que les passions égalitaristes, qu’ils cultiveraient de manière tout aussi symptomatiques, seraient contrariées. Observons plus précisément ce que nous enseigne PISA sur les performances des jeunes français et leurs évolutions.

En compréhension de l’écrit, qui n’implique ni la qualité de l’expression écrite ou orale, ni la maîtrise générale du français, PISA permet d’observer une baisse sensible des jeunes français entre 2000 et 2006 (perte de 17 points) et une remontée permettant de retrouver en 2012 le niveau moyen de 2000 (505), un peu supérieur à l’ensemble des pays de l’OCDE (498). Il faudra attendre 2018, lorsque le français sera sujet majeur de l’enquête, pour confirmer cette tendance. Elle pourrait être en partie imputable à une plus grande familiarité avec les tests de type PISA, les études révélant que les performances sont sensibles aux formats des questions, aux contextes et topiques, etc.[3] Notons que les moins performants se sont affaiblis entre 2000 et 2006. Le meilleur score des 10% les plus faibles (10e percentile) a perdu 35 points entre ces dates, pour en reprendre une douzaine entre 2006 et 2012.

La culture mathématique, sujet majeur de l’enquête 2012, implique non seulement des compétences en résolution de problèmes contextualisés mais aussi, avec PISA 2012, la mise en œuvre de facultés mathématiques fondamentales. Les élèves français ont là encore marqué une chute sensible entre PISA 2000 et PISA 2006, avec une perte de 21 points à partir d’un niveau moyen de 517 en 2000, très honorable par rapport à la moyenne de l’OCDE située autour de 500. On n’observe pas de reprise ici depuis 2006, le score moyen en 2012 étant de 495. Les moins performants ont aussi accusé une baisse très importante de leurs résultats. Le meilleur score des 10% les plus faibles a perdu 35 points entre 2000 et 2012, la chute la plus importante ayant eu lieu entre 2000 et 2006. Notons la tendance générale à la baisse des performances des pays dont le score en culture mathématique en 2003 était supérieur à 480, mais aussi le fait que les compétences de base en lecture sont une condition essentielle de la réalisation des tests mathématiques.

Au total, PISA révèle un affaiblissement général des élèves, et un accroissement important des inégalités entre 2000 et 2006, avec une inversion (en compréhension de l’écrit) ou une stabilisation des tendances (en culture mathématique) depuis cette date. Résultats donc préoccupants sur le long terme et plutôt rassurants sur le court terme car le point le plus bas se situe en 2006. Rappelons que l’écart entre les moins bons et les meilleurs élèves était en 2000, en lecture comme en mathématiques, inférieur à la moyenne de l’OCDE, et qu’il est aujourd’hui très supérieur. Ces tendances confortent donc l’observation suivant laquelle performance globale et égalité des chances tendent à aller de pair. En effet, en France, la chute des performances s’est accompagnée d’un accroissement important des inégalités.

Chute des attentes, chute de l’égalité

Ces évolutions sont cohérentes avec ce que nous apprennent les études sur l’efficacité de l’école. Les facteurs majeurs de la réussite des élèves sont la qualité des enseignants – les systèmes les plus efficaces sélectionnent leurs enseignants parmi les meilleurs élèves d’une génération - l’exigence académique et les attentes élevées communiquées aux élèves. Evaluer régulièrement leurs progrès et se montrer le plus transparent possible est aussi  important, ce qui suppose une grande visibilité des règles de fonctionnement et des critères de réussite. Dès lors, on peut se demander si la France ne pêche pas surtout par ses passions égalitaristes et si elle n’est pas en passe d’accentuer l’action des facteurs mêmes de son échec.

Allons plus loin. La baisse drastique des performances des élèves entre PISA 2000 et PISA 2006 est l’enseignement majeur de PISA pour la France. Elle marque, en mathématiques et en lecture, une chute des élèves les plus fragiles en-dessous des niveaux leur permettant de suivre un enseignement élémentaire. Or les élèves objets des enquêtes PISA ont commencé leur cursus à l’école élémentaire dix ans avant d’effectuer les tests PISA, ceux de PISA 2000 en 1990, ceux de PISA 2006 en 1996. Entre ces deux dates, on a diminué les temps d’enseignement du français et des mathématiques d’au moins une heure hebdomadaire; on a mis en place des cycles reportant des attentes du CP en fin de CE1 ; et on a diminué le caractère explicite, progressif et structuré des enseignements, leur aspect académique même, injustement mis en accusation aujourd’hui.

Faire l’inverse de ce que l’on raconte

Contrairement à ce qui est communément considéré comme une évidence, l’accroissement des écarts dans le système éducatifs français n’est manifestement pas dû au caractère « trop intellectuel » ou « académique » de notre école, bien au contraire. « Moins académique » a été corrélatif en France de « plus inégalitaire ». Et malheureusement, quand des analyses mettent ces relations en évidence, elles n’attirent aucune attention sérieuse. Citons le récent rapport de l’Université de Versailles qui, comme de nombreux autres, démontre l’efficacité très supérieure, en matière de fluidité, de compréhension et de réduction des inégalités, des manuels recourant à des méthodes de lecture alphabétiques, dites aussi syllabiques (fondées sur un apprentissage rigoureux et précoce du déchiffrage des signes écrits) sur les manuels mixtes (qui empruntent aux méthodes globales plus intuitives où l’enfant part des phrases et des mots pour accéder aux sons).[4]

Faire l’inverse de ce que l’on raconte, c’est ce qu’a préconisé à ce sujet Raymond Boudon depuis plusieurs décennies, qu’on ne résiste pas au plaisir de le citer:

« Bref, il paraît avisé de faire l’inverse de ce que recommande le rapport Gros-Bourdieu : « l’importance excessive accordée à la trilogie « lire, écrire, compter » (…) mettant l’accent sur les performances (…), peut, à bon droit, être considérée comme l’un des facteurs de l’échec scolaire (…) ». Il existe des inégalités scolaires, le système scolaire français est malade de l’échec scolaire, nous dit ce rapport. Cassons le thermomètre. Cessons de juger et d’évaluer les enfants : il n’y aura plus ni inégalités, ni échecs. Si ces avis étaient pris au sérieux, l’on voit facilement les conséquences qui en résulteraient. Je passe sur celles qui ne me concernent pas ici mais qui n’en sont pas moins importantes : si l’école n’était plus définie par une fonction et un objectif principal, la transmission du savoir, il en résulterait un désarroi encore plus grand des « enseignants », qui ne percevraient plus le sens de leur activité et de leur vie professionnelle. De manière générale, les établissements deviendraient encore plus ingérables. L’« anomie » s’y étendrait. De plus, ces coûts individuels et collectifs considérables seraient imposés pour rien. Destinée à renforcer l’égalité, cette politique contribuerait à augmenter l’ « inégalité des chances ». S’agissant de la réflexion sur l’éducation, la fin des idéologies dont on nous rebat les oreilles se fait un peu attendre. »

La dangereuse spirale PISA

La compétition entre les systèmes éducatifs, entretenue par la présentation fortement médiatisée de PISA sous forme de « palmarès », canalise les objectifs éducatifs des pays et les dépossède de la maîtrise de l’éducation. Les indicateurs produits par l’enquête ne sont plus de simples moyens servant à la conduite des politiques menées, mais les orientent normativement. Il en résulte un appauvrissement des curricula scolaires et un affaiblissement des systèmes éducatifs. Non seulement la compétition accentue la tendance des pays à copier inconsidérément des solutions étrangères, à justifier toutes sortes d’idées reçues[5] et de réformes, mais aussi, pour des raisons de finalité et de méthode, les évaluations ne sont pas sensibles aux effets d’un enseignement de haute qualité ; les programmes scolaires tendent alors à être recentrés autour du développement de compétences de base, telles qu’évaluées par les tests. Or si la France veut encore faire partie demain des premières puissances économiques et intellectuelles du monde présent, elle doit miser sur la qualité de son enseignement. Et parce que la qualité et l’égalité vont là encore de pair, c’est l’ambition que notre école continuera de nourrir pour tous ses élèves qui pourra assurer un avenir à notre modèle social.

 

Nathalie Bulle

 



[1]Cf. http://solmu.math.helsinki.fi/2005/erik/KivTarEng.html : “Severe shortcomings in Finnish mathematics skills” and http://solmu.math.helsinki.fi/2005/erik/PisaEng.html: “The Pisa survey tells only a partial truth on Finnish children’s mathematical skills.

[2]Cf. N.Bulle (2010), « L’imaginaire réformateur. PISA et les politiques de l’école », Le Débat, n°159, mars-avril p.95-109 ou N.Bulle (2011) « Comparing OECD educational models through the prism of PISA », Comparative Education, 47 (4), 503-521: http://skhole.fr/l-imaginaire-r%C3%A9formateur-pisa-et-les-politiques-de-l-%C3%A9cole

[3]Voir J.-Y. Rochex, Social, Methodological, and Theoretical Issues Regarding Assessment: Lessons from a Secondary Analysis of PISA 2000 Literacy Tests. Review of Research in Education, volume 30, n°1, pp. 163-212, 2008.

[5]X. Pons, « Qu’apprend-on vraiment de Pisa ? Sociologie de la réception d’une enquête internationale dans trois pays européens (2001-2008) », Revue internationale d’éducation de Sèvres, 54 | 2010, 51-59.

Mots-clés associés

Commentaires

PISA

A quoi sert PISA ? Difficile de répondre car, dans ces grandes évaluations, on ne sait pas ce que l'on mesure, à supposer que l'on mesure quelque chose.
Pour revenir aux mathématiques, pas besoin de PISA pour savoir que l'enseignement français est mauvais, non par ses résultats puisqu'il suffit de donner des notes convenables ou mieux de donner des épreuves qui permettent une réussite facile, mais par le contenu des programmes qui se résument à quelques bribes de savoir sans grande cohérence. On a beaucoup glosé sur PISA mais peu sur cette scandaleuse épreuve de mathématiques du bac S 2013 où un élève moyen pouvait facilement avoir 18 et où une note inférieure à 15 montrait qu'on n'avait pas compris grand'chose aux mathématiques.
Conséquence de cela, les nouveaux programmes de classes préparatoires où des notions importantes ont disparu, jugées peut-être trop difficiles y compris pour le formation des scientifiques.
Sur le plan de l'enseignement PISA n'est qu'une imposture, comme le sont toutes ces grandes évaluations dont le seul objectif est de jouer à la mesure pour permettre aux décideurs d'en tirer les conséquences dont ils ont besoin. Ainsi s'entremêlent obscurantisme et malhonnêteté.
Mais il ne faut pas oublier le rôle de PISA dans la mise en place de la société dite de la connaissance, cette société où "pour connaître, il suffit de cliquer" comme on dit. Pas besoin de fabriquer trop de savants comme on dit, il suffit de fabriquer les bons rouages de la machine, et PISA est à ce titre un marqueur idéologique, ce qui importe, c'est le classement et les gloses qui suivent.

Les évolutions elles-mêmes soumises à caution.

Les palmarès ne veulent effectivement rien dire mais les évolutions d'un pays sont elles-mêmes très discutables, pour au moins trois raison :
- Les évolutions étant précisément les mêmes, on peut craindre que certains pays, soucieux de progresser dans PISA, préparent leurs élèves à ces évaluations (comme les professeurs des écoles préparaient les élèves de CM2 avec les évaluations d'entrée en sixième...)
- Les évolutions sont, dans le cas de la France, statistiquement peu significatives, dans un sens comme dans l'autre. Ainsi à titre d'exemple la performance des élèves français en "culture scientifique" a évolué de manière erratique (500 points en 2000, 511 points en 2003, 495 points en 2006, 498 points en 2009 et 499 points en 2012).
- Plus fondamentalement la méthode d'évaluation elle-même est contestable, comme l'explique Robert Delord, puisque fondée sur des "réponses plausibles" (les élèves testés n'ont répondu en réalité qu'à une petite partie des questions) alors même que les conditions d'application de ce modèle (Rasch) ne sont pas réunies : http://blogs.mediapart.fr/blog/micheldelord/270414/p...

Finalement, les évaluations nationales sont bien plus dignes de confiance et plus approfondies, et elles sont alarmantes : même l'historien progressiste Antoine Prost en convient !

La question de l'évaluation,

La question de l'évaluation, qu'elle soit internationale ou nationale permet de ne pas parler de l'enseignement.
Pas besoin de ces évaluations pour s'alarmer, il suffit de regarder les programmes. En mathématiques ils sont de plus en plus mauvais. Mais on préfère jouer à évaluer. Cela fait "scientifique".
Il serait bon d'arrêter ce genre de jeu qui ne mène à rien. Mais il est vrai que c'est la conception industrielle de l'enseignement : on mesure et on tire des conséquences qui ne signifient rien.
rudolf bkouche

réponse à Rudolf Bkouche

L'évaluation des résultats scolaires à la PISA fait partie des méthodes de la sociologie, et plus généralement des Sciences Humaines: on essaye de mesurer par des tests et des traitements statistiques des propriétés et des corrélations dans le champ du social. Ceux qui pratiquent ces méthodes et en utilisent les résultats sont conscients de leurs limites. Mais ne pas faire d'enquête, c'est se priver de connaissances sur le terrain. Autrement dit, dans le cas présent, casser le thermomètre parce que la température affichée contredit nos attentes. Le traitement d'un grand nombre de données en Biologie comme en Sciences Sociales, les Big Data, est peut-être le tournant majeur des sciences du XXIième siècle. Il est justifié par la surabondance des théories entre lesquelles le manque de données ne permet pas de trancher. Donc plutôt que de se débarrasser de PISA, il vaudrait mieux en exploiter tous les résultats à partir des données primaires non publiées et conduire en plus d'autres tests.
En ce qui concerne les retombées politiques, la publication, même très incomplète des résultats de l'enquête permet au moins à une large part du public d'appréhender le problème et d'avoir une vue, même imparfaite de la situation. Or le débat public est un élément fondamental de la démocratie. Je crains que la lecture des programmes de mathématiques suggérée par Rudolf Bkouche ne permette pas de toucher un public aussi large :-).

Enfumage didactique et flou éducatif

Merci pour votre nouvel article à la fois concis et rigoureux, toujours sans concession envers l'idéologie dominante et les prêts à penser technocratiques.

J'ai été notamment intéressé par votre remarque "Evaluer régulièrement leurs progrès et se montrer le plus transparent possible est aussi important, ce qui suppose une grande visibilité des règles de fonctionnement et des critères de réussite."

Je me suis dit que c'était effectivement un des points névralgiques de la ruine du modèle scolaire français : la désagrégation formelle des procédures d'évaluation et des critères de réussite scolaire. Les élèves n'accèdent plus cognitivement ni aux objectifs sérieux de leur éducation (ils ne voient pas l'intérêt du bac quand 95% l'obtient, surtout pour finir au chômage, même diplômé), ni même aux critères formels qui déterminent les exigences scolaires. Nous vivons dans une tendance globale à "l'enfumage", au "trouble dans le genre" (cf. Butler), au flou didactique, faute de procédures formelles définies d'évaluation et de réussite scolaire pour l'élève, qui ne comprend donc plus ce qu'on attend de lui, ni pourquoi on l'attend de lui.

Lettre ouverte au Dr. Schleicher, OCDE, Paris

La lettre ouverte est à http://oecdpisaletter.org/
Version française à http://oecdpisaletter.org/french/
Et toujours , qui va à mon avis plus loin que la lettre - qui est maintenant signée par plusieurs milliers d'universitaires, sauf en France - mon
"Vaccination contre le PISA-Choc"
http://blogs.mediapart.fr/blog/micheldelord/270214/v...

MD