L’imaginaire réformateur (suite) : PISA, l’école et l’équité

Version imprimable

  

Claude Stassart - A

Dans cette analyse fondée sur l’enquête PISA 2003 qui mettait l’accent sur la culture mathématique, on compare l’effet relatif des facteurs scolaires sur les performances en mathématiques des élèves les plus faibles et des élèves les meilleurs. Contrairement aux idées reçues, sur lesquelles s'appuie en particulier le rapport du Haut Conseil de l'Education sur le collège, dans les systèmes éducatifs du modèle nordique, les résultats des plus faibles tendent à se situer en deça de leur niveau socio-économique et culturel (si on les compare sur ces deux échelles à leurs homologues internationaux). 

La présente analyse fait suite à N.Bulle, L’imaginaire réformateur: PISA et les politiques de l'école (article paru dans Le Débat, mars-avril 2010 et disponible sur Skhole.fr 

On s’appuie ici sur les performances en mathématiques sur lesquelles portait plus particulièrement PISA 2003[1]. Les comparaisons réalisées s’intéressent à la situation du quart le plus performant et à celle du quart le plus faible des populations scolaires des différents systèmes éducatifs.[2]

Pour analyser la qualité des systèmes éducatifs, notamment en termes d'équité, on tente de séparer les effets des conditions socio-économiques et culturelles des effets propres des facteurs scolaires, sur les performances relatives des élèves. Dans cette optique, on s’attache à comparer le classement des populations sur une échelle indiquant leur niveau socio-économique et culturel relatif, à partir de l’indice ESCS[3] de PISA, et leur classement en mathématiques sur l'échelle des scores PISA.

Pour permettre ces comparaisons, on a choisi, plutôt que de standardiser les deux variables, de rapporter la moyenne et l’écart-type de l’indice ESCS à la moyenne et l’écart-type des résultats en mathématiques à PISA. Cette comparaison permet d’évaluer sur l’échelle des performances à PISA, le gain moyen de chacune des populations considérées, relativement à son niveau socio-économique et culturel moyen de départ.

On est donc en mesure d’appréhender l’effet des facteurs scolaires par la propension des performances des élèves à se démarquer, positivement ou négativement, des potentiels économiques et culturels représentés par leurs milieux d’origine.

 

Tableau 1

Performances en mathématiques à PISA 2003 du quart le plus faible de la population scolaire et comparaison avec le niveau économique et culturel (ESCSPISA[4])

Modèle éducatif

PISAmaths

ESCSPISA

PISAmaths-

ESCSPISA

Sens et amplitude de la différence

Latin

430

(Fra :458)

433

(Fra :445)

-3

(Fra :+13)

≈ 

Nordique

475

(hs Fin : 466)

489

(hs Fin :492)

-14

(hs Fin :-26)

--

Anglo-saxon

468

471

-3

≈ 

Germanique

469

460

+9

+

Est-asiatique

492

457

+35

+++ 

 

Tableau 2

Performances en mathématiques à PISA 2003 du quart le plus performant de la population scolaire et comparaison avec le niveau économique et culturel (ESCSPISA[5])

 

Modèle éducatif

PISAmaths

ESCSPISA

PISAmaths- ESCSPISA

Sens et amplitude de la

différence

Latin

524 (Fra :562)

544 (Fra :539)

-20 (Fra :+23)

--

Nordique

558

(hs Fin :552)

585

(hs Fin :589)

-27

(hs Fin :-37)

---

Anglo-saxon

561

568

-6

-

Germanique

580

556

+23

++

Est-asiatique

582

518

+64

++++++ 

 

Tableau 3

Resserrement des résultats, élévation d’ensemble du quart le plus performant et du quart le plus faible, et élévation du quart le plus faible de la population scolaire, relativement aux niveaux économiques et culturels 

 

Modèle éducatif

Resserrement

Elévation d’ensemble

Elevation du quart le plus faible

Latin

+17

(Fra :-10)

-23

(Fra :+36)

-3

(Fra :+13)

Nordique

+ 13

(hs Fin :+12)

-41

(hs Fin :-63)

-14

(hs Fin :-26)

Anglo-saxon

+3

-10

-3

Germanique

-14

+32

+9

Est-asiatique

-29

+99

+35 

 

Le résultat majeur auquel on parvient est alors le suivant : l’effet des facteurs scolaires tend à aller dans le même sens pour les meilleurs et pour les plus faibles. Lorsqu’il est positif, il favorise tendanciellement plus les meilleurs et lorsqu’il est négatif, il défavorise tendanciellement plus les meilleurs aussi.

Autrement dit, il semble qu’il y ait un trade-off entre la qualité des systèmes éducatifs et l’égalité au sens étroit, qui n’est pas imputable uniquement à des facteurs scolaires, mais aux sociétés dans leur ensemble : l’élévation relative du niveau des plus faibles par l'école s’accompagne tendanciellement d’une élévation relative plus grande du niveau des meilleurs, au regard de leurs homologues internationaux.

Contrairement aux idées reçues, sur lesquelles s'appuie en particulier le rapport du Haut Conseil de l'Education sur le collège, dans les systèmes éducatifs du modèle nordique, les résultats des plus faibles tendent à se situer en deça de leur niveau socio-économique et culturel (si on les compare sur ces deux échelles à leurs homologues internationaux).   Ce sont donc justement les systèmes où la différenciation pédagogique est supposée interne à la classe que l'on observe un affaiblissement relatif des plus faibles et un affaiblissement plus grand encore des meilleurs.

Ces tendances, et le fait que les pays où l’effet des facteurs scolaires est négatif présentent des niveaux économiques et culturels supérieurs à la moyenne de l’OCDE, peuvent expliquer l’erreur commise par certains analystes, ainsi que par les auteurs du rapport HCE sur le collège, qui interprètent comme « fonctionnant bien » les systèmes où les performances des meilleurs et des plus faibles sont relativement bonnes (en raison du jeu des facteurs économiques et culturels) et connaissent une dispersion moindre : ce sont justement les systèmes où les effets des facteurs scolaires sont négatifs.

 

Ces tendances sont infirmées localement au niveau des systèmes éducatifs Finlandais et espagnol.

Le système espagnol, qui présente avec les systèmes japonais, coréen et suisse, des élites scolaires dont le niveau scio-économique et culturel est proche de la moyenne de l’OCDE tous niveaux scolaires confondus (sensiblement en deça au Japon), n’élève néanmoins pas ces dernières sensiblement au-dessus de leur niveau socio-économique et culturel de départ.

Les élites scolaires du système éducatif finlandais[6] présentent un niveau socio-économique et culturel supérieur à leurs homologues internationaux[7] (les élites scolaires en France ont, en 2003, un niveau socio-économique et culturel sensiblement inférieur à cette moyenne). Le rôle joué par les facteurs scolaires sur leurs résultats reste relativement modéré.

La qualité du système éducatif finlandais repose principalement sur l’effet des facteurs scolaires sur les performances des plus faibles (à égalité néanmoins à cet égard avec les Pays-Bas et après la Corée). Cet effet, très opposé à ce que l’on observe dans les autres pays du modèle nordique, s’appuie nécessairement sur des facteurs qui différencient le système finlandais du modèle nordique dans son ensemble. A cet égard, rappelons le développement très étendu en Finlande des cours spéciaux, et la prévention précoce de l’échec scolaire[8] conduisant à assurer une homogénéité relative des classes.

Rappelons aussi les limites des évaluations proposées par PISA qui n’exigent pas un apprentissage des mathématiques comme structures.[9] En raison d’un curriculum au collège centré sur les seules « compétences » nécessaires à la vie quotidienne, notamment arithmétiques, les élèves finlandais rencontrent des difficultés dans l’enseignement supérieur (la physique et les mathématiques sont en l’occurrence des disciplines qui trouvent relativement moins de candidats à l’enseignement que les autres matières)[10]

Ensemble des résultats :

(1) Il existe des disparités internes aux grands modèles éducatifs, elles sont principalement les suivantes : les résultats du système français se démarquent positivement de ceux du système latin dans son ensemble ; les résultats du système finlandais se démarquent positivement de ceux du système nordique dans son ensemble ; les résultats du système américain se démarquent négativement de ceux du système anglo-saxon dans son ensemble ; les résultats du système allemand se démarquent négativement de ceux du système germanique dans son ensemble.

(2) Si l’on compare les performances brutes du quart le plus faible de la population scolaire, le modèle latin (hormis la France) se démarque négativement et le modèle est-asiatique, positivement.

(3) Si l’on compare les performances brutes du quart le plus fort de la population scolaire, le modèle latin (hormis la France) se démarque négativement et les modèles germanique et asiatique se démarquent positivement.

(4) Si l’on compare les différences des performances brutes du quart le plus fort et du quart le plus faible de la population scolaire, qui sont en moyenne de 94 points sur l’ensemble des modèles éducatifs, le système nordique présente la différence la plus faible, avec une moyenne de 83 (86 sans la Finlande), le système germanique la différence la plus élevée avec une moyenne de 110.

Si l’on considère maintenant les performances du quart le plus fort et du quart le plus faible des populations scolaires, relativement à celles de leurs homologues internationaux, en tenant compte de leur niveau socio-économique et culturel de départ, les résultats auxquels on parvient sont alors les suivants :

(5) Les modèles éducatifs qui élèvent le plus la situation relative des plus faibles sont les modèles est-asiatique et germanique, le second dans une mesure moindre. La Finlande en premier lieu, mais aussi la France et l’Espagne se démarquent positivement au sein des modèles respectivement nordique et latin.

(6) Les modèles éducatifs qui élèvent le plus la situation relative des plus forts sont les modèles est-asiatique et germanique, le second dans une mesure moindre. La France se démarque positivement au sein du modèle latin.

(7) Les modèles éducatifs qui réduisent le plus les différences entre les performances relatives des plus faibles et des plus performants affaiblissent les performances relatives de tous, mais tendent à diminuer davantage les performances relatives des meilleurs.

(8) Inversement, les modèles éducatifs qui augmentent le plus les performances relatives des plus faibles tendent aussi à augmenter davantage les performances relatives des plus performants.

 


[1]OCDE (2004) Learning for tomorrow’s world:

http://www.oecd.org/dataoecd/1/60/34002216.pdf

[2] Cf. (OCDE (2004 : tableau 4.4 p.399).

[3] L’indice ESCS de PISA (indice de statut économique, social et culturel) a été créé sur la base des variables suivantes : l’International Socio-Economic Index of Occupational Status (ISEI), le niveau d’éducation le plus élevé des parents converti en années d’études, l’indice PISA de richesse familiale, l’indice PISA de ressources éducatives familiales et l’indice PISA des biens familiaux relatives à la culture « classique ».

[4] ESCS rapporté à la moyenne et à l’écart-type des performances à PISA.

[5] ESCS rapporté à la moyenne et à l’écart-type des performances à PISA.

[6] Il s’agit ici des 25% élèves les plus performants en mathématiques à PISA en 2003.

[7] C’est le cas dans l’ensemble des pays du modèle nordique mais relativement moins élevé qu’en Isalande, en Norvège ou en Suède.

[8] Qui concernent 30% des élèves avant le lycée, dont 8% suivent des classes spéciales à plein temps.

[9] « Nous savons, écrit Georges Malaty, que nous n’aurions aucun succès à PISA si on demandait aux élèves une compréhension des concepts ou des relations mathématiques. Le plus difficile pour nos élèves est de faire une démonstration, ce qui est compréhensible puisqu’on n’apprend pas les mathématiques comme structure dans nos écoles. » G.Malaty, PISA Results and School Mathematics in Finland: strengths, weaknesses and future, University of Joensuu.

[10] Les professeurs dans les universités et écoles d’ingénieur dénoncent le cercle vicieux qui consiste à devoir retravailler des concepts qui auraient dû être maîtrisés au lycée et qui ne l’ont pas été parce qu’au lycée le temps a dû être employé à revoir des concepts qui auraient dû être acquis au collège.Ils dénoncent la faiblesse ou l’absence des bases communes de connaissances sur lesquelles il est possible de construire au niveau supérieur. Une “lettre ouverte” à ce sujet, disponible sur le web: “The PISA survey tells only a partial truth of Finnish children's mathematical skills”(« L’enquête PISA ne dit pas toute la vérité au sujet des compétences en mathématiques des enfants finlandais ») a été signée par plus de 200 professeurs d’université et d’instituts polytechniques.

Commentaires

Equité versus niveau ?

Je n'hésite pas à vous citer la conclusion provisoire de mon texte "Coup d’œil rapide sur PISA 2013"

"Le cœur du problème est celui-ci : cette régression serait plus acceptable si elle ne s'accompagnait pas d'un accroissement des inégalités."

Vous trouverez le nom de l'auteur de cette pensée éminemment égalitaire et démocratique à la fin du paragraphe. Je voudrais simplement faire remarquer - sans avoir le temps de développer mais il est cependant indispensable d'attirer l'attention sur le sujet - que, à mon sens, nous vivons majoritairement dans un « système de pensée numérologique », c'est-à-dire dans lequel domine une tendance scientiste à voir derrière tout discours incluant des nombres une possibilité d’interprétation du monde. Or on peut constater que si l’on ajoute +deux+ liquides, on trouve en général +un+ liquide et donc qu’en ce cas 1+1=1. Et cette numérologie ambiante se manifeste d'autant plus lorsqu'il est question de statistiques qui est le nouveau Dieu auquel on doit donc croire. Donc, si je peux m'exprimer ainsi, "je ne crois pas à PISA" pour les raisons exprimées plus haut. Mais "pour aider les croyants à ne plus croire", on peut faire les remarques suivantes :

- Enquête PISA : PISA 2012 aborde trois sujets : les mathématiques (test majeur cette année), la compréhension de l'écrit et les sciences. Les résultats de PISA 2012 montrent que, par rapport aux derniers tests, ceux de 2009, les résultats en compréhension de l'écrit [+1,8%]et en science [+0,2%] sont en hausse mais de manière non statistiquement significatives. Toujours pr rapport à 2009, la baisse de niveau repérée pour les mathématiques [-0,4%] est également non significative. Si l'on compare les résultats en mathématiques entre 2003 et 2012, on a une baisse qui fait passer de l'indice 511 en 2003 à l'indice 495 pour PISA 2012, c'est-à-dire en gros une baisse 16/511, soit à peu prés 3% en 9 ans. Mais cette baisse de 16 points, minime donc et à la limite du significatif qui est ici de 3 ou 4% - un ancien responsable PISA explique même que; si l'on avait fait repasser les mêmes tests aux même élèves le jour suivant les résultats pouvaient être inversés -, correspond à une baisse de 14 points entre 2003 et 2006, soit une baisse de 2 points de 2006 à 2012, soit une baisse très faible pour la période complète et non significative pour la période 2006 jusqu'à maintenant.

- Baisse de niveau en calcul 1986 -2012 : Là, nous n'avons pas une baisse non significative mais au contraire ce que Rémi Brissiaud appelle un EFFONDREMENT des performances des élèves en calcul de 1986 à 1999, les performances restant en gros stables à ce bas niveau depuis cette date. Et Rémi Brissiaud précise "Parler d' « effondrement » ne relève en rien d'une rhétorique catastrophiste : entre 1987 et 1999, la moyenne des performances des élèves de CM2 a baissé de 66% de l'écart-type initial ! Or, il est légitime de s'inquiéter à partir de 20% et, dans d'autres enquêtes du même type, une année d'apprentissage correspond à environ 50%. Ainsi, c'est plus d'une année d'apprentissage que les élèves de CM2 ont perdu entre 1987 et 1999. "

Or on constate

- que Vincent Peillon, son staff, ses spin doctors,ses conseillers syndicaux,
ne mentionnent même pas la baisse catastrophique et massive existante en calcul, connue depuis maintenant plusieurs années

- mais parle de "résultats inacceptables "pour PISA, alors que la baisse enregistrée est faible et inexistante depuis plus de 6 ans ; il ne s'agit pas d'une erreur d'interprétation des résultats de PISA puisqu'il prépare très tôt le terrain : dès le 10 octobre il déclare au Grand Journal de Canal+ « Vous allez voir en décembre la nouvelle étude PISA. La France décroche totalement », ce qui est complètement faux; dès le 16 novembre, il continue à faire monter la pression en déclarant « Nous sommes sous le choc Pisa, pour l'instant, et ça va être encore pire » : il s'agit donc bien d'une volonté de manipulation suivant un "véritable plan de com".

- s'intéresse principalement au caractère inégalitaire de PISA qu'il présente comme question fondamentale alors que la baisse, réelle cette fois, des capacités en calcul des élèves de 1986 à nos jours est, elle, particulièrement ... démocratique puisque, comme le note Rémi Brissiaud dans l'interview déjà cité " [Cet effondrement des performances] s’effectue dans les mêmes proportions chez les enfants de chômeurs, d’ouvriers agricoles… que chez ceux d’ingénieurs, de professions intellectuelles… »

- que l'ensemble de la presse et des médias a oublié apparemment depuis bien longtemps son role d'investigation puisqu'ils reprennent en général sans sourciller les analyses du staff Peillon - à moins que ce soit le contraire : quoi qu'il en soit il y a une forte convergence de vue entre le pouvoir et les médias- , les plus critiques remarquant certes que le ministre exagère mais ne se posant pas la question du pourquoi de cette action.

On peut en déduire plusieurs choses et essayer de comprendre les "intentions du ministre", une fois que l'on a compris qu'il est bien clair que Vincent Peillon, son successeur et ses prédécesseurs ne s'intéressent que très peu aux "performances des élèves sur les fondamentaux".

Mais dans l'immédiat - et bien que la compréhension des objectifs du ministère et de la stratégie qu'il compte employer soit fondamentale - je me bornerai, en renvoyant cependant à mon texte en cours sur la refondation, à une seule remarque : l'attitude du ministre qui consiste à focaliser l'attention sur une fausse baisse pour se désintéresser de la baisse réelle des performances des élèves au nom de la lutte contre les inégalités est un grand classique du groupe de pression composé de tous ceux qui ont inspiré des programmes déplorables et des progressions irréalisables. On comprend bien que tant que l'on se focalise sur l'inégalité des résultats, ça permet d'éviter la question, délicate pour eux, de la baisse de niveau de tous.
On peut rajouter que l'idée que la baisse de niveau générale n'est pas importante tant qu'elle se fait démocratiquement n'est pas nouvelle et qu'elle n'est pas seulement de gauche puisque Xavier Darcos déclarait le 7 decembre 2002 dans le Figaro Magazine :

"Nos vétilleuses injonctions grammaticales leur paraissent d'une étroitesse un peu dérisoire. Faut-il s'accoutumer à l'idée que nos élèves maîtrisent moins bien la lecture et le calcul que leurs aînés de 1920 ? Et ne remontons pas si loin: à l'entrée en 6 e , en 2001, ils étaient deux fois plus nombreux qu'en 1992 à manquer de ces mêmes bases. Sans nous résigner à ce recul, nous savons que tel fut le prix à payer de la massification de l'enseignement, authentique progrès que l'on doit à l'engagement de la nation et de ses professeurs. +++Le cœur du problème est celui-ci: cette régression serait plus acceptable si elle ne s'accompagnait pas d'un accroissement des inégalités.+++"

De toutes les façons, j'ai eu une vaccination très précoce contre la mise en avant de l'argument démocratique de la lutte contre les inégalités pour refuser toute critique du contenu enseigné et même - aussi stupide soit-il- pour le justifier : lorsque l'on essayait de montrer en 1970 / 1975 aux membres de l'APMEP et aux divers partisans de Piaget et des maths modernes que l'idée de rendre la rédaction des leçons et des problèmes la plus formaliste possible était une aberration, on se faisait aussitôt accuser méchamment et avec mépris au minimum de défendre les inégalités sociales - si ce n'est d'être en général un suppôt de la réaction- car le vocabulaire formaliste des maths modernes était démocratique tandis que le français - surtout écrit - était élitiste.