Anàlisi

Per a què serveix PISA?

Després de conèixer els últims resultats de les proves PISA, parlem amb docents i investigadors sobre l’avaluació internacional, la seva idoneïtat i com treure-li profit.

«PISA serveix per a molt». «La veritat és que ens importa molt poc». Dues realitats, de les moltes possibles, que es poden dir de PISA i el seu impacte social o educatiu.

La primera frase és de Javier M. Valle, docent de la Universitat Autònoma de Barcelona. La segona de Toni Solano, director d’institut a Castelló. Totes dues, en realitat, són molt certes.

PISA és una avaluació que va néixer als 90 de la mà de l’OCDE i està dissenyada i pensada per donar informació als països, als sistemes educatius, de com funciona allò que mesuren, les famoses tres competències. Ara ampliades amb qüestions relatives a l’aprenentatge de llengües estrangeres o usos de la tecnologia.

Acumula tanta informació que s’editen diversos volums de resultats. Centenars i centenars de pàgines de les quals els mitjans de comunicació informem tan sols d’una part molt petita.

Com ho veu l’escola

El professorat té una visió no gaire optimista de PISA. Principalment, perquè l’interès que els provoca és força relatiu. Escàs. És una avaluació que, gairebé, no els concerneix, almenys, en la tasca diària a l’aula.

«No veig que tingui transcendència a les escoles»

Solano explica que al centre van tenir l’oportunitat de viure una avaluació de PISA. «S’escapen tantes coses, per molt bé que estiguin dissenyades (les proves)…» I explica una cosa que sonarà a qualsevol: com influeix el dia concret, o l’hora escollida quan es posa un examen.

Per ell, PISA és més un indicador de la política internacional que no pas de la millora de l’educació. «No veig que tingui transcendència» a les escoles. «Et donen estadístiques, però què hi aporten?».

«La prova no reflecteix la complexitat d’aprendre». No té en compte, explica, les dificultats de noies i nois davant d’una prova escrita, per exemple. Els qui necessiten més temps per contestar, o el fet que hi ha xavals «passotes» que, depenent del moment, contesten les proves d’una manera o altra.

A Maria, nom fictici, professora de Llengua i Literatura a Madrid, els resultats de PISA li semblen interessants per veure l’evolució de la comprensió lectora. «No és la Bíblia, però sí que proporciona un marc de reflexió personal sobre com afrontar l’ensenyament de la meva matèria, veient la tipologia textual seleccionada en les preguntes alliberades i les dificultats que ha tingut l’alumnat en respondre».

«Els resultats de PISA no interessen més del que pot interessar qualsevol altra notícia»

Això sí, té clar que per a la majoria del professorat són avaluacions sense cap transcendència. «Els resultats de PISA no interessen més del que pot interessar qualsevol altra notícia periodística. Als departaments didàctics no s’analitzen els resultats, ni a l’òrgan de coordinació pedagògica, ni als claustres… Tots els centres viuen d’esquena a aquests resultats».

Per a ella, part de la situació s’explica perquè les noies i els nois es prenen les proves «amb total desinterès». No només amb PISA, també amb les avaluacions de 2n i 4t que realitzen tant la Comunitat de Madrid com el Ministeri. «No s’esforcen gens ni mica a fer-les. Són generacions molt pragmàtiques».

«Les proves externes semblen centrar-se a ‘pesar contínuament el pollastre’, però no es dediquen a alimentar-lo, que és el que necessitem», es queixa aquesta docent madrilenya. «Dubto que hi hagi un percentatge alt de docents que hagi llegit, ni tan sols, la portada de PISA». Així ho creu Carmen Yuste, docent de secundària a Sevilla. «Els interessa més aviat poc», assegura.

«No es debat ni es pensa sobre els resultats»

Com també comenta Solano, els titulars de premsa els serveixen per reforçar les seves creences prèvies. «No es debat ni es pensa sobre els resultats».

Tariq Baig, professor a Catalunya, opina de manera semblant: «Necessitem anàlisi qualitativa de les dades i parlar amb el professorat».

Per a Yuste, aquesta avaluació dóna poques pistes al professorat i «té poc a veure amb la pràctica diària» a l’aula. Per ella, a més, l’informe no té com a objectiu «millorar l’educació o conèixer el nivell dels xavals». Ho fa una organització econòmica i, creu, el que pretén és “enfocar les polítiques educatives cap a la creació de mà d’obra”.

Baig, en aquesta línia, comenta que sobre l’informe hi ha una sèrie d’interessos econòmics i polítics. Es tracta d’un sector, l’educatiu, on hi ha institucions, fundacions, empreses amb interessos variats que més que educar persones, eduquen treballadors.

Carmen creu que, a més, hi ha un efecte perniciós important. I no (només) té a veure amb la percepció que el professorat ha fracassat educant noies i nois, sinó que sembla que la culpa dels mals resultats és, precisament, d’aquests últims. «Transmetem una imatge negativa de les generacions futures».

«Ens ha permès veure l’evolució dels nostres alumnes, i ajustar alguns instruments i procediments»

Una mica diferent és l’anàlisi que fa Carlos Entrambasaguas, professor del col·legi Sant Josep dels Jesuïtes de Valladolid. Creu que és una avaluació que pot donar informació útil. Així ho han vist, explica, a la xarxa de col·legis a què pertany i que des de fa temps els animen a participar. «Ens ha permès veure l’evolució dels nostres alumnes, i ajustar alguns instruments i procediments d’avaluació més competencials». El seu avantatge, l’autonomia de pertànyer a la xarxa privada concertada i tenir més autonomia a l’hora de posar en marxa segons quins canvis.

Han pogut implementar canvis al pla lector del centre, així com altres relacionats amb el pensament computacional. Això sí, no li agrada la part més competitiva que converteix l’avaluació en un rànquing.

Com s’ha dit, PISA està pensat perquè les administracions educatives en treguin les conclusions i apliqui les polítiques que considerin necessàries per millorar els resultats en l’avaluació. Cosa que tampoc sembla quedar gaire clara.

Yuste assenyala que el màxim canvi que ha vist en anys a Andalusia va ser augmentar una hora de llengua i una altra de matemàtiques cada setmana. Sense haver analitzat quins resultats ha donat aquesta decisió en els aprenentatges o l’èxit acadèmic.

Entrambasaguas assegura que no ha vist «plans gaire seriosos, en general, encara que seria injust dir que no he vist res».

Ell coneix més la realitat de Castella i Lleó, on exerceix, i la del País Basc. Pel que fa a la primera, creu que «Castella i Lleó intenta aprendre, però sempre des d’una certa autocomplaença derivada dels bons resultats que obtenim». Pel que fa a la segona, li sembla «més esmunyedís, més centrat a escórrer l’embalum i buscar justificacions poc creïbles». Cal recordar que aquesta comunitat ha patit una important caiguda de punts en els darrers anys, les causes dels quals no semblen gaire clares.

Des de la investigació

«Portem tres onades amb caiguda de resultats, els governs no tenen incentius perquè els importi» PISA, assegura Lucas Gortázar, que es dedica a la investigació educativa des del vessant d’estudi, l’economia de l’educació.

Per a ell, convençut de la necessitat de l’avaluació, ara és més important que mai «perquè els diu (a les administracions) el que no volen sentir. Aquest és el valor». Posa com a exemple com a comunitats com Madrid els trenca el relat posant sobre la taula la seva política de segregació escolar o a Euskadi (d’on és oriünd), que fa uns anys liderava i ara s’està quedant al vagó de cua, malgrat les inversions altíssimes per alumne.

Creu que PISA reflecteix assumptes clau com la importància de l’equitat, el cost de la repetició en termes econòmics i educatius, el clima d’aprenentatge o l’alta rotació docent als centres de més complexitat.

«L’avaluació educativa renya amb la polarització»

I sortint del debat més educatiu, assegura que el model d’organització supranacional en què se sentin 90 països per parlar d’educació, avui, és gairebé contracultural, en un món polaritzat en què sembla que cadascú es replega en si mateix deixant de banda el que és comú. «L’avaluació educativa, diu, renya amb la polarització».

Està d’acord que l’informe no diu com millorar l’educació, mai no ho ha fet. «A partir d’aquí, hi ha matisos». Assegura que la gran quantitat d’informació que porta aparellada acaba influint en la conversa educativa d’almenys algunes comunitats autònomes.

Gortázar creu, en qualsevol cas, que “l’alternativa és pitjor. L’opacitat és més enemiga, per exemple, de l’equitat». És a dir, la transparència que suposa PISA és important per a la democràcia als països. I assenyala que el president nord-americà, Donald Trump, amb les seves importants retallades en educació, s’ha endut la inversió federal en avaluació.

Enquadra aquesta situació en un “mar de fons global de reacció cap a dins”, amb una mirada més nacional.

«Nosaltres no som fans de PISA», assegura Mònica Nadal, directora d’investigació d’Equitat (l’antiga Fundació Bofill). Veu que aquesta avaluació porta aparellats elements importants com la quantitat i qualitat de les dades que recull i ofereix una comparativa internacional amb una sèrie temporal àmplia.

Creu que cal ser previnguts perquè PISA no és el mesurament de la qualitat educativa del sistema i que no hauria de servir per informar polítiques públiques preocupades per millorar la posició relativa al rànquing.

«PISA descriu millor del que explica»

Per a ella, ofereix informació valuosa sobre allò que els estudiants saben fer, té «qüestionaris contextuals molt valuosos» sobre expectatives docents, clima de centre, percepció de l’alumnat i el professorat.

Ara bé, creu que té limitacions. Per exemple, l’avaluació “descriu millor del que explica”. Un exemple podria ser, per exemple, la baixada important de les i els joves més afavorits. S’explica, però no se’n saben els motius.

A més, deixa fora unes competències davant d’altres, pot ser utilitzat per generar legislació per millorar a la classificació. Alerta contra el «fetitxisme de la dada, del rànquing» davant del que realment pot ser valuós: saber qui es queda enrere, quina és la competència més forta i quina no…

Nadal creu que és lògic que al professorat li impliqui poc els resultats de PISA. «No és útil per als centres ni per als professionals». Són «diagnòstics postmortem» que necessiten acompanyament.

«L’educació no es governa amb dades sinó amb polítiques»

També creu que en general les administracions educatives prenen decisions «a la babalà» basades en aquestes avaluacions. Es posen en marxa programes «que no se sostenen en el temps o que no s’implementen bé».

«L’educació no es governa amb dades sinó amb polítiques», assevera. Però moltes vegades, diu, «es pretén que en dada hi ha la decisió, sense debat ni interpretació amb experts, al territori».

Com hem vist als titulars de premsa, PISA torna a certificar, una avaluació més, la baixada de punts. Efectivament, no és només espanyola. Es produeix a totes les Comunitats Autònomes, en dos terços dels països que hi participen. Les causes estan poc clares, malgrat que molts ja han assenyalat la Lomloe (que només ha afectat en dos cursos els xavals que hi han participat), les polítiques del Govern central, malgrat la transferència autonòmica implantada des de fa més de 25 anys.

A més de per a la baralla política o per reafirmar les idees prèvies, sembla que PISA podria servir per reorientar polítiques que s’haurien de pensar en dos nivells. D’una banda, com comenta Nadal, amb els qui estudien les dades a consciència i coneixen el territori i, de l’altra, amb el professorat, que d’una manera o altra fa anys que avisa que el nivell de lectura de l’estudiantat estava empitjorant.

«Baixaria de qualsevol prova estandarditzada»

Fent d’advocat del diable, Manuel Fernández Navas , professor i investigador la Universitat de Màlaga i una de les veus públiques contràries a PISA més contundent, assegura que «baixaria de qualsevol prova estandarditzada». No només de la de l’OCDE, sinó de les diagnòstiques.

Per ell, PISA «és un instrument per a legitimació política» en què s’escuden els governs per legitimar les modificacions legislatives més o menys ideològiques com a «tècniques». Això xoca amb el fet que, en una línia semblant a la Mònica Nadal, «necessitem fer política educativa valenta, no la que em diguin les dades».

Al costat d’això, Fernández Navas entén que les dades s’utilitzen, a més, per alimentar la batalla cultural al voltant del que és educatiu, utilitzant dades que la ciutadania no ha de comprendre, com parlar de suspensos en PISA o baixades de 40 punts, en una confusió entre rendiment acadèmic i aprenentatge.