Les escoles i instituts poden saber, gràcies a les dades que s’extreuen de les proves externes (6è de primària i 4t d’ESO), com evolucionen els seus centres (és a dir, les notes dels seus alumnes) en relació amb ells mateixos, amb els centres educatius de la seva zona, amb els de la seva ciutat, amb els de tot el país, i amb els de la seva tipologia de centre. Però n’hi ha prou amb això per identificar si s’estan complint els objectius del seu projecte educatiu? Per Xavier Chavarria, inspector en cap de Barcelona, la resposta és que no. Calen altres indicadors, més específics, que cada centre s’hauria de poder fer a mida. Juntament amb la també inspectora Elvira Borrell, Chavarria acaba de publicar el llibre La màgia dels indicadors en educació (Horsori), on aporta alguns consells sobre com fer-ho.
Si el claustre s’ha proposat que el centre millori en aspectes com la inclusió o la convivència, les dades de les proves d’avaluació externa no serveixen. O fins i tot si s’ha proposat que es redueixi l’absentisme dels alumnes, o que es retalli la distància que separa els que treuen millors resultats dels qui van pitjor, tampoc. Però aquestes coses es poden mesurar? “Al final tot es pot convertir en una xifra, però un indicador no és l’oracle de Delfos, la millor manera de valorar-los és conèixer les seves limitacions”, contesta Chavarria, que pensa també en serveis educatius com els CRP o els EAP.
“El millor és que cada centre i cada servei es creï els seus –aconsella–, però que siguin pocs, que responguin a aquell objectiu que es vol mesurar i que permetin una disponibilitat immediata, de tal manera que si cal prendre decisions no s’hagi d’esperar a finals de curs”. En la tria sobre quins indicadors decidim implementar entren en joc dos conceptes més: el balanç (“val la pena l’esforç pel resultat que n’obtindré?”) i el que els autors anomenen principi de parsimònia, que Chavarria explica dient que “allò que ho puguis fer fàcil no ho compliquis, i si amb una simple taxa en tens prou, no vulguis fer més virgueries”.
El profe de mates, un bon recurs
El llibre comença clarificant conceptes (indicador, índex, taxa, rúbrica, output, outcome…), però sobretot aporta fórmules matemàtiques i exemples d’indicadors existents, “que cadascú pot adaptar a la seva realitat o fer-ne de nous”. “Pot espantar, però és més senzill del que sembla si es té clar a on es vol anar”, assegura l’inspector en cap, el qual recomana als equips directius que, si no se’n surten, demanin la col·laboració dels professors/es de matemàtiques (dels propis o dels instituts agregats en el cas dels centres de primària).
I com es pot mesurar, per exemple, l’evolució d’una escola pel que fa a la inclusió? “Es podrien definir un seguit de bones pràctiques inclusives i en la mesura que es van donant ho pots transformar en un número, i encara més si tens una comparativa amb altres centres –comenta Chavarria–. La limitació seria que potser no s’estan aplicant aquestes pràctiques que tu has definit però se n’estan fent altres. O també es podria elaborar un indicador de similitud: tinc el mateix percentatge d’alumnes amb dificultats respecte dels que hi ha als centres del meu context? Com més similar sigui el teu resultat al del teu context, millor vas. Si et passes molt per sobre, de tan inclusiu com ets, deixes de ser-ho, i si estàs molt per sota, és evident que no vas bé”.
Més exemples: “Imaginem que el nostre objectiu és que els nostres alumnes millorin la seva competència lectora. Jo puc decidir que per aconseguir-ho promouré l’ús de la biblioteca entre el professorat i l’alumnat, i llavors puc establir un indicador que sigui quantitat d’alumnes que usen la biblioteca cada setmana, o quantitat de préstec de llibres, i mirar l’evolució d’aquest indicador setmana a setmana. Ho puc complicar, i subdividir l’indicador segons el curs dels alumnes, o segons si els llibres són en català o en castellà, etc. En tot cas, al final tindré un indicador, i potser veig que la resposta és positiva i que molts més alumnes estan anant a la biblioteca. Però haurà servit això per incrementar la competència lectora? Hauré de creuar el meu indicador amb el resultat de l’avaluació externa per veure si realment l’acció que vam decidir tirar endavant era l’adequada per l’objectiu que m’havia proposat”.
Els projectes educatius de centre elaborats en els darrers anys ja contemplen alguns indicadors, però la major part segueixen sense fer-ho. “No cal revisar-los per posar-hi indicadors, però en la mesura que es van revisant s’haurien d’anar incorporant –opina Chavarria–. Aquest any pot ser una bona oportunitat, ja que, per norma, s’ha d’acabar d’integrar el projecte de convivència en el projecte educatiu; aprofita, doncs, per posar alguns indicadors, encara que no sigui a tot”. “Amb els plans anuals dels centres veiem massa indicadors i la majoria són poc consistents, en canvi els projectes de direcció acostumen a ser bastant millors, perquè la mirada és a quatre anys vista”, afegeix.
Bons i mals indicadors
Perquè un indicador realment ens doni una bona mesura, adverteix l’inspector en cap, no pot ser una magnitud única, sinó que s’ha de poder relacionar amb altres magnituds. Per exemple, comenta, “el nombre de reunions realitzades en relació amb les previstes és un mal indicador, perquè no sabem si ens indica que havíem previst massa reunions i per això hem resolt el tema abans, o si hem treballat molt bé i per això no han fet falta més reunions”. Els indicadors també poden tenir interpretacions molt esbiaixades. Posa un altre exemple: “Amb el clàssic qüestionari de satisfacció, imagina que el 90% dels pares que contesten et diuen que estan molt contents, però resulta que només ha contestat el 10% de pares, que són els implicats; on és l’altre 90%? Realment podem dir que els pares ens donen un 9?”.
Relacionant dues o més magnituds pots arribar a tenir un indicador molt més acurat. La Inspecció del Consorci, per exemple, elabora una recta de regressió de tots els centres, en la qual creuen els resultats de les proves externes amb la tipologia del centre. D’aquesta manera, el centre veu on està situat en el seu context, però no pot identificar la resta ni la resta la pot identificar a ella. “Quan hem fet auditories pedagògiques –explica Chavarria–, hem vist que hi ha centres que en conjunt treuen mals resultats però són els màxims que poden obtenir, o sigui que no estan fent res malament, sinó que més aviat cal felicitar-los, i en canvi pot haver-hi centres a la banda alta que obtenen pitjors resultats dels que els correspondria, i també se’ls hi ha de dir”. Aquest any, a més, la inspecció també ha elaborat el coeficient de Gini de cada centre, que en aquest cas mesura la desigualtat en els resultats dels alumnes, és a dir, a quins centres la distància entre els millors i els pitjors alumnes és més o menys pronunciada.
Amb tot, Chavarria troba a faltar algunes dades que no serien difícils d’obtenir i que permetrien tenir més informació sobre el sistema i els centres. A Holanda, explica, “el context de cada centre l’elaboren a partir de dues dades: el percentatge de beques de menjador que té aquell centre i el nivell d’estudis de les mares, ja que està bastant estudiat que és una de les coses que més condiciona l’èxit escolar”. Segons sigui el nivell d’estudis (d’analfabeta a doctorada o similar) rep un número del 0 al 8, segons l’estàndard CINE (Classificació Internacional Normalitzada de l’Educació), i amb el valor mitjà de totes les mares d’un centre es té una fotografia força acurada del tram on se situa aquella escola o institut pel que fa a la seva complexitat. “Aquest és un exemple d’indicador que el Departament no té en compte, però que no costaria gaire d’elaborar perquè els centres disposen d’aquesta informació, i que es podria creuar amb altres dades que sí que són considerades interessants”.
