Reportatge

La bondat a l’hora de qualificar: aprovar un alumne per generositat condiciona la nota del següent avaluat

L’assignació de màsters, l’avaluació de les oposicions a jutge, la concessió de la llibertat a presoners, qualsevol puntuació de capacitats i altres barems quantificables sotmesos a la ment humana no són en absolut aliens a aspectes que escapen de l’objectivitat. El cansament d’un avaluador en sobrepassar un determinat número d’examinats pot ser determinant per a la nota final de les últimes proves corregides, per tant, l’ordre en el qual un professor comenci a corregir, poc o molt, importa.

Membres d’un tribunal que, més conscient o inconscientment, preveuen que aprovaran uns 7 candidats i en suspendran 3 és un altre exemple de com les avaluacions no se cenyeixen mai al 100% al mèrit de la persona que passa la prova. Els mecanismes de com la fatiga i els prejudicis afecten les avaluacions ja s’havien estudiat. Però un equip investigadors des de Catalunya, Suïssa i Estats Units es va proposar endinsar-se encara més en les avaluacions seqüenciades, a la recerca d’altres fenòmens subjacents que poden influir en la nota final. I l’han trobat.

— i han arribat a ell amb la següent explicació: puntuar amb un 5.00 respon a un acte bondadós, de generositat. I, un cop l’examinador exerceix aquest acte de generositat, se sent més legitimat per suspendre l’examinat posterior. “La generositat es defineix com la de donar a un candidat la nota més baixa possible per avançar en el procés de contractació”, puntualitzen els investigadors. En el seu estudi es proposen algunes explicacions per aquesta erosió de la generositat. “Una podria ser l’aversió a la culpa: els avaluadors tendirien a ser generosos i aprovarien candidats dubtosos per evitar el sentiment de culpa; ara bé, un cop aprovats diversos candidats amb un 5, disminuiria aquest sentiment de culpa i cada vegada jutjarien amb més duresa”, raonen.

Les probabilitats d’aprovar d’un candidat disminueixen un 7,7% per cada persona examinada prèviament aquell mateix dia que hagi obtingut una puntuació de 5

Per arribar a la seva conclusió –i troballa pionera–, varen analitzar més de 10.000 avaluacions fetes a candidats a ocupar un lloc fix de docent a l’educació primària i secundària a Catalunya. L’objectiu inicial era estudiar com afecta en la decisió dels comitès avaluadors el fet que un candidat ocupi una posició determinada a la llista de persones examinades. En l’estudi de la distribució de notes es constata per norma general que hi acostuma a haver pocs deus i pocs zeros, i és entre el 6 i el 4 on hi ha la clau de la seva hipòtesi. Que aparegui un 5 rodó, en avaluacions on els decimals tenen el seu paper, ja porta els investigadors a identificar aquest arrodoniment amb la generositat del professor que avalua, membre del tribunal.

En l’article, els investigadors exposen la seva hipòtesi així: “En els processos de contractació, els candidats sovint són jutjats un darrere l’altre. Aquest procediment seqüencial afecta el resultat del procés. Aquí introduïm l’efecte generositat-erosió, que afirma que els avaluadors podrien ser més durs en la seva avaluació dels candidats després de classificar generosament els candidats anteriors”.

Segons aquest estudi, doncs, en una avaluació seqüenciada, a les 9h és més probable que t’aprovin, perquè a les 14h és més probable que hi hagi hagut ja algun acte de generositat. És a dir, que la gent que aprova justet fa que després se sigui més estricte amb els altres.

Un cop establert aquest paràmetre, la recerca mostra que les probabilitats d’aprovar d’un candidat disminueixen un 7,7% per cada persona examinada prèviament aquell mateix dia que hagi obtingut una puntuació de 5,00.

Nova contribució

L’efecte contrast també es coneix com a biaix d’avaluació; és a dir, una molt bona puntuació abans de la correcció del meu examen és probable que afecti no aixecant tant la meva nota. “La nostra contribució és que identifiquem un nou mecanisme, un nou efecte sobre una avaluació seqüenciada, i no només que l’ordre afecti, que això ja se sabia, sinó una altra raó de per què afecta. I hem vist que l’erosió de la generositat acaba sent més important que l’ordre i el cansament, el contrast o l’expectativa del jurat”, explica l’investigador de la Facultat d’Economia i Empresa de la UB, Jordi Teixidó, participant en la recerca i coautor de l’article que se’n deriva, que s’ha publicat a la revista Science Advances.

Però, davant de l’evidència descoberta en aquest estudi, ¿com poden modificar-se les correccions si volen allunyar-se de distorsions d’aquest tipus? Teixidó apunta que “o bé pot passar que tot segueixi igual, o que s’intenti corregir”. Algunes possibles idees per fer-ho serien, per exemple, no corregir exàmens sencers sinó exercicis, agrupant les notes de totes les primeres preguntes juntes, totes les segones… El biaix hi pot ser igualment, però no tant perquè es reparteix entre més.

Una altra proposta seria que no s’agafés la nota dels cinc avaluadors, suposant que siguin cinc en un tribunal, sinó agafar-ne només tres de manera aleatòria. I encara una altra possibilitat seria que els examinats passessin per un altre tribunal per obtenir segones opinions, però seria impensable pel cost, i tampoc es podria descartar un altre cop el biaix. I, com que aquest biaix trobat neix de la repetició, de tenir una seqüència, “si en valores 5, en comptes de 10, fent la seqüència més curta, tens menys biaix, però necessites més gent per avaluar”. En qualsevol cas, tal com diu el professor i investigador Jordi Teixidó, “al marge de les maneres d’evitar-ho, el primer pas per corregir el biaix és saber que existeix”.

A més de Jordi Teixidó, a l’estudi hi han participat la investigadora de la UB Tània Fernández, així com Marc-Lluís Vives (Universitat de Brown) i Miquel Serra-Burriel (Universitat de Zuric). En total, tres economistes i un psicòleg social que en la seva recerca han emprat eines de la teoria de jocs, pròpia de les ciències socials, per interpretar els resultats de la seva anàlisi. El procés de selecció dels mestres tenia característiques adients per l’estudi, atès que l’ordre de les persones que s’examinen és aleatori i que la decisió es pren, no de forma individual, sinó entre els membres d’un comitè, com és cada cop més habitual en els processos de selecció.