Opinió

Ens està tornant ximples el ChatGPT? Quan el sensacionalisme es disfressa d’evidència

«ChatGPT podria estar deteriorant les habilitats de pensament crític, segons un nou estudi del MIT». Amb aquest titular tan clickbeitià, la revista Time publicava un article que ha estat circulant per les xarxes socials, en què s’alerta de les devastadores conseqüències que hi haurà si gosem fer servir els LLMs (models de llenguatge de grans dimensions o, per al comú dels mortals, ChatGPT).

En aquest text es resumeix en pocs paràgrafs un article científic que té 206 pàgines i que porta com a nom “Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using a AI Assistant for Essay Writing Task”. De manera resumida, aquest equip del MIT liderat per la Dra. Nataliya Kosmyna ha investigat si l’ús de ChatGPT a l’hora d’escriure un text argumentatiu té un impacte

• en la càrrega i dedicació cognitiva, mesurat a través d’encefalogrames que avaluen l’activitat cerebral;
• en la manera com s’usen les paraules en els textos, investigat a través del model del Processament del Llenguatge Natural (PNL);
• en la capacitat dels subjectes investigats de citar parts del text escrit, la correcció d’aquestes cites i la sensació d’autoria per part de les persones investigades;
• i en la qualificació atorgada a cada text, que és avaluada tant per persones com per una altra IA.

Per investigar-ho, van separar les persones en tres grups: les que havien d’escriure el text usant únicament ChatGPT; les que podien utilitzar Google per cercar informació abans d’escriure el text, i les que només podien fer servir el que ja sabien sobre el tema. Disposaven de 20 minuts per fer la tasca. Aquest procés es va repetir quatre vegades, cada cop amb un tema diferent. A l’última ronda, es van invertir les condicions: a les que havien fet servir ChatGPT se’ls va demanar que escrivissin el text sense ajuda, només amb el que recordaven i a les que havien treballat sense IA, se’ls va permetre utilitzar-la.

No entraré a debatre els resultats ni el disseny de la investigació (podeu llegir sobre això aquí) perquè jo no soc experta ni en PNL, ni en encefalogrames ni en LLMs . La ciència ha demostrat que ChatGPT ens està tornant tontos. I això passa, en part, perquè aquest missatge activa les nostres idees prèvies sobre la intel·ligència artificial i fa que ho donem, per cert, sense aprofundir gaire.

De fet, un dels exemples més evidents d’això el trobem a les mateixes reaccions a l’estudi. Com comentava en una xarxa social un directiu d’una EdTech :

“Aquest nou estudi sobre ChatGPT i l’aprenentatge dels estudiants s’ha difós moltíssim en xarxes, i amb raó. Reforça una cosa que fa temps que sabem en educació: quan la tecnologia s’introdueix a l’aula de forma equivocada, els resultats no només són poc efectius, sinó que poden ser perjudicials. En realitat, les troballes de l’estudi no resulten tan sorprenents”.

Una lectura així de l’estudi és, precisament, el que demostra com resulta de fàcil confirmar les nostres pròpies creences sense revisar amb atenció el que realment diu l’evidència.

Aquest tipus de pràctiques es veuen molt sovint a les xarxes socials, i estic segura que jo mateixa ho hauré fet més d’una vegada. Al meu entendre, les veiem molt perquè, d’una banda, estem en una època de reacció desbocada contra la tecnologia a les aules (aquí, aquí i aquí) i tot el que sigui donar canya a la intel·ligència artificial suma punts.

D’altra banda, els articles sobre educació, en general, tendeixen a presentar l’aprenentatge com un acte purament individual: si passa al meu cervell, llavors només importa. Ni el context en què es produeix, ni la motivació que tinc (o no) per aprendre, ni les meves experiències prèvies amb aquesta tasca, ni el meu estat emocional, ni amb qui aprenc. Aquesta visió reduccionista de l’aprenentatge porta investigadors, periodistes i lectors a simplificar el debat educatiu fins a convertir-lo en una sèrie de falses dicotomies: tecnologia sí o no?, esforç o no esforç?, competències o no competències? I així, a poc a poc, anem deixant de banda l’oportunitat d’obrir un debat més ric, complex i profund sobre com el capital econòmic, social o cultural condiciona les possibilitats d’aprendre. Però, com em va dir un bon amic: “Aquest debat no ven diaris ni promou el clickbait, estimada Lara, perquè fa pensar la gent”.

En aquest sentit, l’article científic i la seva ressenya alTime són dos exemples perfectes del que està passant en la divulgació educativa. Esbudellarem les fonts, perquè el que està passant mereix ser llegit amb calma i mirada crítica.

Per començar: L’article ni tan sols està publicat! És a dir, no ha passat per cap revisió per parells, que —amb tots els defectes— continua sent el mínim exigible en qualsevol disciplina científica perquè un resultat es consideri vàlid. Que sí, que ja sabem que, com a científiques, tenim molts dubtes (i crítiques legítimes) sobre l’actual sistema de revisió per parells i les lògiques de publicació a revistes. Però si fas un article periodístic sobre aquesta investigació, el fet que encara no estigui publicada hauria d’aparèixer al primer paràgraf, no a la meitat del tercer, quan ja has sembrat el pànic sobre els danys cerebrals que suposadament ens causarà la intel·ligència artificial.

L’article suggereix que l’ús de LLM podria perjudicar l’aprenentatge, especialment per als usuaris més joves. L’article encara no ha estat revisat per experts i la mida de la mostra és relativament petita. Però l’autora principal de l’article, Nataliya Kosmyna, va considerar important publicar els resultats per augmentar la preocupació que, a mesura que la societat depèn cada cop més dels LLM per comoditat immediata, el desenvolupament del cervell a llarg termini es pot veure sacrificat en el procés.

L’estudi planteja que l‟ús de models de llenguatge com ChatGPT podria perjudicar l’aprenentatge, sobretot en persones joves. Encara no ha passat una revisió per parells i la mostra és força petita. Tot i així, la seva autora principal, Nataliya Kosmyna, va decidir fer-ho públic perquè el preocupa que, si seguim confiant en aquest tipus d’eines per pura comoditat, acabem comprometent el desenvolupament del cervell a llarg termini.

L’estudi es basa en una mostra reduïda: 54 persones entre 18 i 35 anys, estudiants de grau, doctorat i postdoc de cinc universitats de l’àrea de Boston. Tot i ser prudents, podríem suposar que aquestes persones compten, com a mínim, amb un elevat capital cultural, i probablement també amb un considerable capital social i econòmic. Què passaria si aquesta mateixa investigació es fes amb persones amb altres perfils culturals, socials o econòmics? S’obtindrien els mateixos resultats?

A més, a la investigació no s’esmenta si aquestes persones són neurotípiques, neurodivergents o si presenten alguna discapacitat. Que potser no és rellevant investigar quin efecte té ChatGPT en diferents tipus de cervells, en diferents maneres d’aprendre i de relacionar-se amb el llenguatge? Compte: això no és necessàriament una fallada de la investigació. Però com a persones que treballem en educació i divulguem, sí que hauria de cridar la nostra atenció sobre el biaix que presenta la mostra i la necessitat de tenir-ho en compte abans d’extrapolar-ne alegrement els resultats.

I aquí és on ve el més sorprenent. Segons l’autora, Nataliya Kosmyna, el que la va portar a compartir el seu estudi amb la premsa (abans d’estar validat per la comunitat científica, recordo) va ser la seva preocupació per l’ús de LLM amb nens infantils:

«El que realment em va motivar a publicar-ho ara abans d’esperar una revisió completa per parells és que temo que d’aquí a 6 o 8 mesos hi haurà algun responsable polític que decidirà: “Fem un parvulari GPT”. Crec que això seria absolutament dolent i perjudicial», diu. «Els cervells en desenvolupament són els que corren un risc més elevat».

“El que realment em va portar a publicar-ho abans de passar la revisió per parells va ser la por que, en 6 o 8 mesos, algun responsable polític decideixi: ‘vinga, muntem una guarderia-GPT’. Crec que això seria totalment negatiu i perjudicial”, afirma. “Els cervells en desenvolupament són els que corren més risc”.

Em deixa perplexa aquesta declaració. Primer, perquè justifica fer públic un estudi encara no validat per la comunitat científica en nom d’un suposat bé comú. I segon, perquè assumeix amb total naturalitat que els resultats obtinguts amb una mostra d’adults universitaris poden extrapolar-se a l’àmbit educatiu de nens de 0 a 6 anys. What a time to be alive!

I hi ha una cosa que no hauríem de passar per alt: no es pot extrapolar una investigació feta amb 56 persones adultes, en un laboratori tancat on se’ls ha lliurat una tasca a fer en 20 minuts, sense feedback , sense interacció, sense cap mena de context social ni educatiu… al funcionament real d’una aula. L’aprenentatge en una escola, o a qualsevol altre lloc, no passa en condicions de laboratori. Està travessat per relacions, emocions, suports, sentit i objectius pedagògics clars. Prendre una tasca tan descontextualitzada com aquesta i convertir-la en una prova del que passa quan les nenes i els nens aprenen amb IA és una simplificació que no reflecteix ni la realitat educativa ni com altres ciències de l’aprenentatge entenen què significa aprendre.

Tot això no vol dir que no haguem d’investigar els efectes de la intel·ligència artificial en els processos d’aprenentatge. Al contrari: necessitem més investigació, més matisada, amb mostres diverses, amb dissenys que s’acostin a la complexitat del que passa a les aules i que s’emmarqui en les diferents maneres d’entendre l’aprenentatge. Però el que no necessitem és més sensacionalisme educatiu. No necessitem titulars alarmistes que converteixen qualsevol troballa parcial en una veritat absoluta. No necessitem estudis descontextualitzats usats per alimentar debats simplistes. I per descomptat, no necessitem que la por es converteixi en el principal motor de les nostres decisions pedagògiques.

Perquè si alguna cosa hem après de dècades de reformes educatives, és que les solucions màgiques i els enemics únics —es diguin pantalles, continguts, competències o IA— no existeixen. El que sí que existeix és la responsabilitat de pensar l’educació amb calma, amb preguntes incòmodes i amb una mirada crítica que no es deixi arrossegar per l’últim trending topic.