Un clar exemple el tenim en les proves de selectivitat que han tingut lloc fa unes poques setmanes: els seus responsables ja han estat reconeixent que per a un futur immediat caldrà redissenyar-les perquè avaluïn competències i no sols coneixements memorístics [1]. Sens dubte, és una tasca gens fàcil per diversos motius. D’entrada, perquè les competències són una cosa bastant més complexa que els coneixements: les competències inclouen sempre coneixements, però no sols coneixements. En segon lloc, el format típic de les proves de selectivitat ha estat fins ara l’examen; i els exàmens convencionals (de paper i llapis, pregunta-resposta) resulten molt més aptes per avaluar coneixements que competències. Els procediments per avaluar competències haurien de ser més complexos que els exàmens convencionals [2]; i aplicar aquests procediments a centenars de milers d’estudiants simultàniament i durant molt pocs dies no serà fàcil, tret que s’incrementin de manera substancial els mitjans i recursos habilitats a aquest efecte. Encara que també podria ser que al final la reforma de les proves de selectivitat acabés consistint només en un mer maquillatge per simular que això de les competències anirà de debò. I una dificultat afegida a les proves competencials és que hauran de suportar l’oposició acèrrima dels detractors de les competències en si mateixes: una tropa molt bel·ligerant.
Les utilitats de l’avaluació
Com és ben sabut, la finalitat principal de l’avaluació, com a moment final d’un procés d’ensenyament/aprenentatge, és comprovar si els estudiants han aconseguit els objectius estipulats. Segons la literatura pedagògica a l’ús, hauria de servir també per avaluar el procés sencer i així poder-ne optimitzar el següent. Però la veritat és que aquesta comesa més global rarament es compleix, almenys en els processos avaluatius normals i corrents, perquè la causa (culpa) que un alumne no hagi superat una avaluació determinada s’atribueix gairebé sempre al mateix alumne: no s’ha esforçat bastant, no està capacitat… Gairebé mai es planteja la possibilitat que la causa resideixi en altres elements del procés (continguts proposats, mètodes utilitzats, competència docent o als mateixos instruments avaluatius emprats…).
No obstant això, també hi ha avaluacions que, en realitat, més que el moment final d’un procés d’ensenyament/aprenentatge, constitueixen el moment inicial del següent. Serveixen per comprovar si el subjecte està realment preparat per accedir al nou procés d’aprenentatge (ingressar a la universitat…) o a una activitat determinada (conduir un cotxe…). Les esmentades proves de selectivitat (PAU, per ser exactes i políticament correctes) pretenen això, a més de seleccionar als millors o més capacitats per cada tipus d’estudis, en el cas que la demanda superi l’oferta de places. En realitat, si el sistema educatiu formal fos coherent i eficaç, aquest tipus de proves hauria de ser innecessari: per acreditar la competència per estudis subsegüents seria suficient haver superat els preceptius anteriors; i per a la funció selectiva, en cas de ser necessària, n’hi hauria prou amb les qualificacions obtingudes al final del nivell previ. De fet, l’establiment de proves com les PAU, revàlides i altres formes avaluatives estandarditzades i externes als mateixos centres educatius, posa de manifest les disfuncionalitats del mateix sistema; i, sobretot, que aquest no es refia de si mateix, per la qual cosa sent la necessitat d’establir filtres addicionals.
A més de comprovar que el subjecte ha aconseguit els objectius previstos i que es troba capacitat per iniciar el següent procés o activitat, les avaluacions tenen, per descomptat, altres utilitats. Per exemple, estimular als estudiants perquè es posin d’una vegada a estudiar. És allò d’empollar per a l’examen a última hora, amb la qual cosa el fet de dormir poc la nit anterior i l’estrès sobrevingut no constitueixen les millors condicions personals per afrontar la prova.
Els fanàtics dels exàmens també els assignen una altra importantíssima funció; una funció a mitjà i llarg termini: preparar per a la vida. Perquè a la vida, diran, a la vida de veritat i no en el simulacre de vida que és l’escola, els nostres nens i joves s’estaran examinant cada dos per tres. La vida és un examen permanent per al qual cal mentalitzar-se aviat; és com una carrera d’obstacles en la qual no tots podran arribar a la meta i molt menys ser-ne els guanyadors. Els exàmens escolars, diuen, ajuden a preparar-se per a aquesta classe de vida. I parlant de la vida, tampoc cal ocultar que les avaluacions acostumen a servir també per amargar la vida del professorat: corregir exàmens i treballs és de les tasques més ingrates i avorrides, per repetitives, que han d’assumir.
Encara que també és veritat que hi ha professors que ocasionalment els treuen molt partit pedagògic a les avaluacions; és quan no sols els serveixen per conèixer si l’estudiant ha après bé les lliçons impartides, sinó també per a impartir-los altres noves. La idea l’he pres d’una anècdota explicada per Gregorio Luri a Twitter:
– ¿Es que mi trabajo no se merece, como mínimo un notable?
– Quizás… -le contesté.
– ¿Cómo que quizas?
– Para unos sí, para otros no. Como todo es relativo…
La alumna calló y tras unos segundos de reflexión, me dijo.
– ¡Vale, modificaré las conclusiones!— Gregorio Luri (@GregorioLuri) November 15, 2021
¿Cómo, si no, íbamos a meternos con Hegel?
— Gregorio Luri (@GregorioLuri) November 15, 2021
Quins temps aquells! Quan al batxillerat s’esmicolava Kant i les qualificacions podien servir per continuar alliçonant a alumnes aplicades, encara que una mica díscoles i descregudes (com a bones relativistes que són); i així reincorporar-les al recte camí del qual qualsevol relativisme mal entès les pogués haver apartat.
El miracle portuguès de Crato
No fa gaire, El Diari de l’Educació va entrevistar un gran fan de l’avaluació: Nuno Crato, ministre d’Educació a Portugal entre els anys 2011 i 2015 [4]. Van ser els anys en què, segons l’entrevistat, es va gestar el miracle educatiu gràcies al qual Portugal va obtenir grans resultats en avaluacions internacionals com PISA o TIMMS; després, amb ell ja fora del ministeri, van deixar d’aplicar-se les seves senzilles i magnífiques fórmules i tot es va ensorrar [5]. El del ministeri de Crato va ser un èxit rapidíssim que contradiu l’estesa creença que els resultats dels canvis en l’educació només s’aprecien a mitjà o llarg termini. (Més endavant assajarem una possible, encara que malèvola, explicació d’aquest èxit fulminant i rotund).
Va ser, sens dubte, una interessantíssima entrevista en la qual l’exministre va demostrar tenir les idees molt clares i estar molt segur d’elles. Per Crato, les bàsiques i infal·libles mesures a aplicar són només dues: un currículum exigent (es refereix a exigent en un cert tipus de coneixement) i una avaluació rigorosa (es refereix, sobretot, a avaluacions estandarditzades). Tota la resta (inversió en educació, ràtios, metodologies…) pot ajudar, però no és imprescindible, perquè fins i tot reduint les inversions es poden millorar els resultats (ell va fer totes dues coses). Va quedar clar en l’entrevista que les metodologies didàctiques li interessen ben poc; en opinió de Crato, per ensenyar bé, el fonamental és que els docents sàpiguen molt del que han d’ensenyar; el com ensenyar ja arribarà de més a més.
Aquest és bàsicament el discurs de l’exministre; això sí, amanit amb apel·lacions constants a “evidències” internacionals i pulles reiterades a les “competències”. L’entrevistador (Víctor Saura) li va preguntar: “És compatible posar tota aquesta obstinació en l’exigència i l’esforç amb un aprenentatge i una avaluació per competències? No. En primer lloc, perquè ningú sap el que vol dir competències.” I després, davant la insistència de l’entrevistador, Crato va posar un exemple veritablement clarificador de la seva aversió a les competències: “Però torno al que deia: ningú sap el que són exactament les competències. La idea que has de mesurar l’aplicació i no el coneixement és una mica estranya. Et poso un exemple amb l’anglès: seria ridícul dir que no tinc coneixement d’anglès, però ho aplico molt bé. Totes dues coses estan molt unides i entremesclades, el coneixement només el pots aplicar quan el tens.” No sé si és veritat o no que ningú sap el que són “exactament” les competències [6], però les paraules de l’entrevistat sí que posen en evidència que ell no té molta idea del que ara, en el discurs educatiu, es denomina “competències”. Cap defensor de l’aprenentatge per competències posa en qüestió que elles inclouen sempre “coneixements”; i, d’altra banda, l’exemple que se li va ocórrer a l’exministre per a injuriar les competències no fa més que reforçar que el veritablement important són les competències i no els purs “coneixements”: el que fonamentalment ha d’aprendre’s (i avaluar-se) és justament la competència per entendre, parlar i escriure en anglès; la competència, doncs, com a usuari –i no simple “coneixedor”– de la llengua anglesa. Els purs coneixements d’anglès són, per descomptat, necessaris (el vocabulari) o convenients (la gramàtica), però mai són suficients per ser-ne competent, que és del que en definitiva es tracta: un pot haver-se après de memòria un diccionari d’anglès i, alhora, ser incompetent per entendre una conversa normal i corrent i, fins i tot més, per parlar o escriure intel·ligiblement aquesta llengua.
El fet de posar exemples no sembla ser el punt fort de l’exministre lusità: “Si tu dius que només avalues competències i no coneixements estàs menyspreant els coneixements. Perquè n’hi ha que no són aplicables immediatament i que has de tenir. Tu has de saber qui va ser Juli Cèsar. Això és aplicable?”. Doncs clar que és aplicable! Però abans anem a la primera part del paràgraf. Ja hem dit que els partidaris de les competències en cap cas menyspreen els coneixements –i si hi ha algú que ho fa és que estem davant un partidari molt incompetent de les competències–. Els bons partidaris de les competències saben que elles comporten sempre coneixements. I que, a més, quan s’avaluen bé les competències, simultàniament i indefectiblement s’avaluen, igual de bé, els coneixements associats a elles; però al revés no passa, ni de bon tros, el mateix: es pot superar amb bona nota un examen de coneixements i ser del tot incapaç d’aplicar-los.
Anem ara a l’aplicabilitat de saber qui va ser Juli Cèsar. Una primera aplicabilitat d’aquest coneixement és, per descomptat, superar l’examen escolar corresponent. Però si aquesta fos la seva única utilitat, valdria la pena plantejar-se seriosament suprimir Juli Cèsar del currículum escolar. Són moltíssimes les altres aplicabilitats de coneixements associats a la figura històrica de Juli Cèsar (i en general de l’antiga civilització romana). Els professors d’història les coneixen (i les saben utilitzar) moltíssim millor que jo, però m’atreviré a suggerir unes poques: visitar Roma (o Tarragona, Mèrida…) comprenent el seu passat i l’origen de tantes coses que encara formen part de la nostra vida i cultura; passar-ho bé veient la pel·lícula Espartaco o qualsevol altre bon peplum; treballs sobre el calendari Julià, origen del nostre; exercicis sobre els números romans, que a més permeten connectar la Història amb les Matemàtiques; col·laboracions arqueològiques mitjançant la metodologia de l’Aprenentatge Servei; projectes i treballs escolars sobre l’urbanisme romà; petits exercicis comparatius entre elements del dret Romà i el dret actual; els actuals superherois de Marvel i la mitologia romana (això encantaria als nostres nens i adolescents, encara que per al cas seria millor referir-se a la mitologia grega); etc., etc., etc.; sense obviar, per descomptat, que algunes d’aquestes activitats i moltes altres possibles d’aquest estil també permeten integrar per aquí l’assignatura de Llengua, descobrint les etimologies llatines de moltes paraules d’ús comú en les llengües romàniques. Qualsevol d’aquestes “aplicabilitats” (des de les més senzilles com aprofitar el coneixement de la figura històrica de Juli Cèsar per gaudir i comprendre millor l’esplèndida pel·lícula de Kubrick [7], fins a les més complexes com un projecte arqueològic d’ApS) cabria perfectament en aquesta competència específica de Geografia i Història de primer i segon curs de l’ESO que diu així: “Buscar, seleccionar, tractar i organitzar informació sobre temes rellevants del present i del passat, usant críticament fonts històriques i geogràfiques, per adquirir coneixements, elaborar i expressar continguts en diversos formats”. [8] Òbviament, tot això no pot fer-se per cada tema curricular, però si res d’això es fa mai, Juli Cèsar i qualsevol altre contingut escolar passaran a formar part del bagul d’andròmines inútils que una vegada ens van fer aprendre només per passar un examen.
M’he entretingut amb els exemples que posa el Sr. Crato, quan al que anava és a intentar comprendre l’èxit fulgurant del seu breu pas pel ministeri portuguès. Ara anem a això.
La perversió avaluativa
En publicacions anteriors he utilitzat i explicat l’expressió que dona nom a aquest apartat. Ara em plagiaré a mi mateix per resumir què entenc per “perversió avaluativa” [9].
La seqüència lògica en el disseny i implementació de qualsevol procés educatiu (sigui aquest un nivell d’ensenyament, un curs, una assignatura, un tema, etc.) és, simplificant una mica, la següent: es decideixen i formulen els objectius (finalitats, metes…); es determinen els continguts; es preparen i apliquen les estratègies (mètodes, tècniques, activitats, materials, aspectes organitzatius i de temps i espai …); i finalment es prepara i realitza l’avaluació pertinent. L’avaluació és, doncs, com ja reconeixíem abans, un element necessari i important en qualsevol procés d’ensenyament/aprenentatge: sense ell no podrien acreditar-se els aprenentatges realitzats per l’alumnat ni, per tant, l’eficàcia del procés.
Però reconèixer la necessitat del moment avaluatiu no hauria de derivar en la seva sobrevaloració. El que anomenem perversió avaluativa ocorre quan a l’avaluació se li adjudica una rellevància molt superior a la seva pròpia; quan adquireix, de facto, funcions que no li corresponen. És a dir, quan l’avaluació ja no és un moment més del procés –generalment, l’últim–, sinó quan tot el procés, en bona part, s’acaba dissenyant i desenvolupant en funció de l’avaluació. Quan l’avaluació no serveix només per comprovar i acreditar la consecució dels objectius proposats i l’adquisició dels continguts previstos, sinó quan els objectius, els continguts i les estratègies es configuren en funció d’algun mecanisme avaluador prèviament establert. Amb algun exemple pot veure’s que això, que sembla només un simple joc de paraules, constitueix en bastants casos una trista realitat.
El que anomenem perversió avaluativa ocorre quan a l’avaluació se li adjudica una rellevància molt superior a la que té; quan tot el procés d’aprenentatge s’acaba dissenyant en funció de l’avaluació
Comencem per l’exemple més concret i, alhora, més estès: quan en un procés d’ensenyament/aprenentatge el que més i millor desenvolupen els alumnes és la seva habilitat per passar exàmens, és quan aquests mateixos alumnes i, sobretot, el sistema que els ha induït a això, han caigut ja en el parany d’aquesta perversió avaluativa. Noam Chomsky ho expressava així: “Una imatge de l’educació era la d’un got que s’omple, diguem, d’aigua. És el que ara anomenem ensenyar per a l’examen: aboques aigua en el got i després el got retorna l’aigua. Però és un got bastant foradat, com tots hem tingut ocasió d’experimentar a l’escola: memoritzes una cosa en la qual no tens molt interès per poder passar un examen, i al cap d’una setmana has oblidat de què anava el curs”. [10] Com bé diu gran lingüista nord-americà, es tracta d’una experiència que segurament tots alguna vegada hem tingut: quan la motivació única o principal d’un aprenentatge és superar la prova acadèmica corresponent, l’aprenentatge resulta efectiu mentre es manté la seva necessitat; una vegada aprovat l’examen, desapareixen la motivació i la necessitat d’aquell aprenentatge i, al mateix temps i per això, desapareix també el propi aprenentatge o almenys una bona part. Una paradoxa derivada d’aquest fet és la que fa temps intentàvem posar en evidència mitjançant aquest aforisme: “Amb les notes escolars passa una curiositat: aquell qui suspèn ha de conservar, almenys, el poc que sabia per poder afrontar un nou intent; aquell qui aprova, en canvi, queda habilitat per poder oblidar el que havia après”. [11]
Un altre exemple de perversió avaluativa –en aquest cas, referida al conjunt del sistema educatiu i que potser té a veure amb l’èxit fulgurant de l’exministre portuguès– és el de les avaluacions internacionals i estandarditzades tipus PISA. La molt notòria audiència que, tant l’opinió pública com alguns polítics i experts, estan concedint als resultats d’aquestes avaluacions, podria portar al fet que –al marge del que establissin teòricament i formalment les lleis educatives– els continguts i els processos reals tendissin, de manera indirecta però determinant, a configurar-se a fi de quedar bé en el rànquing PISA. És a dir, invertir el sentit i la raó de ser de l’avaluació: ja no es tractaria de buscar la millor manera d’avaluar allò que cal aprendre; sinó que allò que cal aprendre ho determini la pròpia avaluació. Dit d’una altra manera, que les agències d’avaluació derivessin en instàncies tecnocràtiques que s’erigissin, de fet, en els principals gestors dels sistemes educatius. I consti que res tinc en contra de PISA: agència internacional d’avaluació seriosa i rigorosa on n’hi hagi, sense –que se sàpiga– cap voluntat de dirigir subreptíciament els sistemes educatius dels estats que avalua; i que a més és ben conscient dels seus propis límits. Entre altres, el fet que només mesura una molt petita part dels aprenentatges que se suposa han de proveir als seus destinataris els sistemes educatius. En realitat, la perversió avaluativa de la qual parlem no és culpa de PISA, sinó del seguidisme d’aquells responsables polítics i opinadors mediàtics que prenen els seus resultats com si fossin veritats absolutes; i la màxima preocupació dels quals no és la qualitat real del conjunt del sistema, sinó simplement no quedar malament en una suposada competició internacional. Per valorar correctament l’èxit –tan ràpid com esbiaixat– de l’exministre portuguès Nuno Crato caldria avaluar –amb tant rigor com fa PISA– tots aquells objectius i continguts del sistema educatiu que van ser relegats per poder quedar bé a PISA.
Postdata
Després de donar per acabat l’article, vaig trobar una entrevista (El País, 18/4/2019) [12] al ministre portuguès d’educació que el 2015 va substituir Crato i que s’ha mantingut en el càrrec fins fa tan sols uns mesos: Tiago Brandão Rodrigues. Crec que aquesta entrevista confirma la nostra hipòtesi sobre l’èxit (ara ja sí, en cursiva) de la política educativa de Nuno Crato. L’entrevista al seu successor és tan interessant com la que acabo de comentar; totes dues interessantíssimes, entre altres coses, perquè reflecteixen concepcions educatives no sols diferents sinó antagòniques en diversos aspectes. Rodrigues seria qui va introduir la “nova cultura” que, segons Crato (vegeu nota 5), va fer malbé els fulgurants èxits obtinguts per Portugal sota el seu mandat en les avaluacions internacionals. No allargaré l’article comentant les discrepàncies que s’aprecien entre els dos exministres lusitans. Només citaré una frase de Rodrigues: “Ara s’avaluen a les proves nacionals també les expressions artístiques i psicomotrius, que s’havien descurat a les escoles per centrar-se en Portuguès i Matemàtiques, les assignatures examinades externament. Molts nens no sabien fer la tombarella” [13]. Doncs això: com anàvem dient, si polaritzes el sistema educatiu cap al que avalua PISA triomfes a PISA, encara que llavors l’art surti malparat i el sistema educatiu produeixi nens maldestres que no saben ni fer tombarelles. Per tornar al llatí, allò de mens sana in corpore sano se’n va en orris directament; i el vell i noble principi de l’educació integral queda reduït a una mera formulació retòrica en l’obligat capítol de les lleis educatives dedicat a les finalitats. Per causa de la comentada perversió avaluativa, és llavors l’avaluació la que de fet imposa els objectius i els continguts reals del sistema. Tot currículum suposa una selecció, obliga a triar, però no hauria de ser l’avaluador l’encarregat de triar què és el que cal ensenyar.
Magisnet: ¿Cómo sería la selectividad competencial? Así lo hacen otros países
[2] Incloure, per exemple, entrevistes, sessions pràctiques…
[3] Cap relativisme seriòs admetria que es pugui posar un 0 a un “treball magnífic”, encara que les conclusions no siguin del gust de l’avaluador. Umberto Eco va escriure un petit però suculent assaig sobre “Lo absoluto y lo relativo”, advertint que aquests conceptes no s’havien d’usar mai com “bats de beisbol”. I es pregunta “Com s’ha arribat llavors a construir el fantasma del relativisme com a ideologia homogènia, càncer de la civilització contemporània?”: “… la noció d’absolut m’ha recordat un dels seus oposats, és a dir, la noció de relatiu, que s’ha posat bastant de moda des què eclesiàstics de màxims nivells i fins i tot pensadors laics han donat inici a una campanya contra l’així anomenat relativisme, amb la qual cosa «relativisme» s’ha convertit en un terme denigratori usat amb finalitats gairebé terroristes”. (Construir al enemigo. Barcelona, Lumen, 2012, pàg 26 y ss.)
[4] Va formar part com a independient del govern del partit de centredreta PSD
[5] Paraules de Crato a la revista Magisterio: “A PISA 2018 Portugal va baixar una mica i a TIMSS 2019, molt. El cas de TIMSS és molt clar: Els estudiants que van començar la Primària el 2011 i van acabar el primer cicle (4t grau) el 2015, en una època amb més atenció a les matemàtiques i al portuguès, el focus en el currículum, més avaluació, metes ben establertes, van aconseguir que els resultats pugessin i que Portugal se situés al capdavant, per sobre de Finlàndia. Els estudiants que van entrar el 2015 i van fer la prova el 2019 ja estaven en una nova cultura en què l’avaluació ja no és tan important, el currículum ja no és tan important, la memorització perjudica la salut… Aquí els resultats es van ressentir, van baixar a nivells pitjors als de 2012. Per això penso que Espanya ha de mirar el que es va fer perquè els resultats milloressin i no el que es fa ara”. https://www.magisnet.com/2021/10/nuno-crato-si-bajan-las-metas-la-futura-generacion-sufrira/
[6] Una definició canònica –que tampoc sembla tan difícil d’entendre’s– és: “Es defineixen les competències com una combinació de coneixements, capacitats i actituds, en les quals: els coneixements es composen de fets i xifres, conceptes, idees i teories que ja estan establerts i donen suport a la comprensió d’una àrea o tema concrets; les capacitats es defineixen com l’habilitat per realitzar processos i utilitzar els coneixements existents per obtenir resultats; les actituds descriuen la mentalitat i la disposició per actuar o reaccionar davant les idees, les persones o les situacions.” https://educagob.educacionyfp.gob.es/curriculo/curriculo-actual/competencias-clave.html
[7] La pel·lícula Espartaco, a més de ser molt bona, podria ser una mina didàctica: contrastar el que hi ha en el film de veritat historiogràfica amb el que té de ficció fílmica i novel·lesca; la presència explícita de la bisexualitat d’un dels seus principals personatges, fet curiós en un film per al gran públic de mitjan segle passat; comparar els debats en el senat romà entre el plebeu Graco i l’aristòcrata Craso amb els debats parlamentaris actuals; el tema de l’esclavisme, leitmotiv del film; i altres temàtiques que apareixen a la pel·lícula i que permetrien fàcilment relacionar continguts de l’assignatura d’Història amb l’Educació per a la ciutadania.
[8] https://educagob.educacionyfp.gob.es/curriculo/nuevo-curriculo/menu-curriculos-basicos/ed-secundaria-obligatoria/materias/geografia-historia/criterios-eval-primer-segundo-curso.html
[9] La vaig utilitzar en un article periodístic (https://www.elperiodico.com/es/sociedad/20131010/evaluar-evaluadores-2737989), però està desenvolupada a La moda reaccionaria en educación. Barcelona, Ed. Laertes, 2018, pp. 114 y ss. D’aquí provenen, con talls i retocs, els paràgrafs següents.
[10] Chomsky, N., “Sobre el trabajo académico, el asalto neoliberal a las universidades y cómo debería ser la educación superior”, Sin permiso, 02/03/2014. http://www.sinpermiso.info/textos/sobre-el-trabajo-acadmico-el-asalto-neoliberal-a-las-universidades-y-cmo-debera-ser-la-educacin
[11] Aprender, lo que se dice aprender, op. cit., p. 11.
[12] https://elpais.com/sociedad/2019/04/17/actualidad/1555517362_701463.html
[13] I en un altre lloc: “Em janeiro de 2016, em declarações públicas sobre esta matéria, que suscitaram controvérsia, Tiago Brandão Rodrigues afirmou que «o modelo anterior estava errado e era nocivo» e que era necessário acabar com o «estreitamento curricular» que conduzia as escolas a concentrarem-se no ensino do Português e de Matemática, desvalorizando as restantes áreas disciplinares.” https://pt.wikipedia.org/wiki/Tiago_Brand%C3%A3o_Rodrigues#cite_note-7
