Închide
Elefantul din cameră: eroarea de măsurare în evaluarea elevilor
de Gabi Bartic, CEO Brio
Au apărut cifrele despre rezultatele elevilor la simularea Evaluării Naționale. Discuția publică despre rezultate se învârte, ca de obicei, în jurul dificultății subiectelor și al nivelului elevilor (sunt mai buni, mai slabi, câți sunt sub 5 șamd). Aceasta e însă, în opinia mea, o discuție secundară.
Întrebarea fundamentală este alta: cât de precis măsurăm, prin testele curente, ceea ce pretindem că măsurăm?
În evaluare educațională, această întrebare nu este câtuși de puțin filosofică. Este pur tehnică. Și are răspunsuri măsurabile: fiabilitate, validitate, eroare de măsurare, putere de discriminare a itemilor.
Dacă privim rezultatele prin această lentilă, apare o problemă sistemică pe care evităm să o discutăm explicit.
Diferența dintre discipline este radicală. La matematică, variația între evaluatori este minimă. La limba română, aproape 10% dintre lucrări intră în recorectare. Acest indicator nu reflectă nemulțumirea elevilor. Reflectă instabilitatea scorării. În termeni tehnici, vorbim despre inter-rater reliability scăzută, ceea ce conduce inevitabil la o creștere a erorii de măsurare.
Această eroare nu este o abstracție statistică și nici vreo sumă de vorbe să mă dau eu deșteaptă. Ea are consecințe directe: afectează ordonarea elevilor într-un sistem în care diferențe de câteva zecimi (5, 10 adica, nu 30) produc decizii cu miză mare și efecte enorme la nivel de atingere de targete, de împlinire de speranțe, de aspirații și, cum să spun să nu pară prea pompos. De curs al vieții?
Într-un astfel de context, diferența dintre 9.40 și 9.50 (nici nu încape vorba între9.20 și 9.80, acolo e catastrofal deja la nivel personal) trebuie să fie susținută de un instrument de evaluare capabil să discrimineze fin și stabil între niveluri extrem de apropiate de competență.
Dacă instrumentul (testul adică) nu are această proprietate, diferențele observate devin, în parte, produsul erorii sau al hazardului și nu al diferenței reale de performanță.
Al doilea semnal important vine din forma distribuției scorurilor la limba română, care sugerează o compresie în zona superioară (dacă ne uităm la curbele descrise de „barele” cu note, la Mate avem un Gauss relativ centrat, la Română el e mult împins spre zona 9-10). Acest lucru vorbeste despre capacitatea redusă a testului de a diferenția între elevii buni și foarte buni (adică taman acolo în zona 8-10 el nu are suficiente elemente care pot face diferența) și amplifică impactul erorii de scorare exact acolo unde miza selecției este cea mai mare.
În aceste condiții, orice variație între evaluatori devine critică.
Nu natura itemilor este problema aici. Itemii cu răspuns construit (eseul, de exemplu) pot avea o putere de discriminare ridicată și pot contribui esențial la validitatea constructului evaluat. Dar acest lucru este condiționat de:
– rubrici de scorare clar definite,
– ancorare pe exemple calibrate,
– monitorizarea consistenței între evaluatori,
– și, ideal, calibrare psihometrică pe eșantioane reprezentative.
În absența acestor mecanisme, itemii subiectivi devin principala sursă de „zgomot” în sistem.
Ceea ce este, de fapt, surprinzător, nu este că avem aceste probleme, ci că avem deja datele necesare pentru a le corecta. Sistemul colectează informații detaliate despre performanța la nivel de item, despre distribuția scorurilor și despre variația între evaluatori.
Cu alte cuvinte, avem (noi nu, dar sistemul da) an de an acces la:
– indici de dificultate,
– indici de discriminare,
– și ceva indicatori indirecți ai erorii de scorare.
Și totuși, aceste date nu produc o calibrare anuală a evaluării. Și aici este ruptura majoră: nu putem îmbunătăți ceea ce nu măsurăm corect.
Evaluarea nu este doar un instrument de raportare (celebrele titluri, 39% dintre copiii de a VIII-a au luat sub 5 la Mate). Este un mecanism de selecție și, implicit, un mecanism de distribuire a oportunităților.
Când acest mecanism funcționează cu o eroare de măsurare ridicată, nu doar că introducem inechitate la nivel individual, dar distorsionăm întregul sistem: influențăm comportamentele de predare („teaching to the test”), amplificăm presiunea pe performanțe marginale și erodăm încrederea în evaluare (în acest examen, dar by far în cam orice tip de evaluare) ca instrument legitim de progres educațional.
Direcția de corecție există. Standardele de evaluare aflate în dezvoltare/pilotare pot introduce, pentru prima dată, un cadru coerent de definire a competențelor și de ancorare a itemilor. Ele pot susține construcția unor instrumente cu validitate mai mare și cu discriminare mai bună.
La fel, o platformă serioasă de evaluare digitală, bazată pe itemi calibrați și pe analiză psihometrică (zic iar serioasă, că am văzut și neserioase) continuă, poate reduce semnificativ eroarea de măsurare și poate crește comparabilitatea rezultatelor în timp și între cohorte.
Dar aceste instrumente nu vor produce efecte dacă nu adresăm explicit problema de fond: calitatea măsurării azi, acum, nu e ce ne-am dori pentru copiii noștri.
Până atunci, orice discuție despre rezultate, programe sau reforme rămâne incompletă. Pentru că, în absența unei evaluări robuste, nu știm cu adevărat ce funcționează și ce nu.
Cu muzicuță, pe wishful thinking. Și cu cele 2 poze despre care am vorbit mai sus.