Închide
Dragoș Iliescu, profesor la Facultatea de Psihologie și Științele Educației din cadrul Universității din București și fondator al companiei Brio, explică, într-un interviu acordat Educație Privată, cum poate testarea inițială să genereze schimbare în evaluarea elevilor.
În urma unei analize realizate de Brio.ro, la solicitarea ISJ Iași, care la începutul anului școlar a derulat o evaluare inițială a competențelor tuturor elevilor de gimnaziu și liceu, a reieșit că notele obținute de elevi la simularea Evaluării Naționale au fost foarte apropiate de notele obținute de aceștia la testele Brio.
În interviul acordat Educație Privată, prof. univ. Dragoș Iliescu explică relevanța acestei situații pentru sistemul de educație din România.
În afară de riscul ca un elev să pice un examen precum Evaluarea Națională, ce anume mai putem prezice cu ajutorul testării inițiale?
Testarea inițială e o metodă foarte puternică. Ea este, evident, predictivă, așa cum am arătat și în acest studiu: prezice note care vor fi obținute ulterior în cadrul unor examene, de exemplu evaluări la clasă, Evaluare Națională, Bacalaureat etc. Ce anume examinare mai poate prezice? Cam orice tip de examinare pentru respectiva materie – cu mențiunea că, în funcție de abordarea pe care o are respectiva evaluare (ce anume se măsoară, mai degrabă de cum se scriu itemii) predicția e posibil să fie mai bună sau mai puțin bună.
De asemenea, trebuie spus, corelația este o funcție a ambelor teste. Ambele trebuie să fie de calitate, atât predictorul (testarea inițială) cât și criteriul (evaluarea națională). Un test de mai slabă calitate în oricare din aceste două momente va atenua coeficientul de corelație. De regulă, în alte state, testarea inițială este chiar și mai predictivă decât a rezultat din studiul nostru. OK, nu e deloc un indice scăzut ce am obținut noi, dar sunt convins că relația ar fi fost chiar mai puternică dacă simularea de evaluare națională ar fi fost mai puternică din punct de vedere psihometric.
În același timp, trebuie spus că testarea inițială nu e fatalistă – nu concluzionăm din scorurile obținute de un elev la această testare că … ce îi e scris în frunte îi e pus. Testarea inițială este realizată nu atât de mult pentru a prezice, cât este realizată pentru a interveni. Ea identifică puncte slabe și puncte puternice, pentru a interveni asupra punctelor slabe și a produce avans, învățare. E o celebrare pentru mine atunci când testarea inițială nu este atât de predictivă, pentru că înseamnă că educația a avut rezultat, în mod special pentru elevii care aveau inițial note foarte mici.
De ce există o mai mare acuratețe în efectul predictiv al testării BRIO din Iași la proba de matematică decât la cea de limba română?
Aș zice în primul rând că efectul este foarte, foarte puternic și convingător și pentru limba română – doar că este și mai puternic pentru matematică. Apoi, pentru efectul pe care îl vedem la limba română sunt mai multe motive posibile.
În primul rând, ține de felul în care poți construi un test de limbă română și de ce anume poți evalua prin itemi de un tip sau de altul la limba română. Testul de evaluare națională conține și itemi în care elevii au fost rugați să construiască răspunsul lor, nu doar să bifeze răspunsul lor; testul Brio nu conține astfel de itemi. Poate conține și va putea pe viitor să utilizeze inteligența artificială pentru a evalua corectitudinea unor astfel de răspunsuri, dar în forma aplicată aici nu a conținut. Așadar testele nu se acoperă complet din punctul de vedere al abordării în itemi.
În al doilea rând, simularea de evaluare națională abordează în măsurare conținuturi mai largi decât testul administrat în testarea inițială. Evaluarea națională testează teoretic toată materia gimnaziului – OK, nu chiar toată, căci programa de evaluare națională exclude unele componente, dar totuși mult mai larg decât a făcut-o testul dat în cadrul testării inițiale, care a fost strict concentrat pe clasa anterior absolvită de elevul respectiv (adică, pentru elevii de clasa a opta, care au fost incluși în acest studiu, căci doar ei au dat evaluarea națională apoi, s-a testat în cadrul testării inițiale materia de clasa a șaptea, pe care abia o terminaseră). Deci cele două teste nu acoperă aceeași materie. Sigur, și pentru matematică acesta este cazul – dar matematica de clasa a opta se bazează mult mai puternic pe cea de a șaptea, a șasea și a cincea, care sunt așadar implicit incluse în itemi. Programa de limba română este mult mai puțin dependentă într-o clasă de ce s-a făcut în clasa anterioară.
În al treilea rând, e și un efect al relativei ușurințe pe care testele de limba română o au de regulă în aceste evaluări de sistem. În foarte mulți ani testul dat la Evaluarea Națională și cel dat la Bacalaureat pentru limba română a fost semnificativ mai ușor decât cel de matematică. Testul de matematică este de regulă centrat pe medie, cel de limba română este centrat aproape de nota 8 – mult mai mulți copii iau note mari la limba română decât la matematică. Asta este o problemă a testului, aș spune eu – iar acest efect este vizibil în curbele raportate de noi: distribuția de dificultate la matematică se suprapune perfect între testarea inițială și evaluarea națională, dar în cazul limbii române este decalată destul de bine spre dreapta pentru evaluarea națională. Evident, rezultatul unui astfel de efect este scăderea corelației – chiar dacă nu radical, ea este totuși atenuată.
Școlile au, teoretic, și evaluările naționale din clasa a VI-a ca instrument de predicție și de semnalare a nevoilor remediale. Ce le lipsește pentru a fi cu adevărat eficiente?
Evaluările naționale de clasa a 2-a, a 4-a și a 6-a pot fi considerate instrumente de predicție și de monitorizare a politicilor. Pot fi eventual considerate (așa cum inițial au și fost gândite) instrumente de feedback și planificare pentru părinți. Dar ele sunt prea rar realizate și prea slabe din punct de vedere psihometric pentru a putea fi instrumente utile în educația remedială.
Prea rar realizate, de ce? Pentru că sunt administrate fiecărui elev o dată la doi ani. E pur și simplu prea rar – pentru ca o evaluare să fie utilă în educația remedială, ea trebuie să poată nu doar identifica elevii care au nevoie de educație remedială, ci și să ajute la personalizarea intervenției. Elevi diferiți au nevoi diferite, deci e nevoie să identificăm nu doar elevii ci și problemele specifice ale fiecăruia dintre ei. Apoi, e nevoie ca evaluarea respectivă să poată fi utilizată ca instrument de monitorizare, administrată săptămânal sau măcar lunar, pentru a vedea cum merge intervenția. În fine trebuie să poată estima momentul de stopare a intervenției (când și dacă ajungem la obiectivul de recuperare) și eventual să realizeze follow-up la o perioadă de timp. Evident, evaluările naționale nu pot face asta, așa administrate unui elev o dată la doi ani.
Prea slabe din punct de vedere al calității măsurării, de ce? Pentru ca ele nu acoperă integral conținuturile și competențele programei, cu suficient de mulți itemi. Evaluarea națională poate fi cel mult un screener, care identifică elevii cei mai cu probleme – dar e foarte ușor ca un elev să aibă competențe rezonabile în cea mai mare parte a conținuturilor programei, dar performanțe abisale în una sau două competențe. Dacă aceste competențe nu sunt măsurate direct de evaluarea națională din acel an, acest elev se strecoară prin ochiurile plasei și sistemul nu îl marchează ca având nevoie de intervenție remedială. Apoi, aceste conținuturi sunt măsurate suficient de coerent? Ar trebui sa fie măsurate fiecare cu cel puțin 5-6 itemi – unii mai simpli, unii de dificultate medie și unii dificili. Asta nu se întâmplă. Deci pur și simplu, calitatea măsurării nu este suficientă pentru scopul acesta.
Nu mă înțelegeți greșit: nu spun aici că aceste teste de la evaluările naționale nu au calitate: ele sunt gândite pentru un anumit lucru și fac destul de bine acel lucru pentru care au fost gândite. Dar ca instrumente utile pentru educația remedială … nu, nu au cum fi așa ceva.
Ce ar trebui să urmeze ca intervenție educațională, după apariția unor rezultate precum cele de la testarea inițială din Iași sau de la simulările naționale de examene?
Intervențiile care se implementează în urma testărilor inițiale pot fi arondate mai multor registre.
De exemplu, intervențiile pot să fie individuale: anumiți elevi sunt identificați ca având nevoie de educație remedială (elevi cu scoruri extrem de joase, ori generalizat, ori pe anumite dimensiuni specifice), sau de un efort mai mare (elevi cu scoruri medii, dar care pot face mai mult) sau cu un potențial ridicat (elevi cu scoruri mari, ori generalizat ori în anumite dimensiuni). În acest fel, elevi diferiți primesc apoi, în funcție și de resursele școlii, profesorului, sau părinților, intervenții personalizate – de exemplu educație remedială, antrenament intensiv etc. Ce e frumos este că evaluarea inițială generează profiluri pentru fiecare elev și atunci fiecare primește exact ceea ce îi este necesar, nu îi mai tratăm pe toți uniform.
Intervențiile pot fi și la un nivel mai înalt: la nivel de clasă sau de școală. Inspectoratul poate identifica școlile unde profilurile de risc sunt mai îngrijorătoare și poate gândi din timp, împreună cu directorul școlii respective, forme prin care să intervină. Această abordare este absolut normală în managementul performanței – scopul nu este acela de a constata la momentul evaluării cu miză că avem o problemă: la acel moment deja problema e serioasă și are consecințe pentru elevi, consecințe care de multe ori nu mai pot fi șterse (în mod special pentru Evaluarea Națională de clasa a 8-a și pentru Bacalaureat). Scopul managementului este să identifice din timp potențialele probleme (iar testarea preliminară nu are consecințe tragice nici pentru elevi, nici pentru profesori, nici pentru directori) și să ia măsurile pentru ca problema să se rezolve înainte de ziua Z, în așa fel încât la final să fie fericiți toți acești actori din sistem. Acest tip de abordare poate fi realizat și în școală, unde testarea inițială devine un instrument de lucru pentru director, în relația cu profesorii.
Cum ar trebui să arate testarea inițială a elevilor, în varianta ideală, pentru a produce rezultate semnificative la nivel de sistem? Ce frecvență și ce amploare ar trebui să aibă?
Testarea inițială se face, așa cum îi spune numele, inițial – la începutul fiecărui an școlar. Așadar, o dată pe an. Exista sisteme educaționale în care ea este obligatorie pentru toți elevii, de exemplu sistemul britanic. Testări intermediare, de monitorizare se mai fac și pe parcurs. Dar testarea inițială este critică – și nu e vorba doar de simplul test aici. Testarea ideală nu ia în considerare doar testul ci și consecințele testului: procesul care este pus pe rol după ce testarea a fost făcută, de exemplu feedbackul către elev, discuțiile cu părinții, planurile de intervenție ale profesorilor etc.
Vedeți ceva eronat în paradigma examenelor naționale din România? Ce ați schimba la Evaluarea Națională și la Bacalaureat?
Ce să zic … da, văd multe lucruri pe care le-aș îmbunătăți la Evaluările Naționale și Bacalaureat, de la construcția testelor la utilitatea lor – adică la activitățile care le urmează, anume cum pot fi ele făcute utile (validitate de consecință se numesc aceste aspecte). Cel mai trist este pentru mine, ca specialist în măsurare, că aceste evaluări ignoră avansurile produse în ultimii 50 de ani în măsurarea educațională, producând, într-un sistem educațional pe care îl dorim bazat pe știință, adică, să fiu mai explicit, pe actualul stadiu al cunoașterii științifice, evaluări care sunt bazate pe precepte învechite, unele dintre ele putând fi poate fără eroare numite contra-științifice. Dar da, avem ce avem – și trebuie să spun și asta: prefer ca aceste evaluări să fie așa cum sunt, decât să nu le avem deloc.
