VIDEO Dragoș Iliescu arată cum se ”descifrează” rapoartele din testarea standardizată. BRIO a început să trimită rezultatele către școli

BRIO a început să trimită, în această dimineață, către școli rapoartele rezultate în urma pilotării procedurii de testare standardizată. 

Rapoartele realizate de compania care a gestionat pilotarea în parteneriat cu Ministerul Educației sunt o noutate pentru sistemul de învățământ. Dragoș Iliescu, fondatorul BRIO, a realizat un scurt videoclip în care explică în ce fel trebuie ”descifrate” și interpretate aceste documente.

CUM TREBUIE CITITE DATELE DIN RAPORT DE CĂTRE CONDUCEREA FIECĂREI ȘCOLI CARE A PARTICIPAT LA TESTARE

Scorurile elevilor, adică datele pe care se bazează raport, sunt reprezentate în centile. Centilele sunt normate, scoruri care plasează un elev evaluat într-o ierarhie în relație cu ceilalți elevi de aceeași vârstă și aceeași clasă. Scorurile-centilă sunt cuprinse între 0 și 100 și arată clasamentul elevului respectiv într-o ierarhie de 100 de grupe egale ca volum. Cu alte cuvinte, există la fel de mulți elevi în România la centila 42 precum la centila 43, sau la centila 88. Un scor-centilă de 88 arată că 88% din elevii de aceeași vârstă și clasă precum elevul evaluat se plasează la un nivel similar sau mai mic – iar 12% din elevi se plasează la un nivel superior. Un elev care obține un scor-centilă de 50 se află fix la jumătatea ierarhiei pentru categoria lui de clasă.

Scorurile-centilă nu reflectă în nici un fel acoperirea corectă a materiei – ele reflectă doar o ierarhie. De exemplu, dacă toți elevii dintr-o anumită categorie de vârstă/clasă au un nivel de competență scăzut, atunci un elev cu un scor doar un pic mai ridicat (dar totuși scăzut față de un standard) poate avea o centilă mare. Din acest motiv, centilele trebuie văzute doar în scop comparativ – este o comparație binevenită cu alte școli, clase etc.

În același timp, analiza itemilor care descriu și separă anumite intervale (centile) au fundamentat trasarea a trei mari limite de scoruri (și categorii aferente).

• Scorurile plasate sub 40 descriu o zonă de risc masiv pentru elevii respectivi; aceștia nu stăpânesc decât (în cel mai bun caz) cele mai bazale noțiuni care țin de acea materie sau dimensiune/competență; sunt astfel, în funcție de clasa în care se află, într-una din formele de risc: în risc de abandon școlar, în risc de nepromovare, în risc de a nu putea promova examenele (evaluare națională sau bacalaureat, dacă sunt în ani apropiați acestor examene), sau în risc de a nu putea înțelege componente ale materiei (în respectiva clasă sau în clasele următoare) care se bazează pe componenta care are acest scor mic.
• Scorurile plasate aproximativ între 40 și 75 descriu o zonă de funcționalitate limitată, în care elevii respectivi reușesc să opereze cu noțiunile cuprinse în materie și reușesc să rezolve probleme fundamentale, fără însă a avea fluența și familiaritatea necesare pentru a putea fi siguri că performanța aceasta este constantă și prezice un parcurs viitor ascendent.
• Scorurile plasate aproximativ între 75 și 95 descriu o zonă de funcționalitate bună, în care elevii sunt familiari și fluenți cu materia și rezolvă cu relativă lejeritate probleme, chiar de complexitate mai ridicată, dar în special probleme cu care sunt familiarizați din clasă.
• Scorurile plasate peste 95 descriu o zonă de excelență, în care elevii sunt nu doar în elementul lor în respectiva materie, ci manifestă și elemente de creativitate individuală, abordând cu aplomb inclusiv probleme nefamiliare și complexe. Aceste scoruri descriu copii din zona de ”top 5%”, cu potențial mare de performanță superioară, cu mare probabilitate ca o parte dintre ei să fie plasați în zona de funcționare înaltă/genialitate.

CE INFORMAȚII POT FI GĂSITE ÎN FIECARE RAPORT

Pe lângă această secțiune introductivă, raportul conține 3 mari secțiuni:

1. Surse ale datelor / participarea la testare

• În această secțiune va fi prezentată participarea elevilor și școală la programul de testare, precum și eșantionul pe care se bazează acest raport în termeni de număr de copii, împărțiți pe materii și pe clase.

1. Privire de ansamblu asupra rezultatelor

• În această secțiune vor fi prezentate următoarele rezultate:

1. pentru fiecare materie și clasă, un scor mediu al școlii, precum și detalii privind scorurile minime și maxime, precum și limitele pentru cvartile – scorurile în care se încadreaza 25% și respectiv 75% dintre copii acestei școli,
2. pentru fiecare materie și clasă, distribuția elevilor în categorii decile la nivel național, inclusiv în cele 4 mari zone de funcționare.

1. Rezultate privind competențele măsurate

• În această secțiune vor fi prezentate rezultate într-o structură similară cu cele din Secțiunea 2, însă la nivel de dimensiuni (competențe). Pentru fiecare clasă, pentru fiecare materie, au fost evaluate dimensiuni prescrise de programa școlară; acestea vor fi vizualitate în această secțiune.

1. Indicii privind tipurile de itemi

• În această secțiune vor fi prezentați itemi-exemplu la care elevii din această școală s-au descurcat în mod deosebit de bine sau în mod deosebit de rău, inclusiv comparativ cu media țării.

Exemplu de date din raportul transmis către o școală:

SECȚIUNEA 1: Surse ale datelor / participarea la testare

Din partea acestei școli au fost programați să participe la testare un număr de 1078 elevi. Au participat în cele din urmă 1050 elevi, ceea ce constituie 97.4% din elevii programați.

Pentru Limba română au participat 525 din 539 elevi (97.4%). Pentru Matematică au participat 304 din 314 elevi (96.82%). Pentru Istorie au participat 221 din 225 elevi (98.22%).

Tabelul 1 prezintă distribuția așteptată a elevilor pe clase și materii. Tabelul 2 prezintă distribuția obținută în urma testării. Tabelul 3 prezintă procentele obținute pentru fiecare celulă (confluență clasă-materie).

SECȚIUNEA 2: Privire de ansamblu asupra rezultatelor

Această secțiune prezintă două feluri de informații:

1. Scoruri medii și distribuții în interiorul școlii: pentru fiecare clasă și materie (și pentru fiecare dimensiune a materiei), un scor mediu al școlii, precum și detalii privind scorurile minime și maxime și limitele pentru cvartile – scorurile în care se încadreaza 25% și respectiv 75% dintre copiii acestei școli,
2. Distribuții în decile naționale: pentru fiecare materie și clasă, distribuția elevilor în categorii decile la nivel național.
3. Distribuții în categorii de risc vs. performanță: pentru fiecare materie și clasă, distribuția elevilor în categorii de risc și performanță la nivel național, (cele 4 mari zone de funcționare).

Felul în care se interpretează aceste informații este sugerat în notele care însoțesc tabelele și graficele.

(a) Scoruri medii și distribuții în interiorul școlii

Nota: Scorul mediu reprezinta media obtinuta pentru aceasta materie in aceasta scoala; Min este scorul minim obtinut; Max este scorul maxim obtinut; Q1, Q2 si Q3 sunt scorurile la care, in acesta scoala, se plaseaza 25%, 50% si respectiv 75% din elevi (astfel, jumatate din elevii scolii sunt intre Q1 si Q3; sfertul mai slab este intre Min si Q1, iar sfertul mai bun intre Q3 si Max).

Nota: Acest grafic se numeste Boxplot. El reprezinta vizual locatia scorurilor pentru dimensiunile reprezentate. Limitele casutei sunt cvartilele 1 si 3 (adica locul unde se afla 25% si respectiv 75% din elevi). Liniile orizontale atasate merg in stanga pana la scorul minim si in dreapta pana la scorul maxim. Linia care imparte caseta in jumatate este mediana scorurilor.

Matematica (scoruri totale pentru clase)

Scorurile totale obtinute pentru Matematica, pentru fiecare clasa

Nota: Scorul mediu reprezinta media obtinuta pentru aceasta materie in aceasta scoala; Min este scorul minim obtinut; Max este scorul maxim obtinut; Q1, Q2 si Q3 sunt scorurile la care, in acesta scoala, se plaseaza 25%, 50% si respectiv 75% din elevi (astfel, jumatate din elevii scolii sunt intre Q1 si Q3; sfertul mai slab este intre Min si Q1, iar sfertul mai bun intre Q3 si Max).

Nota: Acest grafic se numeste Boxplot. El reprezinta vizual locatia scorurilor pentru dimensiunile reprezentate. Limitele casutei sunt cvartilele 1 si 3 (adica locul unde se afla 25% si respectiv 75% din elevi). Liniile orizontale atasate merg in stanga pana la scorul minim si in dreapta pana la scorul maxim. Linia care imparte caseta in jumatate este mediana scorurilor.

Istorie (scoruri totale pentru clase)

Nota: Scorul mediu reprezinta media obtinuta pentru aceasta materie in aceasta scoala; Min este scorul minim obtinut; Max este scorul maxim obtinut; Q1, Q2 si Q3 sunt scorurile la care, in acesta scoala, se plaseaza 25%, 50% si respectiv 75% din elevi (astfel, jumatate din elevii scolii sunt intre Q1 si Q3; sfertul mai slab este intre Min si Q1, iar sfertul mai bun intre Q3 si Max).

Nota: Acest grafic se numeste Boxplot. El reprezinta vizual locatia scorurilor pentru dimensiunile reprezentate. Limitele casutei sunt cvartilele 1 si 3 (adica locul unde se afla 25% si respectiv 75% din elevi). Liniile orizontale atasate merg in stanga pana la scorul minim si in dreapta pana la scorul maxim. Linia care imparte caseta in jumatate este mediana scorurilor.

(b) Distribuția elevilor în categorii decile naționale

Nota: Tabelul prezinta numarul de elevi din scoala focala care se pleaseaza la nivel national in fiecare din cele 10 decile. Decilele sunt numerotate de la 1 la 10, unde decila 1 contine cei mai slabi 10% elevi la nivel national, iar decila 10 cei mai buni 10% elevi la nivel national.

Nota: Acest grafic se numeste Heatmap. El reprezinta vizual numarul de elevi gasiti, pentru fiecare dimensiune, in fiecare decila. Cu cat o casuta este mai inchisa la culoare cu atat este mai populata cu elevi – cu atat mai multi elevi se regasesc in acel interval de scoruri.

Matematica (scoruri totale pentru clase)

Tabelul 8. Numarul de elevi din scoala plasati in fiecare decila nationala, pentru Matematica, pentru fiecare clasa

Graficul 5. Heatmap cu distributia decilelor de performanta pentru Matematica

Graficul 6. Heatmap cu distributia decilelor de performanta pentru Istorie

(c) Distribuția elevilor în categorii de risc vs. performanță

Graficul 8. Heatmap cu distributia elevilor in categoriil de risc/performanta pentru Matematica

Graficul 9. Heatmap cu distributia elevilor in categoriil de risc/performanta pentru Istorie

Citește raportul, integral, aici:

raport școală.docx