Așa cum am arătat în postările anterioare, conform rapoartelor de activitate anuale ale ARACIP, instituția și-a realizat atribuțiile instituționale prevăzute în lege, îndeplinind cele cinci funcții menționate:

• A elaborat instrumente de evaluare internă și externă a calității
• A evaluat furnizorii de educație pentru autorizare de funcționare provizorie, acreditare și evaluare periodică.
• A realizat activități de monitorizare și control.
• A elaborat recomandări de îmbunătățire a calității învățământului preuniversitar (în rapoarte și în analizele de sistem realizate).
• A susținut activități și a publicat materiale de informarea și comunicarea (manuale, ghiduri, rezultate etc.).

Pentru a avea o imagine completă, în cele ce urmează voi analiza și modul în care este reflectată activitatea ARACIP în documente oficiale emise de terți (ME, alte instituții naționale și internaționale) – pentru a vedea dacă aceste opinii externe confirmă sau infirmă cele afirmate de ARACIP privind propria activitate.

Activitatea ARACIP reflectată în comunicarea publică a ME, a ISJ/ISMB și a unităților de învățământ

Problema identificată, deja, este comunicarea defectuoasă – nu doar cu ME, ci și cu inspectoratele școlare, mai ales modul în care ME și ISJ/ISMB au reflectat și susținut activitatea ARACIP.

Am putut constata, de exemplu, că pe site-ul ME www.edu.ro,  din 2016 (de când funcționează acest nou site), până la data redactării acestui document au fost identificate doar 31 de mențiuni privind ARACIP, toate din perioada 2020-2021, mai ales în contextul schimbărilor din ultimul an analizat. De asemenea, pe site-urile inspectoratelor școlare există maximum 1-2 mențiuni  privind activitatea ARCIP (care se referă, toate, la diferite acte normative). Totodată, nu am identificat mențiuni explicite (prezentări, explicații etc.) privind sistemul de asigurare și evaluare a calității.

Faptul că pe majoritatea site-urilor inspectoratelor școlare județene nu există nicio mențiune privind activitatea ARACIP, dar nici privind legislația calității și privind activitatea îmbunătățire a calității – de care inspectoratele sunt responsabile, prin implementarea recomandărilor ARACIP – ni se pare îngrijorător. ARACIP are pe site-ul propriu, o secțiune dedicată comunicării cu ISJ/ISMB, dar, cu puține documente postate.

Pe de altă parte, quasi-totalitatea unitățile de învățământ au publicat pe site-urile proprii informații privind asigurarea calității, în special privind activitatea CEAC.

Având în vedere că singura modalitate legală prin care ARACIP putea interveni în sistem este de a semnala, prin recomandări, zonele de intervenție pentru politici publice, pentru remedierea punctelor slabe menționate, putem afirma că nici ME și nici ISJ/ISMB nu și-au îndeplinit atribuțiile în acest sens, existând o fractură instituțională evidentă între ARACIP (lăsată să se descurce singură, ca instituție situată, cumva, la periferia sistemului) și restul instituțiilor responsabile de asigurarea și îmbunătățirea calității, care și-au văzut de treabă ca și când ARACIP și legislația calității nu ar fi existat.

În acest sens, lipsind ”presiunea” din partea instituțiilor cu rol decizional (ME, ISJ/ISMB, care au arătat un dezinteres total privind legislația și problematica asigurării și îmbunătățirii calității), unitățile de învățământ nu au fost încurajate să ia măsuri și să aplice programe de îmbunătățire a calității. Acesta este unul dintre motivele pentru care, în opinia noastră, această activitate de asigurare și de îmbunătățire a calității a rămas la un nivel formal și a fost înțeleasă ca o activitate pur birocratică, fără valoare adăugată.

Putem menționa, totuși, doar ca un început de coordonare între ARACIP și ME (respectiv, cu ISJ/ISMB ca instituții subordonate ME), aprobarea, în 2020, a unui nou regulament de inspecție[1], care prevede, printre altele, ca inspecția să folosească și rezultatele evaluării externe, realizată de ARACIP. Pe de altă parte, în acest Regulament, ARACIP este folosită pe post de ”sperietoare”: ”Dacă în urma inspecției de revenire se constată neîndeplinirea obiectivelor asumate în cadrul planului de îmbunătățire, instituția care a realizat inspecția școlară generală inițială și, respectiv, inspecția de revenire poate sesiza ARACIP, în vederea demarării de către această instituție a procedurilor de evaluare externă periodică sau, după caz, de control al calității”.

Activitatea ARACIP reflectată în rapoarte independente

1. Analiza Funcțională a sectorului preuniversitar (Banca Mondială, 2010)

Primul document la care fac referire (le voi aborda în ordine cronologică) este Analiza Funcțională a sectorului preuniversitar realizată de Banca Mondială în 2010[2].

Raportul analizează rolul instituțional, funcțiile, structura și atribuțiile ME, împreună cu instituțiile de tip ”expert” aflate în coordonare sau subordonare, cu rol în învățământul preuniversitar (Institutul de Științe ale Educației, Centrul Național de Evaluare și Examinare, Centrul Național de Dezvoltare a Învățământului Profesional și Tehnic și, desigur, ARACIP).

Acest raport recomandă, printre altele, ca structura actuală a sectorului, care plasează funcțiile înalt specializate în agenții, trebuie păstrată, mai ales pentru că, lucrând cu cunoștințe înalt specializate, pentru toate cele patru instituții este vital un mediu colegial, care să permită gândirea liberă, inovația și creativitatea, iar aceste instituții sunt mult mai bine poziționate pentru a oferi un astfel de mediu, fiind în afara Ministerului. Pe de altă parte, a fost menționată nevoia de o mai bună coordonare între aceste agenții, ME și inspectoratele școlare, toate aceste instituții abordând calitatea educației din perspective diferite[3].

În schimb, structura ME nu este considerată conformă cu bunele practici, nici propice promovării răspunderii publice, nici potrivită pentru descentralizare. Elementele organizaționale au funcții și atribuții nelegate între ele, o serie de funcții, care ar fi trebuit să fie unitare, nu se regăsesc într-un singur element organizațional, existând lacune, dar și suprapuneri funcționale între diferite elemente organizaționale. În plus, ME nu-și îndeplinește rolul de leadership educațional.

Din acest raport am putea reține o problemă legată de funcționarea ARACIP, deja semnalată, respectiv lipsa de coordonare cu ME, pe de o parte, dar și cu celelalte instituții cu atribuții în domeniul calității educației (respectiv cu cele trei agenții deja menționate și cu inspectoratele școlare), pe de altă parte. Existența acestei probleme este susținută și de absența ARACIP din comunicarea oficială a ME și a inspectoratelor școlare, constatată deja.

2. Raportul OECD privind evaluarea și examinarea în România

Al doilea document analizat în această postare este Raportul OECD privind evaluarea și examinarea în România, din 2017[4]. Voi zăbovi mai mult asupra acestui document, întrucât analizează în profunzime locul și rolul ARACIP în sistemul național de evaluare și examinare și pentru că propune direcții consistente de dezvoltare și îmbunătățire.

De la bun început, Raportul OECD confirmă utilitatea agențiilor de tip ”expert” existente (CNEE, ARACIP, ISE), considerându-le atuuri reale pentru România, punând la dispoziție cunoștințe si analize tehnice, care au sprijinit si continuă să sprijine îmbunătățirea educației. În plus, cantitatea și calitatea datelor colectate oferă o bază solidă pentru monitorizarea sistemului.

Experții OECD au considerat ca elemente pozitive apariția legislației calității și autonomia evaluării externe (și a instituției care o realizează, ARACIP) față de decizia administrativă de îmbunătățire, confirmând opțiunile de politici publice ale inițiatorilor acestei legislații.

Pe de altă parte, implementarea legislației calității a avut și o serie de neajunsuri:

• Legea a fost elaborată si pusă în aplicare într-un ritm alert, scopul legii, precum și beneficiile existenței ARACIP și ale evaluării externe, fiind comunicate deficitar la nivelul sistemului de învățământ.
• Existența unor cadre legislative diferite (pentru evaluarea externă și pentru inspecție), fără o încercare clară de a conecta diferitele organisme de evaluare externă și de control al calității (ME, ARACIP, ISJ/ISMB), a dus la suprapunerea atribuțiilor acestora.

În privința activității ARACIP, au fost apreciate pozitiv sistemul de evaluare internă, bazat pe standardele naționale, precum și sistemul de contractare a evaluatorilor externi, similar celor practicate și în alte sisteme de inspecție / evaluare externă.

A fost menționat, de asemenea, faptul că, atunci când au fost elaborate standardele de calitate (2007-2008), scopul principal al evaluărilor ARACIP a fost asigurarea îndeplinirii de către scoli a standardelor minime privind capacitatea instituțională, inclusiv din punctul de vedere al dotărilor si al respectării legislației, vizitele ARACIP neputând fi considerate ca fiind centrate pe dezvoltare: nu oferă feedback detaliat și nici recomandări, care să contribuie la îmbunătățirea calității școlilor, iar monitorizarea progreselor înregistrate de scoli nu face parte din procesul standard de evaluare. Mai mult, chiar dacă există dovezi că școlile supuse evaluării sale externe și-au îmbunătățit performanța (este citat Raportul de cercetare, Vol. I, din 2015[5]), evaluările externe si interne ale unităților de învățământ sunt percepute ca având un impact minim asupra practicilor educaționale din scoli. Cauzele aceste situații ar fi, în opinia experților OECD:

• Slaba corelare a proceselor de evaluare internă si externă, pe de-o parte, cu planurile si demersurile de îmbunătățire a activității scolii, pe de altă parte.
• Percepția unităților de învățământ că scopul principal al autoevaluării este realizarea raportului anual de evaluare internă, nu îmbunătățirea activității scolii.
• Percepția unităților de învățământ (coroborată sau nu cu practicile de evaluare ale evaluatorilor externi) că evaluările ARACIP reprezintă simple verificări ale conformității, prin verificarea documentației, și nu o evaluare a procesului educațional – acesta din urmă fiind, mai curând, obiectul inspecțiilor la clasă realizate de ISJ/ISMB.

La fel, nici evaluarea internă nu este văzută, de către unitățile de învățământ, ca un proces esențial, care să fundamenteze dezvoltarea instituțională. Ca urmare, procesul în sine și rezultatul acestuia, Raportul Anual de Evaluare Internă a calității educației (RAEI), sunt abordate predominat birocratic, fiind considerate cerințe externe, fără relevanță pentru funcționarea internă a unității de învățământ.

În privința rolului instituțional al ARACIP și al relației cu ME, experții OECD constată că nu există date concrete din care să reiasă că rezultatele evaluării unităților de învățământ (inclusiv recomandările ARACIP) stau la baza politicilor naționale sau a deciziilor ME legate de finanțarea si susținerea unităților școlare. Chiar dacă ARACIP utilizează rezultatele evaluărilor externe și ale autoevaluării pentru a recomanda politici și practici la nivel național, regional și școlar (cum am arătat, mai sus), acestea nu par a avea vreun impact asupra procesului de elaborare a politicilor sau de luare a deciziilor la nivel central.

De menționat și constatarea slabei susțineri de care se bucură ARACIP din partea multor actori educaționali, nevoia de reformă (la nivelul standardelor, al metodologiei de evaluare și al comunicării publice) fiind evidentă.

Studiul OECD recomandă, pentru remedierea punctelor slabe constatate:

• Revizuirea mandatelor organismelor de specialitate (ISE, CNEE, ARACIP si ISJ/ISMB) pentru a exploata punctele tari și pentru a colabora mai bine cu ME în vederea realizării unei schimbări la nivelul sistemului. Ca și în raportul prezentat mai sus, experții OECD au constatat mai marea stabilitate a acestor instituții (au fost supuse unui număr mai mic de schimbări organizaționale și de personal), precum și faptul (menționat, de asemenea, și în primul document analizat) că angajații lor dețin o expertiză tehnică pertinentă.
• Unificarea criteriilor și standardelor de evaluare folosite de ISJ/ISMB și ARACIP (lucru început, dar nu finalizat, prin noul Regulament de inspecție școlară, aprobat în 2020[6]).
• Revizuirea și simplificarea standardelor ARACIP, concomitent cu elaborarea unei definiții clare și agreate a ceea ce înseamnă o ”școală bună”, definiție focalizată pe procesul de învățământ și pe rezultatele acestuia. Reamintim că noile standarde, simplificate mult față de cele anterioare ;i focalizate mai mult de procesul de învățare și pe rezultatele acestuia, au fost, în cele din urmă, aprobate în 2020, au intrat în vigoare în 2021, dar nu avem nicio informație privind aplicarea acestora și, cu atât mai puțin, privind starea sistemului din perspectiva noilor standarde.
• Transformarea ARACIP în principalul evaluator extern al unităților de învățământ, având în vedere autonomia si expertiza sa în domeniul evaluării școlare externe si interne. Argumentele furnizate în sprijinul acestei recomandări sunt:
  • Este o agenție autonomă, care se ocupă exclusiv de evaluarea unităților de învățământ.
  • Deține expertiză specializată în evaluarea externă si internă.
  • Prin recrutarea si formarea unitară a tuturor evaluatorilor săi, poate asigura coerența evaluărilor la nivelul sistemului de învățământ.
  • Ca organism central, poate menține o distanță obiectivă față de școlile pe care le evaluează.
  • Poate sprijini deciziile de politici publice, prin realizarea unor studii la nivelul întregului sistem.
  • Poate disemina bunele practici, instrumente si ghiduri de autoevaluare în întreaga țară.
• Alocarea de resurse financiare și umane suficiente și adecvate pentru îndeplinirea atribuțiilor ARACIP – inclusiv o (posibilă) renunțarea la finanțarea exclusivă din venituri proprii și o trecere la o finanțare de la buget, proporțională cu activitatea desfășurată (eventual sub forma unui contract instituțional de prestări servicii).
• Revizuirea profilului evaluatorilor externi, în direcția consolidării competențelor acestora în domeniul evaluării procesului educațional.
• Completarea atribuțiilor ARACIP (și a profilului evaluatorilor externi) cu atribuții ce țin de monitorizarea implementării recomandărilor de îmbunătățire a calității, în funcție de nivelul calității și al respectării standardelor, constatat la evaluarea externă.
• Asigurarea de către ARACIP, ca evaluator extern principal, a unor evaluări externe care oferă feedback complex, detaliat, precum si recomandări implementabile.
• Integrarea autoevaluării școlilor în ciclul de management instituțional, prin acte normative. Această integrare ar trebui evaluată inclusiv prin inspecțiile școlare.
• Monitorizarea sistematică de către ISJ/ISMB a implementării măsurilor și activităților de îmbunătățire. ISJ/ISMB ar trebui să sprijine unitățile de învățământ în realizarea îmbunătățirii calității, în direcțiile recomandate de ARACIP. ISJ/ISMB ar trebui să devină principala instituție de sprijin pentru școli, la nivel județean, pentru îmbunătățirea calității educației școlare, fiind necesară și dezvoltarea profesională a inspectorilor în acest sens.
• Reorientarea Direcției de Monitorizare și Inspecție Școlară (din cadrul ME) către acordarea de sprijin pentru implementarea recomandărilor de îmbunătățire venite de la ARACIP la nivelul politicilor publice.
• Continuarea procesului de revizuire a standardelor, în direcțiile prezentate, prin axarea evaluărilor externe pe feedback detaliat si recomandări.
• Utilizarea, într-o mai mare măsură, în raportarea publică, a indicelui de eficiență al ARACIP, considerat un instrument mai bun de măsurare a performanței scolii decât clasificarea unităților realizată de către ME pe baza rezultatelor brute obținute de elevi la evaluări și examene naționale.
• Întărirea capacității instituțiilor de învățământ de a realiza o evaluare internă a calității obiectivă, bazată pe dovezi. Acest proces ar putea avea mai multe componente (legate de activitatea ARACIP – nu le menționăm pe celelalte):
  • Consolidarea și promovarea evaluării interne și a rolului CEAC în viața școlii.
  • Introducerea unor noi cerințe de raportare, care să promoveze mai mult asumarea decât conformarea, și care să încurajeze unitățile de învățământ să se implice mai intens în eforturile de autoanaliză si îmbunătățire.
  • Acordarea de sprijin si instrumente de autoevaluare unităților de învățământ și implicarea acestora în elaborarea unor noi materiale de referință în domeniul autoevaluării.
• Trecerea treptată, pe măsura creșterii capacității de evaluare internă, la o evaluare externă în funcție de riscul educațional, așa cum e practicată în multe sisteme de învățământ. Astfel, școlile care oferă rapoarte de evaluare internă obiective și credibile, au rezultate bune și înregistrează progres constant în privința indicatorilor fundamentali, vor fi evaluate extern mai rar. În schimb, unitățile cu rezultate slabe, cu evoluții negative ale indicatorilor fundamentali vor fi evaluate mai frecvent și sprijinite mai mult pentru îmbunătățire.
• Utilizarea rezultatelor evaluării interne și externe în sensul susținerii mai eficiente a îmbunătățirii calității educației, la toate nivelurile – național, județean, școlar.

Desigur, toate aceste recomandări vin ”la pachet” cu nevoia creșterii capacității instituționale și a autonomiei unităților de învățământ în folosirea resurselor pentru realizarea îmbunătățirilor recomandate și cu alocarea unor resurse dedicate proceselor de îmbunătățire a calității.

Din păcate, deși ME s-a angajat să implementeze aceste recomandări[7], având în vedere și multiplele schimbări de la vârful ME, aceste recomandări au căzut repede în uitare, chiar dacă ele se constituie, în opinia noastră, într-un adevărat manual de reformă a evaluării interne și externe a calității. Pe de altă parte, prin noile standarde de calitate, prin noua metodologie și prin procesul inițiat (nu știm dacă a fost și finalizat) de simplificare a aplicației de sprijin  (https://calitate.aracip.eu), ARACIP a încercat să implementeze respectivele recomandări, în măsura în care țineau de decizia proprie.

Consider, de asemenea, că Studiul OECD prezintă suficient de obiectiv atât părțile pozitive ale activității ARACIP cât și nevoile de îmbunătățire.

Lipsa de comunicare și de corelare între legislația calității și activitatea ARACIP, pe de o parte, și legislația generală a educației, activitatea ME și a ISJ/ISMB, pe de altă parte este, și aici, confirmată și tinde să devină o temă recurentă de discuție.

În general, activitatea de evaluare externă a ARACIP a fost apreciată pozitiv, inclusiv expertiza personalului (intern și extern), datele colectate și recomandările adresate ME. Pe de altă parte, experții OECD au constatat și ei neluarea în seamă a acestor recomandări și, în general, neglijarea rezultatelor activităților de evaluare internă și externă a calității educației.

Mai reținem, ca probleme identificate în activitatea ARACIP sau legate de activitatea ARACIP:

• Comunicarea deficitară între ARACIP, ISJ/ISMB și unități de învățământ.
• Necorelarea legislației calității cu legislația generală a educației – mai ales neincluderea (inclusiv prin legislația aferentă) a elementelor privind evaluarea internă și externă în procesele decizionale de la nivelul școlii, al ISJ/ISMB și al ME. De exemplu, nu este monitorizată, în niciun fel, îmbunătățirea ca rezultat al evaluării interne sau externe. Sau, alt exemplu, neincluderea rezultatelor evaluării interne în planurile de dezvoltare instituțională și în planurile manageriale.
• Centrarea standardelor și a procesului de evaluare externă pe conformitatea față de cadrul normativ și mai puțin pe nevoile de îmbunătățire a calității identificate[8].
• Percepția, la nivelul școlii și al majorității părților interesate, a procesului de evaluare internă și externă a calității ca fiind exclusiv de natură birocratică.
• Neutilizarea rezultatelor evaluării interne și externe, precum și a recomandărilor ARACIP pentru elaborarea, implementarea și evaluarea politicilor publice.

 

[1] ORDIN nr. 6.106 din 3 decembrie 2020 privind aprobarea Regulamentului de inspecție a unităților de învățământ preuniversitar de stat

[2] World Bank (2010). Romania Functional Review PRE–UNIVERSITY EDUCATION SECTOR Final Report October 15, 2010. The World Bank Europe and Central Asia Region – https://openknowledge.worldbank.org/bitstream/handle/10986/12279/NonAsciiFileName0.pdf?sequence=1&isAllowed=y

[3] Idem, p. 3 și 30

[4] Kitchen, H., et alii (2017). Studii OCDE privind evaluarea și examinarea în domeniul educației. România. Paris: OECD – https://www.edu.ro/sites/default/files/Studiu_OECD.pdf

[5] Rapoarte de cercetare ARACIP Vol. I / 2015 – Influența evaluării externe asupra calității educației – https://aracip.eu/storage/app/media/Documente/Resurse/Starea%20calitatii%20educatiei/rapoarte%20de%20cercetare%20aracip%20vol.%201.pdf

[6] ORDIN nr. 6.106 din 3 decembrie 2020 privind aprobarea Regulamentului de inspecție a unităților de învățământ preuniversitar de stat

[7] V., de exemplu, declarația Ministrului Educației la lansarea Studiului OECD – http://stiri.tvr.ro/ministrul-educa–iei–copiii–elevii-din-romania-sa-vina-cu-placere-la–coala–profesorii–plati–i-dupa-performan–a_817219.html#view

[8] Aspect remediat prin noile standarde, intrate în vigoare în anul școlar 2020-2021.