Pentru a înțelege cum poți efectiv să măsori ce implementezi în domeniul educației, am stat de vorbă cu Lev Fejes, directorul Centrului de Cercetare pentru Societatea Civilă, Bogdan Radu, cercetător la Centrul de Cercetare pentru Societatea Civilă și Camelia Mateș, director de programe la Asociația pentru Relații Comunitare, care s-a ocupat de coordonarea proiectului.
Am explorat modul în care organizațiile pot naviga prin etapele de evaluare, ce greșeli să evite și cum să folosească rezultatele, fie ele pozitive sau negative, pentru a transforma nu doar proiectele individuale, ci, pe termen lung, întregul sistem educațional.
Studiul poate fi descărcat de organizații, după ce se loghează, de aici.
De ce e greu să măsori ceva ce nu vezi imediat
Școala9: De ce este atât de dificil de măsurat impactul în educație?
Lev Fejes: Măsurarea impactului este dificilă în orice domeniu, nu numai în educație. Cel mai bine pentru a măsura bine impactul este să știm care este schimbarea pe care o urmărim prin acel proiect sau acea intervenție, care este impactul urmărit.
Impactul este, de fapt, schimbarea pe care o vedem sau o urmărim în populația țintă.
Dacă știm care este această schimbare pe care o urmărim, atunci putem lucra backwards, să vedem care sunt acele activități care ne duc în direcția acelei schimbări. Și așa trebuie făcut și cu evaluarea de impact.
Trebuie de la bun început gândit: asta este schimbarea pe care o dorim, cum știm noi că am ajuns să facem acea schimbare? Care sunt de fapt acei indicatori care ne arată că am făcut această schimbare? Cum măsurăm noi indicatorii respectivi? Și după aceea legați mai încolo cu activități, outcomes, outputs și inputs.
Lucrăm în direcție inversă. De obicei, aceste lucruri se gândesc: astea sunt resursele noastre, astea sunt activitățile pe care le facem, după care urmează outputurile (câți copii am trainuit, câți profesori am trainuit, câți au participat și așa mai departe), după care ne uităm la rezultate, care sunt cumva acele outcome-uri, rezultate imediate care se pot măsura destul de aproape de intervenție și după care, în timp, ar trebui să vedem care este impactul. Iar aici, la impact, putem să gândim impact pe timp mediu și impact pe termen lung și putem să diferențiem dacă este impact la nivelul microcomunității la care ne adresăm sau e impact la nivel societal. Și problemele vin nu numai din tot ce am zis până acum, ci și din neclaritatea a ceea ce înseamnă impactul, cum definim noi de fapt impactul. Foarte multă lume vorbește despre impact, dar nu se referă la același lucru.
Bogdan Radu: Prima provocare este chiar ideea aceasta de a te gândi la impactul propriu-zis, pentru că uneori este intimidant să te gândești „ok, vreau să ajung acolo, dar cum o să aflu?”. Momentul acesta sau lucrurile legate de datele de care am nevoie, datele pe care trebuie să le adun și să le analizez ca să îmi măsor impactul, acesta de multe ori este complicat.
De foarte multe ori vedem că în organizații se aplică multe măsurători din acestea atitudinale, deci lucruri pe care le obținem întrebând respondenții: „v-a plăcut proiectul?”, „ați învățat ceva din acest proiect?”, „veniți cu plăcere la școală?”, „ați dezvoltat o curiozitate mai mare pentru o materie?” și așa mai departe, dar de multe ori trebuie să ne gândim că impactul nu se măsoară doar atitudinal, deci nu doar din percepția celor care au participat la proiect. Ne putem uita la date care sunt, pe de o parte, deja culese sau le putem culege.
De exemplu, dacă vrem să vedem interesul pentru o materie ca urmare a unei metode de predare inovative, sigur că putem să-i întrebăm pe elevi dacă li se pare util și așa mai departe, și putem chiar testa nivelul de cunoștințe, dar deja pentru ei există niște evaluări din partea profesorului și atunci și acestea sunt date pe care le putem folosi în gândirea impactului. Dar eu cred că lucrurile care, cumva, nu sperie, dar care pot prezenta probleme sunt cum să-ți dai seama efectiv de ce ai avea nevoie ca să poți să-ți măsori impactul, de ce date ar fi nevoie, unde există ele și cum pot fi colectate.
Impactul la buget mic: ce poți face fără bani mulți
- Care sunt cele mai accesibile metode de măsurare a impactului pentru un ONG care nu are resurse mari?
Bogdan Radu: Dacă măsori impactul într-o variantă pe care noi o numim „atitudinală”, de exemplu modul în care se schimbă atitudinile elevilor despre învățarea unei anumite materii, atunci sigur că nu este ceva foarte complicat să faci un chestionar pe care să-l postezi, îl faci fie în Google, fie prin SurveyMonkey și pe urmă respondenții sunt practic beneficiarii proiectului respectiv. Acest lucru nu implică foarte multe resurse. De asemenea, și am menționat acest lucru și în manual, observația este o metodă care poate nu este cel mai ușor de cuantificat, dar ea ajută la a înțelege dacă lucrurile merg bine.
Cu alte cuvinte, dacă există proiecte din acestea de intervenție, persoanele care fac intervenția respectivă, pe lângă intervenția în sine, de exemplu profesorul care dezvoltă o nouă metodă de predare și o încearcă la mai multe clase, profesorul acela și observă în timp ce face dacă metoda pare să funcționeze, care sunt punctele bune sau punctele mai slabe. Și observația aceasta, din nou, pentru că de multe ori poate fi făcută de către cei care implementează, nu necesită resurse financiare. Sigur, în mod normal, pentru multe proiecte ar fi indicat să existe un buget pentru partea de impact și organizațiile care, de exemplu, nu au făcut foarte multă măsurare de impact pot la început apela la o consultanță, care să detalieze cum ar trebui să fie gândit și măsurat acest impact. Și apoi, sigur, de acolo se vor învăța ei cum să le facă și își vor da seama dacă resursele ajung sau nu ajung. Dar eu cred că cel mai important este frame of mind-ul, cum te raportezi tu la impact.
Theory of Change: de unde începe totul
- Ce resurse vi se par cele mai utile pentru organizațiile care pornesc pentru prima dată într-un proces riguros de evaluare?
Lev Fejes: Pentru un studiu de caz pe care l-am făcut împreună cu ING, era un framework care se chema IOOI. Colegul meu, Bogdan, glumea că este [ioi], pentru că exprimă atât chinul pe care îl ai când măsori impactul, cât și e mult mai neaoș decât IOOI.
IOOI se referă la Input, Output, Outcome, Impact și este un framework prin care poți să mapezi toate aceste componente, dar sunt și alte framework-uri de măsurare. Poți să te gândești la Outcome Harvesting sau Impact Harvesting sau alte framework-uri care pot să-ți organizeze gândirea. Aceste chestii trebuie gândite ca fiind un eșafodaj, îmi place mie să zic, care îți organizează gândirea și poți să umpli cu informații relevante și să vezi tot procesul de fapt. Așa că eu, mai înainte de asta, care este un sistem de organizare a gândirii și a informațiilor, m-aș duce în față până la Theory of Change.
Noi trebuie la început, când facem designul de intervenție sau proiect, să avem o chestie care se cheamă Theory of Change. Cum ajungem noi la acea schimbare pe care ne-o dorim? Deci, unu la mână, trebuie să știu care este schimbarea, doi la mână, trebuie să știu cum ajung acolo. Dacă știu toate chestiile astea și am mapat cum inputurile, activitățile și outcome-urile se leagă cu impactul și avem acest framework de cum o să măsurăm, de exemplu IOOI, putem să facem măsurare de impact. E un pic mai complex decât oamenii se gândesc, pentru că oamenii se gândesc: „Cum știm că Ionică a învățat? O să-l întrebăm”. Și începe lumea acolo.
De aceea manualul a fost un fel de myth-busting, în sensul că nu-i așa de simplu să te apuci doar să pui niște întrebări și este un pic mai riguroasă toată treaba asta. Dar nu poți să zici că acel manual îți va rezolva toată problema, pentru că, așa cum am zis acum, e un pic mai complexă treaba. Începi la final, te duci să vezi care-i Theory of Change, alegi un framework, îl aplici, după care treci la chestiile care sunt foarte, foarte concret și foarte detaliat scrise în manual.
- Care ar fi criteriile pentru un ONG când decide ce merită măsurat și ce nu, încât evaluarea să rămână realistă? Ați menționat teoria schimbării, ar mai fi și altele?
Lev Fejes: Teoria schimbării ajută foarte mult, pentru că cu teoria schimbării știm, efectiv, care dintre activități contribuie la ce, la ce output, la ce outcome și impactul în sine, adică tu trebuie să mapezi toate chestiile astea ca să știi cum se leagă și unde o să conducă. Și când este foarte clar și poate ai aplicat și un IOOI, de exemplu, trebuie să te gândești „de ce fac eu această măsurare de impact?”, „pentru cine fac această măsurare de impact?”.
- De ce fac eu tot acest efort? Vreau să arăt... și pentru cine vreau să arăt?
- Ce schimbare am făcut?
- Vreau să învăț cum programul acela pe care l-am implementat poate fi făcut mai bine? Sau vreau doar pur și simplu să arăt care a fost schimbarea pe care am reușit eu să o produc să atrag mai multă finanțare?
- Sau am făcut testări cu patru tipuri de intervenții și vreau să aflu care dintre intervențiile acelea funcționează mai bine, care produce rezultate mai bune, care trebuie scalate și așa mai departe.
Deci, e important să iei în considerare și contextul în care te afli și pentru cine faci aceste evaluări.
- Care sunt your key stakeholders?
- Vreau să folosesc aceste rezultate pentru fundraising?
- Vreau să folosesc aceste rezultate pentru advocacy?
- Pentru ce fac eu chestia asta?
Și după aceea să văd care este bugetul meu și care sunt resursele financiare și umane pe care le am la dispoziție ca să pot să fac eu această evaluare. Și atunci începi să tai și ajungi la nivelul de indicatori sau măsurători care sunt minim necesare ca să-ți atingi aceste obiective și restul devin nice to have.
Eroarea de bază: evaluarea gândită prea târziu
- Ce greșeli fac cel mai des ONG-urile atunci când încearcă să își evalueze impactul pentru prima dată?
Camelia Mateș: E mult spus greșeli, dar sunt niște practici. Atunci când îți pregătești intervenția și ești de-abia la începutul activității tale, nu o pregătești gândindu-te la măsurarea de impact. Multe organizații încearcă să măsoare impactul mai pe finalul intervenției, dar dacă nu planifici măsurarea asta de la început, nu ai cum să o măsori la final, sau ai cum, dar nu în întregime și foarte, foarte greu. Deci cred că asta e de căpătâi, să ne planificăm măsurarea de impact înainte să începem intervenția.
Din nou, n-aș zice neapărat la capitolul greșeli, dar la capitolul lipsuri e și partea asta de lipsă de finanțare pentru măsurarea de impact. Nu știu dacă vine de la finanțatori doar sau de la organizații care mai degrabă se tem să mai ceară bani și pentru asta, că e o cheltuială percepută la capitolul de administrative, deși n-ar trebui să fie așa. Sunt câteva lipsuri, lipsa de oameni specializați pentru asta, pentru că e nevoie de niște oameni cu studii în sociologie care să știe să se uite la indicatori și, odată ce există niște indicatori, să vadă cum anume se măsoară, căci asta chiar poate fi o greșeală, să ai niște indicatori, să crezi că niște rezultate duc la indicatorii respectivi, dar de fapt să măsori greșit, să măsori altceva sau să folosești instrumentul de măsurare greșit. Din nou, de aceea vorbeam de sociologi sau oameni cu experiență în domeniul ăsta, pentru că putem de multe ori să greșim instrumentul cu care măsurăm.
- Dacă ați da trei sfaturi esențiale unui ONG din educație care vrea să își măsoare impactul, care ar fi acestea?
Camelia Mateș:
- Să își planifice intervenția pentru impact, ceea ce înseamnă ca încă de la început să se gândească cum o să-și măsoare rezultatele intervenției pe termen lung și să se gândească la indicatori și cum vor fi aceștia măsurați, pentru că e foarte important să avem un baseline. Și atunci dacă nu ne gândim de la început, e foarte greu să ne întoarcem spre baseline.
- Să aibă curajul să bugeteze, asta cred că e foarte important.
- Și cred că mai e o chestiune la care ar fi bine să se uite toată lumea, și unele organizații chiar o fac, și anume să se uite la „evidence-based interventions”, la intervențiile bazate pe dovezi științifice. Mai ales în domeniul educației există foarte, foarte multe studii la nivel internațional, foarte multe studii la nivel de România, care ne arată ce a funcționat și ce nu a funcționat și ar putea în intervențiile lor să pornească de acolo, să nu mai facă efortul de a reinventa roata. E mult spus roata, să nu mai facă efortul de a face propriul design pentru o intervenție și de a testa dacă intervenția respectivă funcționează, pentru că e destul de probabil ca tipul acela de intervenție să fi fost deja încercată undeva în Europa, în România.
- Când evaluarea arată rezultate negative sau mult sub așteptări, ce ar trebui să facă un ONG?
Lev Fejes: Atunci ar trebui să se uite, în primul și în primul rând, la tot procesul. De la design de intervenție, până la implementare, până la evaluare și să se asigure că la fiecare din acești pași a făcut ceea ce a trebuit să facă. Să vedem care sunt acei alți factori care ar fi putut să contribuie la acest rezultat negativ și, după ce am făcut aceste lucruri, atunci trebuie să ne uităm long and hard într-o oglindă, să vedem dacă, într-adevăr, au fost niște chestii care au dus la un rezultat negativ și care ar fi putut să fie acelea și să le mapăm. În același timp, ce ar trebui să facă organizația respectivă? Să iasă public cu acele rezultate.
Nu fiecare intervenție are impact. Nu fiecare intervenție are doar rezultatele pe care ni le dorim. Sunt multe intervenții care au rezultate sau outcome-uri sau impact care e neintenționat. Dacă ne uităm la definiția impactului, sunt schimbările pozitive, negative, intenționate și neintenționate. Și sunt multe situații în care s-ar putea să fie niște rezultate la care nu ne-am așteptat, pentru că, din nou, revenind la răspunsul de la întrebarea anterioară, nu poți să controlezi toate variabilele. Dar ar trebui să facă aceste lucruri: să reia tot procesul, să se uite unde s-ar fi putut să se întâmple ceva care să ducă la un rezultat de acest gen și, de asemenea, la evaluare în sine, dacă rezultatele obținute sunt corecte sau nu, și după aceea să iasă public cu „uite, astea au fost rezultatele intervenției, ne-am dat seama cam ce s-a întâmplat, să învețe și alții din această poveste”. Este nevoie de o asumare. Totuși, ai făcut o intervenție care a fost finanțată, în care s-a investit efort, în care au fost beneficiari implicați și, dacă ai rezultate fără niciun pic de impact sau cu impact negativ, este obligația morală de a ieși public cu aceste lucruri, ca alții să nu mai facă intervenția respectivă.
- Ați întâlnit proiecte care aveau activități excelente, dar impact aproape inexistent?
Lev Fejes: N-am întâlnit în experiența mea. S-ar putea ca colegii mei să fi întâlnit astfel de situații. Ce putem să zicem așa la modul generic este că atunci când vorbești despre o intervenție sunt multe lucruri care pot să „go wrong”. Este o zicală în română - „calculele de acasă nu se potrivesc cu calculele din piață”, cam așa este și la intervenții. O intervenție, chiar și una bine documentată, bazată pe cercetare și literatură de specialitate, poate să dea chix, pentru că majoritatea literaturii și cercetărilor sunt făcute în alte țări. În România este mult prea puțină cercetare pe care să poți să te bazezi și să zici „acum 5-10 ani, cineva a făcut chestia asta și a arătat că funcționează și o să facem un design de intervenție pe baza acelor rezultate și e aproape sigur că o să funcționeze”. Nu suntem în această situație fericită. Ne găsim în situația în care importăm modele, importăm idei, transpunem intervenții, le localizăm și așa mai departe. Sunt și câteva care iau naștere aici, dar cam asta este rețeta generică. Și atunci asta este una dintre probleme. Noi când transpunem la realitățile locale ceea ce credem că se va întâmpla, s-ar putea să nu se întâmple.
Al doilea lucru este că atunci când implementezi ceva sunt mult prea multe variabile care să poată să influențeze outcome-ul unui proiect și cum funcționează acest proiect. Lucrăm cu oameni și de o parte și de alta, de o parte fiind cei care implementează, cealaltă parte fiind beneficiarii.
Putem să zicem că am făcut totul perfect și am ajuns la un rezultat, x% a crescut sau a scăzut, de exemplu a scăzut rata abandonului. Putem să zicem cu siguranță că datorită intervenției noastre s-a întâmplat acest lucru? Din păcate nu. Am contribuit la această schimbare, pentru că intervenția nu se întâmplă în vacuum.
Sunt multe alte lucruri care se întâmplă, de exemplu, vorbeam de sistem. Acei oameni care sunt deschiși către astfel de schimbări în sistem sunt cei care sunt căutați și pentru alte intervenții. Și aceeași categorie de beneficiari sau exact aceeași beneficiari pot să primească mai multe tipuri de intervenții, să beneficieze de mai multe tipuri de intervenții și rezultatul pe care îl avem la finalul măsurării de impact să fie, de fapt, rezultatul comun al tuturor acelor intervenții și nicidecum al intervenției noastre. Și atunci nu putem să zicem că noi singuri am reușit prin această intervenție să reducem rata abandonului la x%.
De ce evaluarea este privită drept „the big bad wolf”?
- Ați întâlnit situații în care o organizație se temea să facă evaluare?
Lev Fejes: De fiecare dată când țin prezentări despre măsurarea de impact, îmi place să întreb oamenii: „Who's afraid of the big bad wolf?”. Și de cele mai multe ori, 80-90% din sală ridică mâna. Obviously, aici „big bad wolf” este măsurarea de impact. Și nu neapărat este frică din cauza faptului că poate să iasă prost. Este frică pentru că nu știu de unde să înceapă sau cum pot ei să ducă până la final un proces care poate să pară foarte complex, mai ales că este această presiune percepută, nu neapărat reală. Trebuie să ai acest high level of evidence și să mergi sus pe scala de metodologie, să fie cât mai riguros și așa mai departe, care implică și complexitate și foarte multă energie, resurse, bani și așa mai departe. Și de acolo cred că vine frica asta.
Vine frica și din faptul că organizațiile trăiesc într-o perpetuă stare de subfinanțare și dacă nu aloci, chiar și ăia 5-10%, dedicați pentru a putea să te consulți cu cineva din extern, care să-ți zică „evaluarea asta pentru acest obiectiv trebuie să arate așa și pot să te ajut să colectezi acele date și să le analizezi”, aici vine frica.
Pentru foarte multe organizații măsurarea de impact este o necesitate, dar în același timp este o cutie neagră în care nu știu ce se află și atunci devine acest bau-bau.
Cât ar trebui să aloce un ONG din buget pentru evaluare
- Cât de scump e să măsori impactul? Putem vorbi de o creștere cu multe procente a bugetului unui proiect dacă adăugăm și această componentă de măsurare?
Lev Fejes: Depinde de ce tip de măsurare discutăm, ce tip de framework, ce tip de metode folosim. Pot să fie foarte scumpe sau pot să fie mult mai puțin scumpe. De exemplu, dacă vorbim despre un randomized controlled trial, adică un experiment în care avem alocare randomizată a beneficiarilor sau a locațiilor de implementare sau un quasi-experimental design în care vrem să știm cu acuratețe că ceea ce am făcut noi a produs x% schimbare, astea pot să fie foarte scumpe și foarte greu de pus în aplicare. Deși este o tendință, mai nou, să se ceară astfel de niveluri de evidence la anumite intervenții, acestea sunt destul de rare și mult prea costisitoare ca să fie cu adevărat implementate la scară largă. Sunt câteva intervenții în România care au trecut prin astfel de evaluări și în anumite situații este nevoie și it's warranted. Pot să fie la celălalt capăt al spectrului niște Outcome Harvesting, în care nu suntem ghidați foarte clar de un framework, ci încercăm să aflăm care sunt schimbările și cum s-au produs acelea. Deci este un „general rule of thumb”, să zicem așa.
Între 5 și 10% din proiectul unui buget ar trebui să fie alocat către evaluare sau impact measurement, cum vreți să-l denumiți. Din păcate, nu prea se întâmplă.
- Cum folosiți rezultatele evaluării pentru a ajusta și îmbunătăți programele sau intervențiile educaționale?
Lev Fejes: Dacă vorbim despre intervenția în sine, atunci se poate învăța foarte mult despre intervenție. Care au fost factorii care au contribuit cel mai mult la aceste schimbări? Ce am fi putut să facem altfel? Poate este o categorie de beneficiari la care avem un impact mai mare, la ceilalți nu avem un impact. De exemplu, dacă ne uităm la toți copiii dintr-o școală, s-ar putea ca impactul pe care să-l vedem să fie infim. Dar dacă facem un „split” pe copiii cei mai vulnerabili și cei care au suport acasă, o să vedem o diferență mare în categoria vulnerabilă și aproape spre zero în categoria care nu are nevoie de aceste tipuri de intervenții sau are o nevoie mult mai puțină de aceste intervenții. Trebuie gândite toate aceste aspecte când faci o astfel de evaluare.
- Aveți o poveste din sistem care ilustrează cel mai bine de ce e importantă evaluarea în educație?
Camelia Mateș: Eu aș zice povestea foarte mare a întregului sector ONG, în care știm că a făcut foarte multă treabă în România de foarte multe ori în locul statului, știm că serviciile ONG-urilor în foarte multe cazuri substituie serviciile statului și acum, în ultimii doi-trei ani, mereu a existat pericolul ăsta de a închide facilitățile fiscale pentru ONG-uri. Mă refer aici la legea sponsorizării. Și ne e foarte clar că dacă nu arătăm împreună impactul pe care îl avem, ne va fi mult mai greu să ne dovedim utilitatea și să dovedim buna folosință a banilor din sponsorizări. Sunt multe organizații care pot să vină și au făcut asta, au pus pe masă cât costă un serviciu în ONG versus cât costă același serviciu oferit de o instituție a statului și, clar, în ONG-uri e mai ieftin. Dar, dincolo de asta, cred că trebuie să arătăm și rezultate. Nu doar că avem servicii de calitate la niște costuri mai mici decât ale statului, cred că trebuie să arătăm și rezultatele comune.
