• Početna
  • Za čitanje
  • O Blogu
  • Kontakt
  • English
facebook
twitter
youtube
pinterest

...

11
AVG
2015

Indikatori koji to nisu: Slabosti M&E plana Strategije za razvoj civilnog društva

Tags : civilno društvo, evaluacija, indikator, ishod, javna rasprava, M&E Plan, monitoring, Nacionalna strategija, OCD, rezultat, Strategija OCD
Posted By : Evaluacija
Comments : 0

Ovaj tekst je moj doprinos javnoj raspravi o Nacionalnoj strategiji za stvaranje podsticajnog okruženja za razvoj civilnog društva u Republici Srbiji. Nažalost, iako sam bio jako zainteresovan da uzmem učešće i u ovoj, poslednjoj fazi izrade Strategije, obaveze i splet okolnosti nisu mi dozvolili da prisustvujem niti jednoj od tri održane javne diskusije.evaluacija Strategija OCD final Zato ću svoje mišljenje podeliti ovde. Zbog prirode svojih interesovanja, ali i teme ovog bloga, u ovom postu ću se osvrnuti samo na jedan od tri javno predstavljena dokumenta, i to na Plan praćenja sprovođenja i ocene uspešnosti Strategije (M&E Plan).

Na smom početku, želeo bih da istaknem svoje zadovoljstvo činjenicom da su praćenje i procena uspešnosti sistematski razrađeni u zasebnom dokumentu. Naročito je za poštovanje odluka da se u Plan, pored aktivnosti i ciljeva, uvrste i očekivani rezultati (ishodi) i pripadajući indikatori. Usmerenost ka rezultatima i praćenje promene kojoj se teži nisu svakidašnja praksa u Srbiji. Zato, ovakve napore treba najpre podržati i promovisati, a onda i zagovarati da postanu standard u praćenju razvojnih politika, programa i projekata.

Nažalost, ova odlična ideja je u predloženom Planu razrađena na ne tako dobar način. Ovo je naročito slučaj sa indikatorima ishoda koji su definisani tako da ne zadovoljavaju ni minimalne zahteve savremene teorije i prakse. Evo zašto to tvrdim.

Predloženi indikatori ishoda sugerišu promenu kojoj se teži

Ovo je česta grešaka u definisanju indikatora. Ipak, treba naglasiti, Indikatori su neutralni, oni nam ne govore šta želimo da postignemo (povećanje, unapređenje i sl.), već šta ćemo da merimo (broj, procenat, prosek, nivo, kvalitet, usklađenost, itd). Ono što želimo da postignemo definišemo kroz ciljeve, ishode, očekivane rezultate, targete tj. ciljane vrednosti ili standarde kojima težimo. Indikatorima definišemo dimenzije, kvantitativne i/ili kvalitativne, koje ćemo meriti da bismo videli da li se promena dogodila. Nažalost, većina ishodnih indikatora predloženih Planom sugeriše i trend, odnosno rezultat kome se teži. Tako su oni definisani kao „povećan broj“, „poboljšan kvalitet“, „kontinuirano unapređenje“, „osnaženi kapaciteti“ i slično, što svakako nije u duhu dobre prkase.

Predloženi indikatori ishoda nisu jasni i sugerišu istovremeno praćenje više stvari

Jedna od osnovnih preporuka teorije i prakse jeste da indikatori treba da budu jasni i fokusirani. Praktično, ne bi smela da postoji sumnja šta tačno merimo. U tom smislu, bolje imati dva ili više indikatora nego jedan kojim želimo da ispratimo sve moguće aspekteIndikatori promene. Nažalost, mnogi od predloženih indikatora ishoda ne definišu dovoljno jasno šta treba meriti, odnosno sugerišu istovremeno praćenje različitih dimenzija promene.

Primer navedene tvrdnje jeste indikator 7.5.1. predstavljen u okviru. Ovako definisan, on više liči na neko projektovano, željeno stanje sa jasnom uzročno-posledičnom vezom (zajedničko i koordinisano delovanje doprinose većoj iskorišćenosti fondova), nego na indikator. Čak iako bismo prihvatili da se radi o indikatoru, ostaje nejasno šta sve treba meriti, odnosno koje podatke prikupljati. Sa jedne strane, zajedničko delovanje i koordinacija među sektorima ovde kao da se pretpostavljaju pa nije jasno da li je potrebno meriti kvalitet te saradnje i nivo koordinacije ili su oni neupitni. Sa druge strane, nejasno je da li je fokus na meri u kojoj međusektorska saradnja doprinosi iskorišćenosti fondova ili pak treba izmeriti nivo njihove iskorišćenosti.

Stvar se dodatno komplikuje ako u priču uvedemo i činjenicu da je to jedini indikator za ishod 7.5. (takođe predstavljen u okviru) koji zapravo predviđa bolju međusektorku koordinaciju u finansiranju i kofinansiranju projekata organizacija civilnog društva. Praktično, EU i drugi razvojni fondovi ovde uopšte nisu tema, tako da je potpuno nejasno kako su i zašto dospeli u indikator.

Predloženi indikatori ishoda ne daju dovoljno relevantnih informacija o promeni kojoj se teži

Indikatori ishoda treba da opisuju željenu promenu, odnosno rezultat kome težimo. Na nivou ishoda, govorimo o promenama u ponašanju, stavovima, institucionalnom delovanju i slično. Da bi na pravi način opisali rezultate na nivou ishoda, indikatori treba da su relavantni i da promenu prate po njenim navažnijim dimenzijama. U tom smislu, govorimo o indikatorima koji su sa jedne strane fokusirani na promenu koju pratimo, a sa druge, poput delova slagalice sklapaju potpunu sliku o njoj. Ukoliko su tako definisani, monitoringom će se prikupljati samo stvarno neophodni podaci, a njihovom analizom ćemo dobiti nedvosmisleno jasnu sliku da li se promena dogodila ili ne.

Ranije prezentovani indikator 7.5.1. pravi je primer kako ne treba raditi. Stavljanjem akcenta na EU i druge razvojne fondove, ovaj indikator sa jedne strane usmerava monitoring na prikupljanje nerelevantnih podataka, a sa druge, ne daje pravu sliku o promeni kojoj se teži. Nažalost, ovo nije usamljeni primer. Zapravo, moj zaključak je da indikatori definisani Planom praćenja i procene uspešnosti Strategije ne korespondiraju u pravoj meri sa predloženim ishodima niti ih opisuju na dovoljno obuhvatan način.

Nije jasno ko će i na koji način prikupljati informacije o indikatorima ishoda

Plan je definisao ko, kada i kako prikuplja informacije, ali samo na nivou aktivnosti. Deo koji se bavi prikupljanjem informacija na nivou ishoda ostao je nedefinisan. Ovo je još jedna slabost Plana. Naime, indikatori, čak i kada su mnogo bolje definisani, ostaju mrtvo slovo na papiru ukoliko se ne operacionalizuju kroz protokole o prikupljanju i analizi podataka.

Navedeni nedostaci predloženog Plana praćenja sprovođenja i ocene uspešnosti Strategije značajno će uticati na mogućnost praćenja željenih strateških promena. Praktično, sa ovako definisanim Planom, nećemo imati podatke o suštinskom pitanju, a to je – da li su realizovane aktivnosti (treninzi, obuke, novi i drugačiji pravni akti, itd) dovele do promena kojima smo težili? Iz perspektive monitoringa i evaluacije takav pristup obesmišljava čitavu priču.

Podeli

Ostavi komentar Poništi odgovor

*
*

captcha *

Oznake

5 pitanja za aktivnost Aleksandar Vučić APES Asocijacija profesionalnih evaluatora Srbije cilj civilno društvo efektivnost efikasnost EPDET evaluacija evaluaciona kultura evaluation evaluator indikator intervencija intervju IPDET javna politika konferencija kriterijum monitoring OCD održivost OECD Pariska deklaracija pokazatelj procena program projekat promena razvoj relevantnost resursi rezultat Slovenačko društvo evaluatora teorija promene trening Udruženje evaluatora BiH uspeh uticaj Vlada Republike Srbije vrednovanje Zapadni Balkan znanje

Pročitajte i ovo:

  • Treća konferencija evaluatora Zapadnog Balkana 17. Novembra 2019.
  • Revizija kriterijuma za evaluaciju razvojnih projekata, programa i politika 24. Jula 2018.
  • Kako razumeti termin Accountability? 30. Juna 2017.
  • Introducing Mobile Data Collection: Lessons Learned 3. Septembra 2016.
  • Čemu služe podaci prikupljeni monitoringom i evaluacijom? 15. Februara 2016.
Creative Commons License
Blog "Triput meri jednom seci" by Ivan Tasić is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Skorašnji članci

  • Treća konferencija evaluatora Zapadnog Balkana 17. Novembra 2019.
  • Revizija kriterijuma za evaluaciju razvojnih projekata, programa i politika 24. Jula 2018.
  • Kako razumeti termin Accountability? 30. Juna 2017.
  • Introducing Mobile Data Collection: Lessons Learned 3. Septembra 2016.
  • Čemu služe podaci prikupljeni monitoringom i evaluacijom? 15. Februara 2016.

Skorašnji komentari

  • Evalvacijski blog Ivana Tasića, Niš, Srbija – Slovensko drustvo evalvatorjev na Ima li života nakon evaluacije? Dva saveta za organizacije i jedan za evaluatore
  • bojan radej na Evaluation Brings Value – The First Balkan Evaluation Conference Opening Speech by Jorg Petrovič
  • Evaluacija na 5 Questions for Linda Morra Imas and Ray Rist on 15 Years of IPDET
  • Evaluacija na 5 Questions for Linda Morra Imas and Ray Rist on 15 Years of IPDET
  • Marie Korner na 5 Questions for Linda Morra Imas and Ray Rist on 15 Years of IPDET
  1. Ime *
    * Molimo vas da upišete vaše ime
  2. Email *
    * Upišite validnu adresu
  3. Poruka *
    * Upišite tekst poruke