Relacja z National Evaluation Capacities Conference 2022, czyli wyjście poza europejski bąbelek

National Evaluation Capacities Conference, to 4-5 dniowe wydarzenie organizowane co dwa lata, w październiku, przez Independent Evaluation Office przy United Nations Development Programme. Tegoroczną edycję zorganizowano w Turynie, co można uznać za odstępstwo od dotychczasowej reguły organizacji wydarzenia w krajach-odbiorcach tzw. pomocy rozwojowej i/lub humanitarnej.

Razem z prof. Dominiką Wojtowicz, mieliśmy szansę wziąć udział w tej konferencji trzeci raz z rzędu, bowiem organizatorzy, przedstawiciele IEO UNDP, bardzo doceniają nasz polski produkt – grę symulacyjną „Brokerzy wiedzy” i warsztat, który w oparciu o nią prowadzimy dla uczestników[1].

Głównym celem konferencji (przynajmniej w mojej ocenie) jest zgromadzenie przedstawicieli administracji krajów rozwijających się, czyli też będących odbiorcami pomocy zagranicznej (rozwojowej, ale też humanitarnej) i stworzenie im możliwości wymiany doświadczeń, dobrych praktyk w zakresie rozwoju krajowych systemów ewaluacji, zbudowanie atmosfery i podniesienie motywacji do działań na rzecz ewaluacji.

Drugą istotną grupą uczestników są przedstawiciele organizacji zaangażowanych w pomoc rozwojową i humanitarną zwykle wywodzący się z krajów rozwiniętych – donorów. Obok organizatorów – UNDP są tu przedstawiciele m.in. innych agend, agencji i programów ONZ, Banku Światowego, OECD, międzynarodowych NGO, np. NEDA, OXFAM, krajowych agencji zajmujących się pomocą zagraniczną – jak szwedzka SIDA, ewaluacją współpracy w zakresie rozwoju – jak niemiecki DEvalczy rozwojem kultury ewaluacji – np. CLEAR. W dużo mniejszym stopniu reprezentowani są przedstawiciele środowiska akademickiego i wykonawców ewaluacji.

Opisana kompozycja uczestników ma – znowu moim zdaniem – decydujący wpływ na dobór poruszanych tematów i przede wszystkim ich odbiór wśród słuchaczy, ich komentarze w trakcie paneli i dyskusje w kuluarach.

Program konferencji został zorganizowany w cztery duże wątki:

  • Budowanie odpornych / elastycznych krajowych systemów ewaluacji;
  • Podejścia sektorowe i zarządzanie na poziomie lokalnych;
  • Ewaluacja w obliczu wyzwań globalnych;
  • Innowacje metodyczne w nowej rzeczywistości.

Panele w tych czterech wątkach odbywały się równolegle, więc trzeba było dokonać trudnego wyboru, a ja z racji zainteresowań, uczestniczyłem głównie w tych poświęconych systemom ewaluacji. Zatem na tym skupi się reszta relacji.

Pracując na co dzień w polskim kontekście, a w poszukiwaniu inspiracji, spoglądając raczej w kierunku rozwiniętych kultur ewaluacji, anglosaskich czy skandynawskich, można przeżyć szok, że ewaluacja interwencji publicznych dzieje się wszędzie – w krajach, które głównie kojarzą nam się z długotrwałymi konfliktamijak Syria czy Jemen i takimi, których większość z nas nie dałaby rady wskazać na mapie (Wyspy Solomona? Malawi?). Takie wyjście ze swojego ciasnego bąbelka jest zawsze bardzo odświeżające, daje szereg ciekawych obserwacji i refleksji, o których niżej.

Bariery rozwoju ewaluacji, przynajmniej te postrzegane i wymieniane przez panelistów, są takie same pod każdą szerokością i długością geograficzną: słabe włączenie monitoringu i ewaluacji w system zarządzania, słaby popyt i/lub podaż, niesprzyjające otoczenie prawne i polityczne, brak liderów / właścicieli ewaluacji, niesprzyjająca kultura – brak potrzeby refleksji, dociekania. W tym zakresie niczego nowego nie udało się dowiedzieć. Niestety również nie padły jakieś nowe i zaskakujące, z naszej polskiej perspektywy recepty, jak temu zaradzić.

Krajowe polityki ewaluacyjne, to coś, czym kraje globalnego południa mogą nas zaskoczyć i co budzi podziw. Plany ewaluacyjne obejmujące wszystkie polityki publiczne, urzędnicy odpowiedzialni za ewaluację w każdej jednostce rządowej, prawo wymagające ewaluacji interwencji publicznych. Takie rozwiązania opisywali przedstawiciele m.in. Filipin, Wybrzeża Kości Słoniowej, Argentyny, Zimbabwe. Oczywiście historie te były czasem mocno deklaratywne i zaprawione optymizmem na potrzeby konferencji, a mimo to pojawiały się wątki impasu, grzęźnięcia reform. Niemniej z polskiej perspektywy, gdzie mamy jedynie szczątkowe rozwiązania legislacyjne dotyczące ewaluacji (np. w polityce spójności czy strategii rozwojowych), każda całościowa inicjatywa obejmująca wszystkie polityki publiczne robi wrażenie.

Diagnoza i pomiar skuteczności systemu ewaluacji. Ewaluacja, proces ewaluacji, system ewaluacji choć zorientowane na ocenę, wartościowanie i uczenie się z interwencji publicznych same też mogą być postrzegane jako interwencja i wymagają oceny. Swoimi doświadczeniami w tym zakresie dzielili się, m.in. przedstawiciele Jamajki, Mozambiku, Zambii, Peru i Madagaskaru. Można odnieść wrażenie, że działania te są zorientowane raczej na ocenę struktury i funkcjonowania systemu, a mniej na pomiar faktycznych efektów – szacowanie wykorzystania ewaluacji i jej wpływu na polityki publiczne. Ponownie jednak, nawet te niedoskonałe inicjatywy budzą zazdrość z polskiej perspektywy. W Polsce co prawda zrealizowano dwie ewaluacje systemu realizacji polityki spójności, a w ich ramach funkcji refleksyjnej systemu i osobną ewaluację systemu jednostek ewaluacyjnych (realizowane przez Krajową Jednostkę Ewaluacyjną). Jednak wszystkie te inicjatywy były ograniczone do polityki spójności. Dodatkowo analizom poddawano potencjał analityczny kadr administracji rządowej, ale żadnej z tych inicjatyw nie można nazwać ewaluacją krajowego systemu ewaluacji.

Nieprzypadkowo na wstępie skupiłem się na uczestnikach konferencji, a następnie w tekście odwołałem do pojęcia Globalnego Południa, bowiem w moim odczuciu podział na beneficjentów i donorów, na globalne południe i północ, odciska piętno na konferencji NEC. W dyskusji o stanie krajowych systemów ewaluacji, w prezentacji przedstawicielki Karaibów, pojawił się wątek „ewaluacji jako najgorszego instrumentu epistemologicznego imperializmu”. Choć był to jeden cytat z wielu, na jednym slajdzie z wielu, kwestia ta zdominowała resztę panelu i rezonowała również później w dyskusjach w kuluarach, co może sugerować, że więcej osób tak postrzega rzeczywistość nawet jeśli głośno tego nie mówi. Słychać było narzekania, że kraje-beneficjenci nie są traktowani jak równi partnerzy, a ewaluacja była wciskana w niewygodny kontekst kolonialny (kolonializm jako „historyczny poprzednik praktyki ewaluacji na globalnym południu”). W odpowiedzi na to przedstawiciel drugiej strony, tzn. ewaluator z kraju Globalnej Północy, reprezentujący kraj, będący istotnym w wymiarze finansowym donorem, złożył coś na kształt samokrytyki, przyznając że ewaluacja kształtowana przez donorów nie może być egoistyczna, arogancka i zawłaszczająca.

Ciekawym towarzyszącym wątkiem było to wskazywanie przez kraje południa, że czerpią doświadczenia i uczą się ewaluacji także od innych krajów południa. Często wymienianymi przykładami, z których można się uczyć były Południowa Afryka, Meksyk, Jamajka[2]. Z jakiegoś powodu te obserwacje przywołały w mojej pamięci metaforę two communities Caplana, która w świecie ewaluacji i transferu wiedzy ma służyć wyjaśnieniu różnic między jej producentami (badaczami, ewaluatorami) i potencjalnymi użytkownikami (decydentami). W tym przypadku jednak chodziło mi o inny podział, na dwie społeczności świata ewaluacji.

Przysłuchiwanie się i udział w tej dyskusji był doświadczeniem o tyle ciekawszym, że nie do końca wiedziałem, gdzie jest w niej nasze – Polaków miejsce. Z jednej strony czuję większy związek kulturowy, geograficzny, itd. ze światem północy (temperatury w zimowych Suwałkach niech będą rozstrzygającym argumentem). Z drugiej, w kluczowym dla nas układzie odniesienia – UE, to my jesteśmy od lat największym beneficjentem, a historia naszej ewaluacji bardziej przypomina tę z krajów w okolicach równika niż Stanów Zjednoczonych czy Danii. 

Ta perspektywa po pierwsze podrzuciła mi myśl, że choć polska kultura i praktyka ewaluacji też niemalże w całości jest konsekwencją zewnętrznej presji, oczywistej bo zapisanej w rozporządzeniach UE, to na szczęście nie spotkałem się w naszym krajowym środowisku z głosami uznającymi ewaluację za opresyjne narzędzie KE / PE. Po drugie odnoszę wrażenie, że nadmierne skupianie na czynnikach zewnętrznych, w tym przypadku na prawdziwej lub nie arogancji i egoizmie donorów, pozbawia szansy na refleksję nad wewnętrznymi barierami rozwoju ewaluacji. Jest to wygodna, ale ryzykowna ucieczka od świadomości, że ewaluacja w przeważającej mierze jest motywowana zewnętrzną presją (choć niekoniecznie z zagranicy). Zatem jeżeli przeszkadza nam presja ze strony donorów (czy to będzie UNDP, czy KE), to należałoby sobie zadać pytanie, czy mamy jakąś inną wewnątrzkrajową presję, którą może tamtą zastąpić, np. oczekiwania społeczeństwa czy zakorzeniona kultura polityk opartych na dowodach. Jeżeli takiej alternatywnej presji nie ma, to usunięcie oczekiwań donorów jako zewnętrznego impulsu nie sprawi, że niezadowalająca nas praktyka ewaluacji zamieni się w lepszą, tylko po prostu ewaluacja zaniknie.Z Turynu wyjeżdżam z masą dodatkowych pytań, wątków i niedokończonych dyskusji. Czy w ogóle potrzebujemy krajowych systemów ewaluacji, czy też może lepszym rozwiązaniem są niezależne sektorowe i subnarodowe systemy. Jeżeli systemy narodowe, to czym one mają faktycznie być, zestawem instytucji, reguł, budujących ramy działania dla mniejszych podsystemów, czy faktycznymi producentami i użytkownikami badań. Jak inaczej wyglądałaby polska praktyka ewaluacji, gdybyśmy na początkowym etapie jej rozwoju w większym stopniu byli prowadzeni za rękę przez naszego donora (tak jak dzieje się w przypadku ewaluacji pomocy rozwojowej), czy oznaczałoby to np. wyższą jakość i standardy, ale mniejsze poczucie własności, więcej badań prawdziwie zewnętrznych (a nie tylko realizowanych przez zewnętrznego wykonawcę), więc i wiarygodnych, ale przeniesienie nacisku z uczenia na rozliczalnoś


[1] Gra ta uczy zasad i efektywnych strategii pozyskiwania i przekazywania decydentom wiedzy z badań ewaluacyjnych. Głównym autorem jej koncepcji jest prof. Karol Olejniczak. Więcej o grze – http://knowledgebrokers.edu.pl/.

[2] Oczywiście nie oznacza to zupełnego braku międzyrządowej współpracy północ – południe. Takim przykładem są np. Filipiny i Australia. 

Realizacja epidot.pl