Konferencja Europejskiego Towarzystwa Ewaluacyjnego w Kopenhadze była dla mnie okazją do wzbogacenia mojej ewaluacyjnej skrzynki narzędziowej. Opiszę tutaj te narzędzia, która pojawiały się najczęściej i które uznałem za najbardziej inspirujące dla mojej dalszej pracy. W ewaluacji interesuje mnie przede wszystkim aspekt metodologiczny. Takie sesje wybierałem i przede wszystkim takie narzędzia opisuję poniżej.

Narzędzia badawcze

Wśród metod badań czy podejść do badań najczęściej – według mojego subiektywnego przeglądu – pojawiały się analiza kontrybucji, metody oparte na teorii zbiorów, outcome harvesting oraz data science. Dwa ostatnie terminy według mojej wiedzy nie mają jeszcze dobrych tłumaczeń, dlatego pozwalam sobie użyć nazw angielskich. Oczywiście pojawiały się także inne metody m.in. opisywana była nowa, inspirująca książka Laury Peck wprowadzająca do wykorzystania eksperymentów w ewaluacji.

Analiza kontrybucji to podejście, które jest wykorzystywane w analizie tego w jakim stopniu dany program kontrybuował do zaobserwowanej zmiany.  Punktem wyjście jest więc uznanie, że za zmianę nie jest odpowiedzialny tylko i wyłącznie ewaluowany program. Analiza kontrybucji opiera się w dużej mierze na wyartykułowaniu procesu domniemanej kontrybucji i poszukiwaniu dowodów weryfikujących trafność tego opisu. Więcej informacji o analizie kontrybucji.

Metody oparte na teorii zbiorów to przede wszystkim jakościowa analiza porównawcza (qualitative comparative analysis, QCA) i wykorzystywane na poziomie poszczególnych przypadków śledzenie procesu (process tracing). Opierają się one na innych założeniach niż analizy statystyczne i umożliwiają transparentne badanie złożonych relacji przyczynowo-skutkowych także dla mniejszych zbiorów danych. Prezentacje w ramach konferencji koncentrowały się na innowacyjnych próbach zastosowania obu podejść (np. wykorzystanie QCA w ramach ewaluacji realistycznej) oraz komunikacji metod i ich wyników różnorodnym interesariuszom. W tym kontekście uwagę poświęcano także wyjaśnieniu takich pojęć stosowanych w badaniach jak mechanizm i kontekst. Nową metodą opartą na teorii zbiorów zaprezentowaną na konferencji jest analiza koincydencji. Jest ona podobna do QCA, ale opiera się na innych założeniach odnośnie przyczynowości i umożliwia analizowanie bardziej skomplikowanych relacji przyczynowo-skutkowych.

Outcome harvesting to jedno z podejść do ewaluacji i monitoringu, któremu poświęcono najwięcej prezentacji w trakcie konferencji.  Jest ono szczególnie popularne w programach rozwojowych.  Podejście to zakłada rozpoczęcie badania od zidentyfikowana potencjalnych rezultatów tzn. zmian na poziomie zachowania. Chodzi nie tylko o rezultaty zamierzone, ale także nieplanowane, w tym negatywne. Dopiero po dokładnym przeanalizowaniu rezultatów bada się ich związek z ewaluowaną interwencją. Badacze wykorzystujący outcome harvesting stworzyli użyteczną stronę, na które dzielą się swoimi doświadczeniami i zasobami. A tutaj można znaleźć krótki opis podejścia.

Data science jest coraz śmielej wykorzystywane w badaniach ewaluacyjnych. O ile nie można oczekiwać, że wszyscy zaczniemy stosować te narzędzia, warto jednak je znać i wiedzieć kiedy mogą być użyteczne. Ciekawe prezentacje z tego obszaru w trakcie konferencji dotyczyły m.in. zautomatyzowanej analizy danych tekstowych (tutaj policy brief). Najciekawsze dla mnie prezentacje opisywały także kuchnię współpracy pomiędzy ewaluatorami a specjalistami data science i proces wzajemnego uczenia się.

Inne narzędzia i inspiracje

Nie samymi metodami badań i analizy żyje ewaluator. Ważnym tematem konferencji było także właściwe komunikowanie się z interesariuszami badania. Najważniejsze zasady są teoretycznie wszystkim znane, m.in. prosto, z użyciem wizualizacji i przedstawiając trafne opowieści zamiast suchych liczb. W praktyce ciągle są potrzebne i powstają nowe narzędzia i dobre praktyki.  Powyżej przedstawiam przywołaną na konferencji wizualizację zmian klimatycznych. Z kolei Stephanie Evergreen przedstawiła w trakcie swojej prezentacji listę kontrolną dobrego wykresu.

Ważnym wątkiem pojawiającym się w wielu prezentacjach było myślenie systemowe i związane z nim narzędzia. Przykładowo, często zamiast opisywać działanie interwencji w sposób linearny powinniśmy być w stanie dostrzec w nim różne sprzężenia zwrotne. Myślenie systemowe powinno także przekładać się na naszą refleksję odnośnie naszego wpływu na otoczenie. Wpływ ten nie zawsze jest  pozytywny, o czym inspirująco mówili w wystąpieniu plenarnym Peter Dahler-Larsen i Estelle Raimondo. Postulowali oni większy sceptycyzm wśród ewaluatorów odnośnie własnych działań. Zaproponowali także zestaw 10 zasad, które powinniśmy w związku z tym stosować.

Pełny program konferencji można znaleźć tutaj. Jeśli po przeczytaniu tego wpisu masz – droga czytelniczko lub drogi czytelniku – jakieś pytania lub komentarze, napisz do mnie: seweryn.krupnik@uj.edu.pl.