Miałem przyjemość uczestniczyć w piątej konferencji Zachodniobałkańskiej Sieci Ewaluatorów (WBEN), która odbyła się 29-30 września w Lublanie. WBEN to nieformalna organizacja, zrzeszająca krajowe stowarzyszenia ewaluatorów z krajów byłej Jugosławii (Słowenii, Chorwacji, Bośni i Hercegowiny, Serbii, Czarnogóry i Macedonii). Niedawno obchodziła dziesięciolecie istnienia, co dało okazję do wspomnienia spotkania przedstawicieli różnych krajów na lotnisku, w trakcie którego została powołana do życia. Konferencja WBEN odbywa się co dwa lata, rotacyjnie w poszczególnych krajach. W tym roku uczestniczyłem w niej po raz trzeci, wcześniej miałem do tego okazję w Sarajewie (2015) i Belgradzie (2019).

Konferencja odbywała się oficjalnie w trzech językach. Większość prelegentów decydowała się na języki zrozumiałe dla szerszego kręgu odbiorców, dlatego największa liczba wystąpień została wygłoszona po angielsku, mniej po serbsko-chorwacku, a najmniej po słoweńsku. Otwierające konferencje przemówienia, które wygłosili główny organizator konferencji Bojan Radej, dziekan goszczącego uczestników wydziału uczelni Igor Bernik, koordynator WBEN Vlatko Danilov i reprezentująca Słoweńskie Towarzystwo Ewaluatorów Mojca Golobič, zostały przetłumaczone i z poszczególnymi wersjami językowymi można się było zapoznać skanując QR Code. Późniejsze wystąpienia nie były tłumaczone, więc znajomość regionalnych języków była przydatna. Relacja i materiały z konferencji były na bieżąco publikowane na stronie LinkedIn WBEN (https://www.linkedin.com/groups/4494627/). 

Na konferencji dominowały trzy tematy. Pierwszy to kondycja ewaluacji w krajach byłej Jugosławii. Ta problematyka dominowała pierwszego dnia przed południem. Przedstawione zostały krajowe organizacje ewaluatorów i ich niedawna działalność. Słoweńską przedstawiła Mojca Golobič, chorwacką Marijana Sumpor, a bośniacką Nijaz Avdukić. Ja natomiast miałem przyjemność przedstawić działalność Polskiego Towarzystwa Ewaluacyjnego. Pytania, które mi zadawano w trakcie dyskusji i na przerwie, dotyczyły naszych starań o otrzymanie statusu Instytucji Certyfikującej przy nadawaniu kwalifikacji ewaluatora. Opowiadając o nich nawiązałem do postulatu wyrażonego wcześniej przez Liljanę Rihter, by opisać kompetencje, które powinien posiadać ewaluator. Nasze Towarzystwo zostało również wspomniane przez Mihajlo Djukicia, który przedstawiał projekt „Strengthening VOPEs’ capacities in Europe: A practical approach for streamlining the evaluation of Key Horizontal Principles (KHP)” z naszym udziałem.

Prelegenci ze wszystkich krajów WBEN (z wyjątkiem Czarnogóry, która nie była reprezentowana na konferencji) mówili o niskim poziomie kultury ewaluacyjnej – o tym, że wyniki ewaluacji nie przekładają się na politykę publiczną i wprowadzane regulacje, a decydenci dostrzegają w nich raczej ryzyko krytyki niż przydatną informację zwrotną.  Mojca Golobič wspomniała o uporczywie ponawianych i bezskutecznych wnioskach składanych do kolejnych rządów Słowenii w sprawie powołania niezależnego ciała odpowiedzialnego za ewaluację. Wątek braku tego rodzaju instytucji w poszczególnych krajach pojawiał się zresztą również później w rozmowach między uczestnikami konferencji. Obraz sytuacji nie był jednak całkowicie negatywny. Dalibor Dvorny wspomniał o przypadkach, gdy przeprowadzona ewaluacja wywarła jednak pewien wpływ na politykę publiczną. Nijaz Avdukić i Rijad Kovač opisali, jak udało im się wprowadzić w Bośni i Hercegowinie zapisy prawne o obowiązku przeprowadzenia ewaluacji ex-ante i ex-post strategii rozwoju, a także nauczyć pracowników administracji, jak spełniać ten obowiązek, co przyniosło zauważalną poprawę jakości dokumentów strategicznych. Natomiast Marijana Sumpor i Dalibor Dvorny opowiedzieli o swoich przygotowaniach do przeobrażenia obecnej nieformalnej sieci chorwackich ewaluatorów w formalną organizację.

Druga część pierwszego dnia konferencji, z udziałem gości z Belgii (Voices That Count) i Holandii (Resultsinhealth), poświęcona była kwestiom metodologicznym. Przedstawionych zostało kilka technik badań jakościowych, takich jak Outcome Harvesting, Most Significant Change w połączeniu z Photovoice czy Causal Mapping. Łączy je podobne podejście: partycypacyjne i narracyjne. Punktem wyjścia nie jest w nich teoria zmiany, lecz wypowiedzi lub zdjęcia wykonane przez uczestników. Same techniki są już znane od co najmniej dwudziestu lat, natomiast niedawno powstały nowe narzędzia służące do zbierania za ich pomocą danych lub do analizy tych danych. Narzędzia te zostały omówione, przedstawiono również kokretne przykłady ich wykorzystania. Prelegenci angażowali uczestników tej części konferencji, wprowadzając do niej elementy warsztatów. Mogliśmy na własnej przekonać się, jak wygląda zastosowanie omawianych technik narracyjnych, na przykład kiedy mieliśmy za zadanie opowiedzieć siedzącej obok osobie, najlepiej nieznajomej, o swoich zawodowych dokonaniach. Wypełnialiśmy też na telefonach komórkowych kwestionariusz, generując w ten sposób dane, które posłużyły do zaprezentowania narzędzia o zachęcającej nazwie SenseMaker, pozwalającego szybko uzyskać obraz danego zagadnienia. W bloku metodologicznym nie zabrakło też modnego tematu sztucznej inteligencji. Po wprowadzeniu w tę problematykę przez Bojana Radeja, Nur Hidayati przedstawiła swoje doświadczenia z zastosowaniem sztucznej inteligencji, a konkretnie wyspecjalizowanego oprogramowania AILYZE. Jego twórca, James Goh z MIT, miał zresztą pierwotnie wystąpić na konferencji, ale odwołał swój udział. Nur Hidayati współpracowała jednak z nim używając AILYZE w badaniach ewaluacyjnych do analizy nieustrukturyzowanych danych tekstowych, będących rezultatami Outcome Harvesting lub transkrypcjami z FGI i KII. Sztuczna inteligencja wchodziła więc właściwie w rolę nowej generacji oprogramowania typu CAQDAS, posiadając, pod warunkiem właściwego i precyzyjnego sformułowania zapytania, niebagatelne zalety, takie jak szybkość analizy, trafność i obiektywność.       

Po zaprezentowania technik i narzędzi przewidziano czas na dyskusję nad nimi. Uczestnicy zgłaszali pewne wątpliwości co do następującego przy ich zastosowaniu przejścia od danych jakościowych do zestawień ilościowych, na przykład zwizualizowanych w postaci wykresów. Niektórzy mieli wrażenie, że następuje przy tym utrata ważnych informacji. Powtarzała się opinia, że zaprezentowane techniki wnoszą małą lub wręcz zerową wartość dodaną w przypadku prostych, banalnych problemów badawczych, natomiast mogą się okazać przydatne, gdy mamy do czynienia ze złożoną i słabo rozpoznaną sytuacją. 

Drugiego dnia przed południem uczestnicy byli rozdzieleni na dwie równoległe sesje. Relację mogę zdać jedynie z tej sesji, która rozpoczęła się moim referatem na temat polskich doświadczeń w analizie indywidualnych danych z rejestrów publicznych. Po mnie Fahrudin Memić omawiał przykłady zastosowania języka programowania Python w ewaluacji, ale rownież wykorzystania danych z rejestru mieszkańców, nawiązując tym samym do mojego wystąpienia. Jako ciekawostkę podam, że łączyła nas jeszcze jedna rzecz – polskie pochodzenie babki Mehrudina. Nie będę oczywiście przytaczał związanej z tym historii, a zainteresowanych tematem Polaków osiedlonych w czasie zaborów w Bośni, których wielu potomków wróciło zresztą po drugiej wojnie światowej do naszego kraju i zamieszkało w okolicach Bolesławca, odsyłam do źrodeł możliwych do odnalezienia w Internecie.

Dalszą część sesji wypełnił blok prezentacji związanych z planowaniem przestrzennym i oceną oddziaływania terytorialnego. Przestrzenny i terytorialny wymiar analiz to trzeci temat, któremu poświęcone zostało wiele wystąpień na konferencji, również pierwszego dnia i w ramach drugiej równoległej sesji. Być może przyczyną było to, że wielu najbardziej aktywnych członków Słoweńskiego Towarzystwa Ewaluatorów zajmuje się zawodowo właśnie planowaniem przestrzennym lub pokrewną działalnością analityczną. Nowe rozwiązania w tej dziedzinie prezentowali jednak również prelegenci z Chorwacji.

Konferencję zwieńczyła dyskusja poświęcona perspektywom dalszego rozwoju Zachodniobałkańskiej Sieci Ewaluatorów. Zgłoszony został pomysł, żeby ożywić stronę www.elval.org, na której będą zamieszczane teksty prezentujące wyniki ewaluacji językiem zrozumiałym dla laików. Omawiane były również takie kwestie, jak pisanie working papers, możliwość stworzenia w przyszłości naukowego czasopisma WBEN, potencjalne źródła finansowania (programy międzynarodowe), regularne spotkania online członków sieci i wykorzystanie LinkedIn.

Na koniec było oczywiście wspólne zdjęcie i pożegnanie. Szósta konferencja WBEN odbędzie się w roku 2025 w Sarajewie.