Michał Korczyński – Pracownia Badań i Doradztwa 'Re-Source’

Ewaluacja polityki spójności jest pod wieloma względami najbardziej rozwiniętą praktyką ewaluacyjną w Polsce. Dość znamienne dla polskiej kultury ewaluacji jest to, że jej najbardziej zaawansowany obszar to taki, w którym zainicjowanie procesu ewaluacyjnego było wywołane zewnętrznym impulsem – przymusem wynikającym z rozporządzeń unijnych.

Ewaluacja w obszarze polityki spójności rozpoczęła się wraz z przystąpieniem Polski do UE w 2004 roku, a uwzględniając programy przedakcesyjne – jeszcze nieco wcześniej. Jesteśmy więc już po jubileuszowym dwudziestym roku prowadzenia ewaluacji w tym obszarze. Charakterystyczną cechą tego procesu jest rytm wyznaczany przez kolejne siedmioletnie perspektywy finansowe i okresy programowania, które w naturalny sposób skłaniają do refleksji nad tym, co działało, a co nie, oraz co można poprawić w nadchodzącym okresie. Niniejszy wpis jest właśnie zbiorem takich refleksji. Dla porządku warto zaznaczyć, że są to obserwacje autora – uczestnika procesu ze strony wykonawców, ograniczone do przypadków ewaluacji, w których bezpośrednio uczestniczył, nie poparte systematyczną analizą obejmującą całość ewaluacji polityki spójności i w tym sensie subiektywne. Ich zamierzeniem nie jest ostateczne rozstrzyganie o poruszanych kwestiach, a raczej zaproponowanie dyskusji na ich temat.

Obserwacje, wnioski z realizacji procesu ewaluacji polityki spójności 2014-2020:

• Widoczny wzrost potencjału merytorycznego większości jednostek ewaluacyjnych, przy czym nie zawsze przekłada się to np. na jakość OPZ, czy kryteria oceny ofert.
• Poszerzanie się zakresu użytecznych danych zastanych udostępnianych ewaluatorom na potrzeby badań ewaluacyjnych przez dysponentów tych danych (tj. najczęściej operatorów systemów informatycznych, w których gromadzone są te dane).
• Cały czas występujące napięcie pomiędzy wymaganiami dotyczącymi ewaluacji obligatoryjnych (w tym: ich zakresu merytorycznego oraz metodologicznego) a autonomią jednostek ewaluacyjnych. Skutkuje to tym, że mamy określoną pulę badań ewaluacyjnych mających charakter obligatoryjny, wobec których same jednostki ewaluacyjne się dystansują, a jednocześnie poza tego typu badaniami mamy całe kontinuum różnych modeli funkcjonowania jednostek ewaluacyjnych: od skupienia się tylko na badania obligatoryjnych, przez realizację pojedynczych badań spoza katalogu badań obligatoryjnych, aż po dużą aktywność w realizacji różnych ewaluacji ad hoc (które często okazują się najbardziej użyteczne z punktu widzenia samych jednostek ewaluacyjnych, gdyż odpowiadają na ich rzeczywiste potrzeby informacyjne).
• Brak skutecznych mechanizmów eliminowania ewaluatorów przygotowujących raporty ewaluacyjne cechujące się niską jakością oraz brak skutecznych narzędzi wyboru ofert gwarantujących odpowiednią jakość badań ewaluacyjnych, przy jednoczesnym dużym rozbudowaniu różnego rodzaju wymagań proceduralno-administracyjnych już na etapie realizacji samego badania.
• Brak odwagi większości Zamawiających w stosowaniu rzeczywistych, a nie pozornych kryteriów jakościowych oceny ofert (pozorne kryteria jakościowe to kryteria dot. np.: terminu realizacji badania, wielkości próby) lub kryteriów niewymagających kreatywności od oferentów (ściśle sparametryzowane kryteria lub kryteria odnoszące się do zawarcia w ofercie określonych elementów, a nie oceny jakości i wartości merytorycznej tych elementów).
• Utrzymywanie się cały problemu bardzo małego przełożenia ewaluacji programowych na wprowadzanie zmian na poziomie centralnym / wspólnotowym. Ewaluacje traktowane są często jako dotyczące wyłącznie danego programu, choć wiele identyfikowanych problemów i formułowanych zaleceń dotyczy wymiaru ponadprogramowego. Same jednostki ewaluacyjne są bardzo niechętne formułowaniu rekomendacji dotyczących wymiaru ponadprogramowego (horyzontalne i pozasystemowe). Jest to zasadniczy błąd w kontekście kumulacji wiedzy oraz transferu rekomendacji. Nie rozwiązuje tego problemu realizacja meta-ewaluacji czy ewaluacji podsumowujących realizację Polityki Spójności w określonych obszarach, gdyż tego rodzaju badania realizowane są z reguły już po zakończeniu danego okresu finansowania lub w jego finalnej fazie.
• Wysoce dysfunkcyjny wpływ Systemu Wdrażania Rekomendacji. W dotychczasowym kształcenie SWR doprowadził do sytuacji, w której jednostki ewaluacyjne traktują kwestię rekomendacji jako problem administracyjny. W rezultacie, w ramach prowadzonych badań ogranicza się w sposób sztuczny liczbę rekomendacji (określając np. w OPZ maksymalną liczbę rekomendacji, która ma zostać zawarta w raporcie) lub oczekuje się od ewaluatorów takiej modyfikacji rekomendacji, by jak najbardziej zmniejszyć potencjalny wysiłek jednostki ewaluacyjnej (lub wybranych komórek organizacyjnych IZ) we wdrażaniu rekomendacji i ich monitorowaniu. Znacząco obniża to jakość rekomendacji, a jednocześnie prowadzi do sytuacji, w której ewaluacja ma ograniczony potencjał w generowaniu rzeczywistych zmian. Dodatkowym problemem jest „owskaźnikowanie” ewaluacji poprzez odniesienie do odsetka wdrożonych rekomendacji, co skutkuje akceptacją przez Zamawiających rekomendacji „bezpiecznych”, a niekoniecznie tych najbardziej uzasadnionych.
• Problem z właściwym „timingiem” realizacji badań ewaluacyjnych. Właściwie na badania ewaluacyjne nigdy nie ma dobrego momentu, ale istotne jest, by wszystkie strony procesu miały świadomość ograniczeń wynikających z danego momentu czasowego ewaluacji. Chodzi przede wszystkim o etap formułowania rekomendacji – niewłaściwe zaplanowanie momentu realizacji ewaluacji sprawia, że niekiedy konkretne badanie już w momencie jego rozpoczęcia jest obciążone problemem ograniczonej użyteczności wyników i rekomendacji (bo jest za późno lub za wcześnie na wprowadzenie określonych rozwiązań).

Możliwości usprawnień w systemie ewaluacji w przyszłym okresie programowania (2027+)

• Przebudowa lub budowa od podstaw Systemu Wdrażania Rekomendacji. Należy przede wszystkim zwiększyć elastyczność jeśli chodzi o funkcjonowanie SWR (np. stworzenie możliwości zawierania w treści sposobu wdrożenia kilku różnych sposobów wdrożenia stanowiących kafeterię możliwych do podjęcia działań; dopuszczenie możliwości nieokreślania terminu wdrożenia rekomendacji lub określania warunkowego, a nie kalendarzowego; dopuszczenie możliwości formułowania rekomendacji, które nie podlegają standardowemu procesowi monitorowania wdrażania rekomendacji). Należy również stworzyć zalecenia dla jednostek ewaluacyjnych, by nie ograniczały one liczby rekomendacji w raporcie końcowym (traktowanie takiego podejścia jako „złej praktyki”).
• Niestosowanie pozornych kryteriów jakościowych oceny ofert. Tego rodzaju kryteria są najczęściej spełniane w stopniu maksymalnym przez wszystkich oferentów, co prowadzi do tego, że decydujące znaczenie w wyborze oferty najkorzystniejszej ma cena, a to jest zasadniczy błąd w przypadku postępowań dot. usług badawczych. Jest to mechanizm nie tylko zaniżania cen badań ewaluacyjnych, ale także ich jakości, bo ta ostatnia w takich przypadkach nie ma żadnego realnego wpływu na przebieg oceny złożonych ofert.
• Zapewnienie transparentności finansowej zamówień publicznych w obszarze ewaluacji. Ze względu na specyfikę przedmiotu zamówienia, jednostki zamawiające usługi badawcze w obszarze ewaluacji nie powinny korzystać z przysługującego im w ramach PZP prawa do nieupubliczniania wartości zamówienia przed termin składania ofert. W sytuacji, w której informacja ta nie jest upubliczniana, a jednocześnie oczekuje się zaplanowania całego procesu badawczego (wraz z elementami dodatkowymi, takimi jak: dodatkowe pytania badawcze, dodatkowe techniki badawcze), mamy do czynienia z brakiem podstawowych informacji niezbędnych do przygotowania oferty, a sam proces oceny ofert jest później obarczony istotną wadą.
• Większa otwartość na porażki i problemy procesu badawczego. Badania w wielu aspektach stają się coraz trudniejsze (np. w kwestii dotarcia do respondentów). Może to skutkować brakiem gotowości do podejmowania przez Zamawiających i ewaluatorów ryzyka badawczego. Dlatego istotne jest, by to ryzyko było w pewnym sensie wpisane w proces badawczy. Wymaga to większej elastyczności w akceptowaniu modyfikacji podejścia badawczego w trakcie badania. Niezbędne jest też, by w samych raportach ewaluacyjnych w sposób otwarty pisano o występujących problemach i wprowadzonych działaniach zaradczych.