Czym jest ewaluacja?
Ewaluacja jest rozumiana jako:
- Ocena wartości projektu z zastosowaniem określonych kryteriów w celu jego usprawnienia, rozwoju lub lepszego rozumienia.
- Zbieranie, analiza oraz interpretacja danych na temat znaczenia i wartości projektu przy zwróceniu uwagi na zagadnienia istotne dla zainteresowanych.
- Ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w kontekście założonych celów, porównywanie rezultatów projektu ze wstępnymi zamierzeniami.
ytyczne w zakresie ewaluacji programów operacyjnych na lata 2007-13 definiują ewaluację jako osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.
Ewaluacja może służyć wielu celom. Najczęściej ewaluacja prowadzona jest dla:
- Zbadania potrzeb np. beneficjentów
- Określenie kierunków i celów działań
- Poprawy przejrzystości podejmowanych działań
- Poznawania mechanizmów wdrażania programów i projektów
- Zwiększenie skuteczności i efektywności programów/projektów
- Wspomagania procesu podejmowania decyzji
- Identyfikowania słabych i mocnych stron interwencji
- Sygnalizowania pojawiających się problemów
- Określania stopnia zgodności z przyjętymi założeniami
- Zwiększania profesjonalizmu świadczonych usług
- Pogłębianie odpowiedzialności za program/projekt
- Demokratyzacji procesu zarządzania
Rodzaje ewaluacji:
ex-ante
(przed realizacją programu/projektu)
mid-term/on-going/ewaluacja bieżąca
(podczas realizacji programu/projektu)
ex-post
(po zakończeniu realizacji programu/projektu)
Ewaluacja ex-ante:
- Przeprowadzana jest przed wdrażaniem projektu/programu
- Ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb (sektora, beneficjentów) oraz spójna w zakresie planowanych celów i sposobów ich realizacji
- Bada kontekst społeczny, gospodarczy, prawny
- Służy identyfikacji potencjalnych trudności
- Diagnozuje potrzeby i oczekiwania grupy docelowej
Ewaluacja mid-term:
- Realizowana jest mniej więcej w połowie wdrażania interwencji
- Poddaje analizie osiągnięte na tym etapie produkty i rezultaty
- Dokonuje pierwszej oceny jakości realizacji projektu/programu
- Ocenia poczynione na etapie programowania założenia (cele, wskaźniki)
- Diagnozuje kontekst realizacji przedsięwzięcia
- Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń
Ewaluacja ex-post
- Przeprowadzana jest po zakończeniu realizacji projektu/programu
- Ocenia ma ile udało się osiągnąć założone cele
- Ocenia skuteczność i efektywność interwencji oraz jej trafność i użyteczność
- Bada długotrwałe efekty (oddziaływanie) projektu/programu oraz ich trwałość
- Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji
rzystępując do przeprowadzania ewaluacji trzeba ją precyzyjnie zaplanować, by jak najskuteczniej wykorzystać czas i posiadane zasoby. Unika się w ten sposób również niebezpieczeństwa przeprowadzenia ewaluacji mało efektywnej, zwiększa się natomiast jej użyteczność. Im lepiej zaplanowana ewaluacja, tym większa szansa na przeprowadzenie jej w taki sposób, który dostarczy istotnych, wiarygodnych i rzetelnych informacji, odpowiadających potrzebom i zainteresowaniom jej odbiorców i użytkowników.
Najczęściej stosowane kryteria ewaluacji:
- Trafność (relevance) – kryterium to pozwala ocenić, w jakim stopniu przyjęte cele projektu odpowiadają zidentyfikowanym problemom w obszarze objętym projektem i/lub realnym potrzebom beneficjentów
- Efektywność (efficiency) – kryterium to pozwala ocenić poziom „ekonomiczności” projektu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas
- Skuteczność (effectiveness) – kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie programowania zostały osiągnięte
- Oddziaływanie/wpływ (impact) – kryterium to pozwala ocenić związek pomiędzy celem projektu i celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju
- Trwałość efektów (sustainability) – kryterium to pozwala ocenić czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju
Standardy ewaluacji zostały wypracowane przez Polskie Towarzystwo Ewaluacyjne w ramach projektu „Wspólnie tworzymy standardy ewaluacji w Polsce”. Opracowane standardy są efektem wspólnej pracy szerokich środowisk zajmujących się ewaluacją. Ze szczegółowym opisem standardów ewaluacji mogą się Państwo zapoznać tutaj.