Ewaluacja programów operacyjnych

historia

definicja
- cele
- funkcje
- typy

przygotowanie badania

definicja ewaluacji
systematyczne badanie prowadzone z użyciem zróżnicowanych metod badań społeczno - ekonomicznych, zlożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego celem jest oszacowanie (w odniesieniu do jasno sformułowanych kryteriów) jakości i wartości procesów oraz efektów interwencji publicznych
Patton 2004; Rossi et al. 1999; Mathison 2004; Weiss 1998

Ewaluację można definiować jako systematyczną i obiektywną ocenę programu lub polityki, ich założeń, procesu realizacji i rezultatów pod względem stosowności, skuteczności, trwałości, efektywności, a także użyteczności podjętych w ich ramach działań. Powinna ona dostarczać rzetelnych i przydatnych informacji o obiekcie badania, wspierając w ten sposób proces decyzyjny oraz współdziałanie wszystkich partnerów zaangażowanych w realizację projektu
Polskie Towarzystwo Ewaluacyjne, Ewaluacja w administracji publicznej. Funkcje, standardy i warunki stosowania, opracowanie, wrzesień 2006

Ewaluacja to obiektywna ocena projektu, programu lub polityki na wszystkich jego etapach, tj. planowania, realizacji i mierzenia rezultatów. Powinna ona dostarczyć rzetelnych i przydatnych informacji pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym. Często dotyczy ona procesu określenia wartości lub ważności działania, polityki lub programu.

Wzmacnianie odpowiedzialności informowanie społeczeństwa na ile cele programu zostały osiągnięte i jak efektywnie użyto przypisanych zasobów publicznych Wspieranie procesów uczenia się wyjaśnianie czynników i procesów warunkujących sukces programu lub jego porażkę weryfikowanie teorii stojących za politykami promowanie dobrych wzorców Poprawianie planowania zagwarantowanie uzasadnienia dla polityki/programu oraz wydajnej i racjonalnej alokacji zasobów Poprawa wdrażania i kontroli jakości podnoszenie jakości struktur zarządzania programem podnoszenie jakości procesu implementacji działań minimalizowanie negatywnych efektów zarządząnia opartego na wynikach Wzmacnianie partnerstwa i poczucia współwłasności wzmacnianie powiązań, interakcji między uczestnikami programu aktywizowanie interesariuszy - włączanie ich w działania programu, dyskusję nad jego oceną uprawnianie interesariuszy - włączanie we współdecydowanie o programie tych grup, które były marginalizowane	orientacja strategiczna

	orientacja operacyjna

poziom ufności	(wartości od 0 do 1, oba typy zmiennych) Poziom ufności to prawdopodobieństwo z jakim uzyskany w badaniu wynik faktycznie odwzorowuje rzeczywistość (z uwzględnieniem przyjętego marginesu błędu). Przyjęty poziom ufności 0.95 oznacza, iż istnienie 5% prawdopodobieństwo, że rzeczywisty wynik nie mieści się w oszacowanym przez nas przedziale (że błąd wykracza poza przyjęty margines). Oznacza to, że przeprowadzając ankietę składającą się z 30 pytań i przyjmując poziom ufności 0.95 musimy się liczyć z faktem, że istnieje 79% prawdopodobieństwo, że w przynajmniej jednym pytaniu błąd naszego wyniku wykracza poza pożądany margines.
margines błędu	(wartości od 0 do 1, zmienne dychotomiczne) Margines błędu to inaczej szerokość przedziału w którym zawiera się faktyczny rezultat (wynik dla całej populacji). Decydując się na badanie na próbie godzimy się na to, że nasz wynik nie będzie dokładnym odwzorowaniem rzeczywistości a margines błędu pokazuje jak dokładny wynik nas satysfakcjonuje. Przy założonym marginesie błędu 0.05 i wyniku badania 40 respondentów z których 30 poparło opcję "A", należy uznać, że w całej populacji opcja "A" cieszy się poparciem od 70% do 80% ludzi. Im bliżej wynik oscyluje wokół wartości dla nas istotnej, tym mniejszy błąd możemy akceptować.
szerokość przedziału	(wartości od 0 do ∞, zmienne ciągłe) Szerokość przedziału wyznacza margines błędu jaki zamierzamy tolerować. Jeżeli w wyniku badania uzyskamy np. wartość 35 godzin które średnio tygodniowo ludzie spędzają w pracy a szerokość przedziału będzie ustalona na 10, to faktyczna liczba godzin mieścić się będzie w przedziale 40 +/- 10 czy od 25 do 45. Im mniejszy przedział tym większa minimalna próba.
proporcja odpowiedzi	(wartości od 0 do 1, zmienne dychotomiczne) Proporcja odpowiedzi to rozkład odpowiedzi jakiego się spodziewamy. Element ten dotyczy tylko zmiennych 0/1 (pytań: czy używasz, znasz, popierasz, korzystałeś - wszystkich tych gdzie odpowiedź brzmi tak/nie, 0/1). Jeżeli spodziewamy się konkretnego rozkładu odpowiedzi w populacji to wpływa to na wielkość pożądanej próby. Im bardziej skośny rozkład, np. 10% na "tak", 90% na "nie" (wartość 0.1), tym mniejsza może być próba. Jeżeli nie potafimy oszacować proporcji, należy wybrać 0.5.
odchylenie standardowe	(wartości od 0 do ∞, zmienne ciągłe) Odchylenie standardowe jest miarą zmienności zjawiska w populacji. Intuicyjnie, mówi ono jak daleko od średniej są rozrzucone poszczególne wartości. Zazwyczaj trudno jest ustalić wartość odchylenia, ale musimy ją jakoś szacować, np. jeśli chcemy oszacować średni wzrost chłopców w szkole średniej to możemy zgadywać, że będzie to ok. 180cm a większość zmieści się w przedziale 170 - 190. To oznacza, że możemy przyjąć odchylenie na poziomie 6. Im większe odchylenie, tym większą próbę trzeba przebadać.
wielkość populacji	(wartości od 1 do ∞, oba typy zmiennych) Populacja to zbiorowość dla której szacujemy wynik, z której będziemy pobierać próbę. W zależności od przedmiotu badania może to być liczba uczniów w szkole, przedsiębiorców w województwie, obywateli kraju z prawem do głosowania. Parametr ten ma znaczenie przy małych wartościach - populacjach. Wyniki dla populacji powyżej 50000 niewiele będą się różniły od populacji nieskończonej.
współczynnik realizowalności	(wartości od 0 do 1, oba typy zmiennych) Współczynnik realizowalności to odsetek zwrotów jakiego się spodziewamy. W zależności od stosowanej techniki oraz badanej populacji może się on znacznie różnić (np. przy ankiecie pocztowej możemy się spodziewać zwrotów na poziomie 40% - 50%, realizacja wywiadów kwestionariuszowych na wsi może sięgnąć 90%, ale w dużym mieście wynieść ok 50%). Im mniejszy współczynnik tym bardziej próba zrealizowana różni się od planowanej i tym samym planowana musi wzrosnąć.
minimalna wielkość próby
Jeśli nasze badanie zakłada stawianie wielu pytań a spodziewane dla nich proporcje odpowiedzi / odchylenia standardowe są różne, to należy oszacować wielkość próby dla każdego z pytań osobno i wybrać do badania wartość największą.

Rok	2004	2006	2008
Budżet na ewaluacje	100 000 EUR	500 000 EUR	6 250 000 EUR
Zrealizowane badania	5	52	112