Opracowanie i przeprowadzenie ewaluacji projektów systemowych OPS i PCPR realizowanych w ramach Działania 7.1 Programu Operacyjnego Kapitał Ludzki, w oparciu założenia do ewaluacji projektów systemowych Ośrodków Pomocy Społecznej i Powiatowych Centrów Pomocy Rodzinie z terenu województwa mazowieckiego, realizowanych przed 2010 rokiem w ramach Działania 7.1 Programu Operacyjnego Kapitał Ludzki Ministerstwa Rozwoju Regionalnego oraz opracowanie i przeprowadzenie ewaluacji projektu systemowego PO KL realizowanego przez MCPS..

Opis przedmiotu przetargu: Przedmiotem pierwszej części zamówienia jest przeprowadzenie ewaluacji projektów systemowych OPS i PCPR realizowanych w ramach Działania 7.1 Programu Operacyjnego Kapitał Ludzki, w oparciu założenia do ewaluacji projektów systemowych Ośrodków Pomocy Społecznej i Powiatowych Centrów Pomocy Rodzinie z terenu województwa mazowieckiego, realizowanych przed 2010 rokiem w ramach Działania 7.1 Programu Operacyjnego Kapitał Ludzki Ministerstwa Rozwoju Regionalnego. I. Cel ewaluacji projektów systemowych 1. Głównym celem ewaluacji projektów systemowych, realizowanych w Poddziałaniu 7.1.1 oraz 7.1.2 PO KL jest ocena jakości wsparcia przewidzianego w tych projektach systemowych oraz pozyskanie kompleksowej wiedzy na temat sposobu zarządzania i wdrażania przedmiotowych projektów. Wynikiem przeprowadzonej ewaluacji powinny być trafne i użyteczne rekomendacje, służące poprawie jakości przygotowywanych projektów systemowych oraz bardziej skutecznemu i efektywnemu ich wdrażaniu w kolejnych latach programowania. 2. Cele szczegółowe ewaluacji to: 1) ocena jakości wykorzystanych w projektach systemowych narzędzi, instrumentów oraz zastosowanych form pomocy społecznej pod kątem ich trafności, skuteczności i efektywności, w efekcie której zaproponowane zostaną rozwiązania o charakterze systemowym, które będzie można powszechnie uznać jako rozwiązania modelowe i stosować w przyszłości; 2) ocena potencjału beneficjentów oraz jakości zarządzania w projektach systemowych, w tym zasobów beneficjentów systemowych, służących skutecznej i efektywnej realizacji projektów oraz stopnia przygotowania do realizacji projektów systemowych; 3) identyfikacja barier i problemów: związanych z wdrażaniem projektów systemowych, realizowanych w ramach Poddziałania 7.1.1 oraz Poddziałania 7.1.2 PO KL; powodujących nieprzystępowanie niektórych OPS/PCPR do realizacji projektów systemowych; powodujących, że niektóre OPS/PCPR zrezygnowały z realizacji projektów systemowych; 4) identyfikacja potrzeb beneficjentów systemowych Poddziałania 7.1.1 oraz Poddziałania 7.1.2 PO KL, związanych z realizacją projektów systemowych; 5) ocena stopnia efektywności i jakości współpracy beneficjentów systemowych z instytucjami zaangażowanymi w realizację PO KL, innymi instytucjami lokalnymi oraz partnerami (w przypadku realizacji projektów w partnerstwie). II. Kryteria ewaluacyjne Kryteria ewaluacyjne, które powinny zostać zastosowane w ramach badania to: 1. Trafność - rozumiana jako ocena sposobu doboru zastosowanych w projektach systemowych narzędzi, instrumentów oraz form pomocy społecznej pod kątem realizacji celów interwencji EFS w ramach PO KL (celów projektów systemowych, celu Działania 7.1, celu szczegółowego nr 1 Priorytetu VII, celu szczegółowego nr 2 PO KL), a także zapisów lokalnych strategii rozwiązywania problemów społecznych 2. Skuteczność - rozumiana jako stopień, w jakim wdrażane w projektach działania poprzez wykorzystane narzędzia, instrumenty oraz formy pomocy społecznej przyczyniają się do realizacji celów projektów systemowych OPS PCPR oraz Działania 7.1, celu szczegółowego nr 1 Priorytetu VII, celu szczegółowego nr 2 PO KL 3. Efektywność - rozumiana jako stosunek uzyskanych efektów (osiągniętych celów, rezultatów projektów systemowych) do poniesionych nakładów finansowych, rzeczowych, kadrowych, czasowych, a także fakt dysponowania przez beneficjentów systemowych odpowiednimi zasobami niezbędnymi do sprawnej realizacji projektów 4. Spójność - rozumiana jako stopień komplementarności (uzupełniania się) oraz kompleksowości (wszechstronności) narzędzi, instrumentów oraz form pomocy społecznej zastosowanych w projektach systemowych z Poddziałania 7.1.1 oraz 7.1.2 PO KL III. Pytania ewaluacyjne Raport z badania musi przedstawiać odpowiedzi na następujące pytania: 1. W jakim stopniu stosowane w projektach narzędzia, instrumenty i formy pomocy społecznej są właściwie dobrane i przyczyniają się do realizacji celów projektów systemowych oraz celu całego Działania 7.1 PO KL? Czy projekty są zgodne z lokalnymi strategiami rozwiązywania problemów społecznych (zgodnie z art. 17 ust. 1 pkt 1 oraz art. 19 pkt 1 ustawy z dnia 12 marca 2004 r. o pomocy społecznej)? 2. Które narzędzia, instrumenty i formy pomocy społecznej, zastosowane w projektach systemowych są najbardziej skuteczne (najlepiej przyczyniają się do realizacji celów i osiągnięcia rezultatów projektów systemowych OPS/PCPR oraz celu całego Działania 7.1 PO KL, jak również celu szczegółowego nr 1 Priorytetu VII PO KL oraz celu szczegółowego nr 2 PO KL)? 3. W jakim stopniu narzędzia i instrumenty, stosowane w ramach projektów systemowych są zróżnicowane, komplementarne względem siebie (uzupełniają się) oraz kompleksowe (działają wszechstronnie i wyczerpująco)? 4. Czy projekty systemowe w Poddziałaniu 7.1.1 oraz Poddziałaniu 7.1.2 PO KL są skutecznie zarządzane (czy budżet jest wydatkowany w założonym wymiarze, a zadania realizowane zgodnie z harmonogramem, określonym we wniosku o dofinansowanie projektu?; czy wartości docelowe wskaźników w ramach Działania 7.1, określone dla województwa w danym roku obowiązywania Planu Działania są przez beneficjentów systemowych osiągane?; czy przepływ informacji pomiędzy beneficjentami a uczestnikami jest wystarczający do skutecznej i sprawnej realizacji projektu?) 5. W jakim stopniu stosowane w projektach narzędzia, instrumenty i formy pomocy społecznej są efektywne (czy osiągnięte w projektach rezultaty można było zrealizować przy użyciu innych zasobów lub w krótszym okresie czasu)? 6. W jakim stopniu beneficjenci systemowi Poddziałania 7.1.1 oraz Poddziałania 7.1.2 PO KL są przygotowani do realizacji projektów systemowych (dysponują odpowiednim potencjałem finansowym, rzeczowym, kadrowym oraz czasowym, niezbędnym do sprawnej i efektywnej realizacji działań, określonych we wnioskach o dofinansowanie projektów systemowych)? 7. Czy w ramach rezerwy alokacji przeznaczonej na Działanie 7.1 PO KL w danym regionie przewidziano środki na zatrudnienie w projektach systemowych OPS i PCPR dodatkowych pracowników socjalnych lub doradców ds. osób niepełnosprawnych? Jeśli tak, to w jakim stopniu zatrudnienie tych pracowników zwiększyło poziom skuteczności i efektywności realizowanych projektów? Jeżeli nie zatrudniono takich pracowników, to jakie były tego powody? 8. Dlaczego niektóre OPS/PCPR nie przystąpiły do projektów lub zrezygnowały z ich realizacji w kolejnym roku trwania projektu? Jakie są przyczyny podejmowania takich decyzji? 9. Jakich problemów doświadczają beneficjenci systemowi Poddziałania 7.1.1 oraz Poddziałania 7.1.2 w trakcie i w związku z realizacją projektów systemowych? Jakie działania podejmują w celu rozwiązania pojawiających się w trakcie realizacji projektu problemów? Z kim się kontaktują? Jakie metody i sposoby wykorzystują w celu rozwiązania tych problemów? Gdzie poszukują informacji na ten temat? Czy i od kogo uzyskują ewentualną pomoc w tym zakresie? 10. Jakie są potrzeby i oczekiwania beneficjentów systemowych Poddziałania 7.1.1 oraz Poddziałania 7.1.2 PO KL, związane ze wsparciem ze strony ROPS, realizowanym w ramach projektów systemowych z Poddziałania 7.1.3 PO KL ? 11. Jak beneficjenci systemowi Poddziałania 7.1.1 oraz Poddziałania 7.1.2 PO KL oceniają współpracę z innymi instytucjami lokalnymi (w tym przede wszystkim z publicznymi służbami zatrudnienia), organizacjami pozarządowymi, a także IP PO KL? 12. W jakim stopniu współpraca beneficjentów systemowych z partnerami jest skuteczna i efektywna? Jak beneficjenci systemowi oceniają jakość komunikacji pomiędzy liderem projektu a partnerami? Czy występują jakiekolwiek problemy we współpracy partnerskiej, a jeśli tak - to jakie? IV. Minimum metodologiczne d) Analiza danych zastanych (desk research) - analizie poddane zostaną: a. wybrane przez MCPS (lub wykonawcę) wnioski o dofinansowanie projektów systemowych z Poddziałania 7.1.1 oraz Poddziałania 7.1.2 z 2009 r. dobór wniosków do analizy - losowy, wg następującego schematu: i. jeżeli liczba wniosków w regionie >150 to analiza powinna obejmować co najmniej 50% projektów systemowych, ii. jeżeli liczba wniosków w regionie mieści się w przedziale 100-150, to analiza powinna obejmować co najmniej 60% zrealizowanych projektów systemowych, iii. jeżeli liczba wniosków w regionie <100, to analiza powinna obejmować co najmniej 70% projektów systemowych; b. zapisy dokumentów programowych PO KL: i. Programu Operacyjnego Kapitał Ludzki, ii. Szczegółowego Opisu Priorytetów PO KL, iii. Zasad przygotowania, realizacji oraz rozliczania projektów systemowych OPS, PCPR oraz ROPS c. lokalne (gminne/powiatowe) strategie rozwiązywania problemów społecznych (jeśli istnieją) w jednostkach samorządu terytorialnego, w których były realizowane projekty systemowe z Poddziałania 7.1.1 oraz Poddziałania 7.1.2 PO KL - liczba strategii dobrana analogicznie jak liczba wniosków o dofinansowanie; d. wyniki badań ewaluacyjnych IP/IP2 PO KL, dotyczących oceny wsparcia w zakresie integracji społecznej udzielanego ze środków finansowych PO KL (jeśli takie badania były w danym regionie przeprowadzone); e) Wywiady pogłębione (IDI) - prowadzone z koordynatorami projektów systemowych z Podziałania 7.1.1 i Poddziałania 7.1.2 PO KL - dobór respondentów do wywiadów w OPS/PCPR - losowy (co najmniej 5 wywiadów w każdym regionie); dyspozycje do wywiadu zawarte zostały w Załączniku 2. f) Ankieta internetowa (CAWI), skierowana do kierowników wszystkich OPS/PCPR w danym regionie - realizowana w 2010 r.; wzór ankiety do wykorzystania zawarty jest w Załączniku 1. g) Studia przypadków (case studies) - dobrane celowo w każdym regionie; studia przypadków powinny polegać na szczegółowej analizie wniosku o dofinansowanie, dokumentacji projektowej oraz wizyt, uwzględniających obserwację w miejscu realizacji projektu; szczególnie istotna jest w tym przypadku możliwość wskazania i opisania tzw. dobrych praktyk, czyli przykładów inicjatyw i rozwiązań, które mogą być wskazane jako skuteczne formy przeciwdziałania wykluczeniu społecznemu. V. Obowiązki Wykonawcy 1. od Wykonawcy oczekuje się: a) współpracy z MCPS, polegającej na przygotowaniu narzędzi badawczych (wywiadu CAWI na podstawie zamieszczonego w założeniach wzoru kwestionariusza oraz szczegółowych pytań do wywiadów IDI na postawie dyspozycji z Załącznika 2.) oraz materiałów do badania; b) pozostawania w stałym kontakcie z MCPS (spotkania odpowiednio do potrzeb, kontakt telefoniczny, e-mail, wyznaczenie osoby do kontaktów roboczych); c) informowania o stanie prac, pojawiających się problemach i innych zagadnieniach istotnych dla realizacji badania; d) przekazania MCPS wstępnej wersji raportu końcowego oraz ostatecznej wersji raportu końcowego, narzędzi badawczych oraz wszystkich baz danych. 2. Obowiązkiem Wykonawcy jest zapewnienie respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych. 3. Wszystkie materiały przygotowane w trakcie badania (m.in. kwestionariusze, raporty) powinny być opatrzone godłem UE oraz logo Programu Operacyjnego Kapitał Ludzki oraz informacją o współfinansowaniu badania ze środków UE, w formie zapisu: Badanie ewaluacyjne współfinansowane przez Unię Europejską w ramach Europejskiego Funduszu Społecznego. Użyte emblematy i sformułowania muszą być zgodne z zasadami wizualizacji PO KL. VI. Struktura raportu końcowego Raport końcowy nie powinien zawierać więcej niż 50 stron A4 (bez załączników) i powinien składać się z następujących elementów: maksymalnie 2 strony A4 w formie podsumowania, w którym zebrane zostaną najistotniejsze wyniki i rekomendacje; streszczenie w języku polskim (istotne wyniki wraz z rekomendacjami; objętość do 5 stron A4); streszczenie powinno być zawarte w osobnym dokumencie; spis treści; wprowadzenie (opisu przedmiotu badania, celów badania); opis wyników badania (wraz z ich analizą i interpretacją); wnioski (podsumowanie badania z uwzględnieniem specyfiki badanego obszaru) i ponumerowane rekomendacje w formie tabelarycznej, zredagowane wg wzoru z Załącznika 3; aneksy, przedstawiające zestawienia danych oraz zastosowane narzędzia badawcze. Opis przedmiotu drugiej części zamówienia na przeprowadzenie ewaluacji projektu systemowego Mazowieckiego Centrum Polityki Społecznej, realizowanego w ramach Działania 7.1 Programu Operacyjnego Kapitał Ludzki Przedmiotem zamówienia jest przeprowadzenie Projektu systemowego POKL realizowanego w ramach Działania 7.1.3 przez MCPS . Przedmiotem drugiej części zamówienia jest przeprowadzenie ewaluacji projektu systemowego realizowanego przez Mazowieckiego Centrum Polityki Społecznej. Głównym celem ewaluacji jest ocena jakości działań realizowanych przez MCPS w projekcie oraz pozyskanie wiedzy na temat czynników mających wpływ na sposób udzielanego wsparcia jednostkom pomocy społecznej realizującym działania aktywnej integracji. Cele szczegółowe ewaluacji; 1. Ocena jakości przeprowadzanych szkoleń pod względem doboru tematyki szkoleń, seminariów, konferencji , wizyt studyjnych w efekcie której będzie można dokonać zmiany co do doboru tematyki szkoleń i pozostałych działań aby osiągnąć jak najwyższą jakość i przydatność szkoleń organizowanych w kolejnych latach. 2. Ocena jakość prowadzonych szkoleń w odniesieniu do wykładowców informacje z tej części ewaluacji pozwolą na dobór najlepszych wykładowców w poszczególnej tematyce na kolejne lata, oraz na analizę ponoszonych kosztów w stosunku do jakości świadczonej usługi. 3. Ocena jakości bazy szkoleniowej tj. miejsca doboru szkolenia, jakości zakwaterowania, w trakcie; szkoleń, seminariów, konferencji , co pozwoli na określenie stopnia przydatności wybranej bazy do potrzeb odbiorców w celu zapewnienia optymalnych warunków dla realizacji działań oraz analizę ponoszonych kosztów w stosunku do osiąganej jakości usług. 4. Ocenę stopnia aktywności pracowników poszczególnych podmiotów jednostek pomocy społecznej i organizacji realizujących aktywną integrację uczestniczących w szkoleniach seminariach i konferencjach. Dane uzyskane w wyniku badania pozwolą na przeprowadzenie analizy porównawczej pozwalającej na określenie efektywności prowadzonych działań szkoleniowych przez MCPS w zakresie realizacji projektów systemowych prowadzonych na terenie Mazowsza. Kryteria ewaluacyjne Trafność - rozumiana jako jakość doboru tematyki szkoleń, konferencji, seminariów do potrzeb uczestników. Skuteczność - rozumiana jako stopień jakości kadry wykładowców oraz jakości miejsca odbywania szkoleń w stosunku do oceny ich ogólnej przydatności dla uczestników. Efektywność - rozumiana jako stosunek liczby uczestników projektu do zakładanych rezultatów projektu. Spójność - rozumiana jako stopień wykorzystania możliwości uczestnictwa w szkoleniach, seminariach, konferencjach na realizację przez poszczególne instytucje pomocy społecznej projektów systemowych. Pytania ewaluacyjne; Raport musi przedstawić odpowiedzi na następujące pytania. 1. Przedstawiciele, których instytucji i organizacji są najaktywniejszymi uczestnikami oferowanych działań? 2. Które tematy szkoleń seminariów i konferencji są najbardziej cenione i w jaki stopniu? 3. Którzy z wykładowców są najbardziej cenieni przez odbiorców szkoleń, seminariów i konferencji. 4. W jakich miejscach i w jakich warunkach powinny być organizowane najefektywniejsze szkolenia. 5. Jaki wpływ ma uczestnictwo w szkoleniach poszczególnych pracowników na zaangażowane instytucji pomocy społecznej w realizację projektów systemowych. Analiza danych zastanych; Analizie poddane zostaną: a) Analiza 2000 ankiet ewaluacyjnych uczestników działań projektu za 2009 rok i w okresie styczeń-wrzesień 2010. b) Analiza dokumentów w formie papierowej i elektronicznej pozostająca w dyspozycji MCPS. Obowiązki wykonawcy; Od wykonawcy oczekuje się; a) współpracy z Zamawiającym, polegającej na przygotowaniu narzędzi badawczych oraz materiałów do badania; b) pozostawania w stałym kontakcie z Zamawiającym (spotkania odpowiednio do potrzeb, kontakt telefoniczny, e-mail, wyznaczenie osoby do kontaktów roboczych); c) informowania o stanie prac, pojawiających się problemach i innych zagadnieniach istotnych dla realizacji badania; d) przekazania Zamawiającemu wstępnej wersji raportu końcowego oraz ostatecznej wersji raportu końcowego (zgodnie z szczegółowym harmonogramem ustalonym przez MCPS), narzędzi badawczych oraz wszystkich baz danych. Harmonogram realizacji zamówienia a. Przeprowadzenie badań ewaluacyjnych do 15.11.2010 r. b. Przeprowadzenie analizy danych z badań i sporządzenie wstępnej wersji raportu końcowego do dnia 30 .11.2010r. c. Przekazanie ostatecznej wersji raportu końcowego z badania ewaluacyjnego do 15.12.2010 r. d. Przekazanie skróconej wersji raportu przygotowanej do publikacji do 20.12.2010..