usługę przeprowadzenia badania: ewaluacja zewnętrzna projektu oraz ewaluacja zewnętrzna on going produktu finalnego wypracowanego w ramach projektu innowacyjnego testującego, realizowanego w Partnerstwie pn: Wielowymiarowy model wsparcia i identyfikacji kompetencji zawodowych oraz sporządzenie raportów ewaluacyjnych.

Opis przedmiotu przetargu: Przedmiotem zamówienia jest usługa przeprowadzenia badania: ewaluacja zewnętrzna projektu oraz ewaluacja zewnętrzna on going produktu finalnego wypracowanego w ramach projektu innowacyjnego testującego, realizowanego w Partnerstwie pn: Wielowymiarowy model wsparcia i identyfikacji kompetencji zawodowych oraz sporządzenie raportów ewaluacyjnych. 1. Cele badania ewaluacyjnego Głównym celem ewaluacji będzie ocena skuteczności działań oraz wypracowanego produktu finalnego w ramach realizowanego Projektu Wielowymiarowy model wsparcia i identyfikacji kompetencji zawodowych. Cele szczegółowe ewaluacji: 1) ocena jakości realizacji projektu 2) ocena potencjału produktu finalnego 3) wskazanie kierunków ewentualnych zmian i modyfikacji produktu finalnego Cele a etapy realizacji: Realizacja przedmiotu zamówienia przebiegać będzie w 2 etapach w okresie realizacji Projektu to jest od 1 marca 2012r. do 31 marca 2015r. Celem 1 etapu jest przygotowanie planu ewaluacji projektu (w zakresie 1 i 2 etapu realizacji Projektu), planu ewaluacji on-going produktu finalnego (w fazie testowania w 2 etapie realizacji Projektu) w formie raportu metodologicznego wraz z prezentacją multimedialną oraz ewaluacja projektu (1 etap realizacji Projektu) i przygotowanie raportu ewaluacyjnego. Realizacja 1 etapu przedmiotu zamówienia rozpocznie się z dniem podpisania umowy i trwać będzie do 19 listopada 2012r. W miesiącach listopad-grudzień 2012r. przewiduje się przerwę w realizacji Projektu przeznaczoną na ocenę strategii wdrażania projektu i produktu finalnego przez Sieć Tematyczną. Zamawiający zastrzega, że jeżeli w wyniku oceny strategii wdrażania realizacja projektu nie będzie kontynuowana, 2 etap realizacji zamówienia również nie będzie kontynuowany. Wykonawca otrzyma wynagrodzenie za prawidłowo wykonany zakres prac przypadających na etap 1, a Umowa z Wykonawcą zostanie rozwiązana. 1.3.2 Celem 2 etapu jest ocena potencjału produktu finalnego i wskazanie kierunków ewentualnych zmian i modyfikacji produktu finalnego oraz ewaluacja projektu w okresie jego trwania z uwzględnieniem efektów upowszechniania i włączania. 2 etap przedmiotu zamówienia będzie realizowany najwcześniej od 1 stycznia 2013r. i będzie trwał do 31 marca 2015r. (z dwumiesięczną przerwą na walidację produktu finalnego, tj. 1 listopada 2014r. - 31 grudnia 2014r.). 2 etap składa się z dwóch części: 1) I część - faza przed walidacją produktu finalnego - 1 stycznia 2013r. - 31 października 2014r. 2) II część - faza po walidacji produktu finalnego - 1 stycznia 2015r. - 1 marca 2015r. I część obejmuje prezentację multimedialną dotyczącą ewaluacji projektu (1 etap realizacji projektu), ewaluacje on-going produktu finalnego i przygotowanie 2 raportów cząstkowych, w tym co najmniej 2 recenzje eksperckie istotnych elementów produktu finalnego, ewaluację on-going produktu finalnego i przygotowanie raportu końcowego oraz 3 prezentacje multimedialne. II część obejmuje ewaluację projektu i przygotowanie raportu końcowego oraz 3 prezentacje multimedialne dotyczące ewaluacji projektu uwzględniające wnioski z oceny produktu finalnego,a także dostarczenie bazy danych zebranych w ramach badania ewaluacyjnego w formie elektronicznej. Faza testowania produktu finalnego rozpocznie się między kwietniem a czerwcem 2013r. i zakończy się najpóźniej w październiku 2014r. Przewidywany okres przerwy na walidację produktu finalnego to listopad i grudzień 2014r. Zamawiający zastrzega, że jeżeli w wyniku walidacji projekt nie będzie kontynuowany, zadania ewaluacyjne przewidziane do wykonania w następnym okresie projektu nie będą kontynuowane, Wykonawca otrzyma wynagrodzenie za prawidłowo wykonany zakres prac przypadających na 2 etap realizacji zamówienia do przerwy walidacyjnej, a Umowa z Wykonawcą zostanie rozwiązana. Upowszechnianie będzie prowadzone przez cały okres realizacji projektu a faza upowszechniania następująca po przerwie walidacyjnej będzie trwała co najmniej 3 miesiące i rozpocznie się najpóźniej w styczniu 2015r. i potrwa do jego zakończenia. Ze względu na długi okres trwania projektu harmonogram może ulegać przesunięciom. Wykonawca powinien uwzględnić możliwość przesunięć zaplanowanych działań w zależności od tego jak zmienia się harmonogram projektu. 2. Zakres przedmiotowy Zamówienie obejmuje następujący zakres przedmiotowy: 2.1. Ewaluacja projektu Ewaluacja projektu będzie koncentrowała się wokół odpowiedzi na wskazane poniżej pytania badawcze: 1. W jakim stopniu zamierzone cele projektu zostały osiągnięte? 2. W jaki sposób przebiega zarządzanie projektem? 3. W jaki sposób jest realizowane partnerstwo (w tym ponadnarodowe)? 4. W jaki sposób przebiega realizacja zasady empowerment i zasady równości szans? 5. Jak przebiega testowanie produktu finalnego? 6. Jakie są ewentualne bariery i problemy uniemożliwiające prawidłową realizację projektu? 7. Jaka jest skuteczność działań włączających i upowszechniających? 8. Czy projekt realizował cele i zasady programu POKL? 2.2 Ewaluacja produktu finalnego W badaniu uwzględnione zostaną następujące kryteria ewaluacyjne: 1. Efektywność (czy produkt finalny przynosi zakładane efekty przy zakładanych kosztach, czy koszty te nie mogłyby być niższe, dając porównywalne efekty?) 2. Adekwatność (czy produkt finalny odpowiada realnym potrzebom?) 3. Użyteczność (czy produkt finalny odpowiada potrzebom odbiorców i użytkowników?) 4. Skuteczność (czy produkt finalny jest skuteczny, czy jego stosowanie przynosi zakładane wyniki?) 5. Oddziaływanie/wpływ (czy wdrożenie produktu finalnego będzie skutkowało zwiększeniem szans na osiągnięcie celów PO KL?) 6. Trwałość efektów (czy jest prawdopodobne funkcjonowanie produktu finalnego po zakończeniu finansowania projektu? jaki jest potencjał produktu w dłuższej perspektywie czasowej?) 7. Innowacyjność (czy opracowany produkt finalny jest innowacyjny?) 8. Jakość produktu (czy opracowany produkt finalny jest zgodny z aktualną wiedzą, wynikami badań naukowych oraz standardami metodologicznymi prowadzenia badań i konstruowania narzędzi badawczych?) Ewaluacja produktu finalnego będzie koncentrowała się wokół odpowiedzi na wskazane poniżej pytania badawcze: 1 Efektywność (czy produkt przynosi zakładane efekty przy zakładanych kosztach, czy koszty te nie mogłyby być niższe, dając porównywalne efekty?) czy koszty nie mogłyby być niższe dając porównywalne efekty? czy faktycznie wypracowany produkt finalny jest bardziej efektywny od podejść stosowanych dotychczas? czy proponowane podejście okazało się atrakcyjną alternatywą dla metod stosowanych wcześniej? czy wdrożenie produktu finalnego wymaga wiele czasu, pracy, nakładów finansowych, skomplikowanych procedur, wysokospecjalistycznych szkoleń dla użytkowników? czy produkt jest prosty w użyciu? jaka jest efektywność finansowa usług oferowanych z wykorzystaniem produktu finalnego? 2 Adekwatność (czy produkt odpowiada realnym potrzebom?) czy produkt finalny odpowiada realnym potrzebom? czy produkt finalny jest adekwatny w kontekście priorytetów polityki? czy produkt finalny jest pilnie oczekiwany, bo dotyczy grup/problemów kluczowych z punktu widzenia polityk krajowych, regionalnych czy lokalnych? czy pojawiły się nowe potrzeby na które projekt mógł odpowiedzieć? 3 Użyteczność (czy produkt odpowiada potrzebom odbiorców i użytkowników?) czy produkt finalny trafia w potrzeby odbiorców i użytkowników i jest dostosowany do ich specyfiki? czy jest realne zapotrzebowanie ze strony użytkowników i odbiorców na dany rodzaj produktu? jakie są szanse na to, że użytkownicy zechcą i będą w stanie używać produkt finalny? czy projekt wpłynął pozytywnie na odbiorców i użytkowników? 4 Skuteczność (czy produkt jest skuteczny, czy jego stosowanie przynosi zakładane wyniki?) czy produkt finalny jest skuteczny, czy jego stosowanie przynosi zakładane wyniki? co wpływa na jego skuteczność (czy są to metody pracy, dobór grup docelowych, organizacja procesu wsparcia, czy inne czynniki)? czy możliwe jest zwiększenie skuteczności proponowanych metod i pod jakimi warunkami? czy produkt finalny jest skuteczny w rozwiązywaniu problemów grup docelowych? 5 Trwałość (czy jest prawdopodobne funkcjonowanie produktu po zakończeniu finansowania projektu? jaki jest potencjał produktu w dłuższej perspektywie czasowej?) jakie są szanse na to, że użytkownicy zechcą i będą w stanie używać produkt finalny? czy produkt finalny jest replikowalny i możliwy do adaptacji w innych obszarach? czy pozytywne wyniki projektu nie znikną po jego zakończeniu? jak projekt produkt mógłby być kontynuowany, czy wyniki projektu zachęcają do jego kontynuacji? czy jest prawdopodobne funkcjonowanie produktu po zakończeniu finansowania projektu? czy pojawiły się nowe grupy zainteresowane ciągłością tych zadań? Jakie? czy produkt jest będzie mainstreamowany, multiplikowany, wykorzystywany w przyszłości? czy warto upowszechniać cały produkt czy tylko poszczególne moduły? Które i dlaczego? Innowacyjność (czy opracowany produkt jest innowacyjny?) czy produkt finalny jest innowacyjny? jaki jest stopień i wymiary innowacyjności? co jest nowego w projekcie produkcie i czy te aspekty projektu są dobre, czy pracują? 7 Jakość produktu (czy opracowany produkt jest zgodny z aktualną wiedzą, wynikami badań naukowych oraz standardami metodologicznymi prowadzenia badań i konstruowania narzędzi badawczych?) jaki jest potencjał produktu finalnego jako całości oraz każdego wyszczególnionego modułu (wady i zalety proponowanego podejścia) czy Model jest spójny? czy Model jest przygotowany zgodnie z aktualną wiedzą naukową? czy istnieje potrzeba wprowadzenia zmian w opisie Modelu? jakich? dlaczego? jaka jest jakość przygotowanych narzędzi (w tym testów)? czy są one poprawne metodologicznie? czy wymagają modyfikacji? czy opracowane testy są trafne? czy usługi świadczone są w sposób zintegrowany? jaka jest efektywność pracy i współpracy w zespole asesorów? 8 Pozostałe pytania jaka instytucja powinna być operatorem Modelu: pup czy wup? Jaka jest dostępność Modelu? Wykonawca zobowiązany jest do zebrania danych, ich przeanalizowania oraz odpowiedzi na postawione pytania badawcze. Lista przedstawionych pytań ma charakter otwarty. Wykonawca ma możliwość postawienia dodatkowych pytań wraz z rzetelnym uzasadnieniem ich zastosowania w tym badaniu. Od Wykonawcy oczekuje się spójnej koncepcji realizacji badania. W zależności od przyjętej koncepcji dopuszczalna jest modyfikacja lub uzupełnienie pytań badawczych przez Wykonawcę. 3. Metodologia badania Minimum metodologiczne wymagane przez Zamawiającego obejmuje: Analizę danych zastanych (desk research) adekwatnych wobec celów projektu w tym m.in. zapisy dokumentów projektowych (Wniosek o dofinansowanie projektu Wielowymiarowy model wsparcia i identyfikacji kompetencji zawodowych bez części budżetowej - załącznik nr 7 i Informacje o projekcie - załącznik nr 8) zapisy dokumentów programowych POKL zapisy dokumentacji realizacji projektów innowacyjnych, opinie Rady Konsultacyjnej przy projekcie opisy produktów opracowanych w ramach projektu ustawa z dnia 20 kwietnia 2004 r. o promocji zatrudnienia i instytucjach rynku pracy (Dz. U. z 2008 r. Nr 69 poz. 415 z późn. zm.). ustawa z dnia 27 sierpnia 1997 r. o rehabilitacji zawodowej i społecznej oraz zatrudnianiu osób niepełnosprawnych (Dz. U. z 2011 r. Nr 127 poz. 721 z późn. zm.) Wywiady indywidualne lub grupowe z odbiorcami i użytkownikami projektu Asesorzy (12 osób - 4 osoby w fazie testowania, 8 osób w fazie upowszechniania) Superwizor (1 osoba) Pracownicy powiatowych urzędów pracy i Centrów Informacji i Planowania Kariery Zawodowej, którzy współpracują z Modelem, kierują klientów na badania (10 osób) Dyrektorzy PUP (4 osoby) Dyrektorzy WUP (4 osoby) Kierownik CIiPKZ (1 osoba) Wywiady grupowe z odbiorcami projektu Osoby niepełnosprawne (1 wywiad) Osoby długotrwale bezrobotne (1 wywiad) Osoby powyżej 50 r.ż. (1 wywiad) Ankiety wśród odbiorców 300 ankiet w okresie testowania 50 ankiet w okresie upowszechniania Wywiady indywidualne z koordynatorami projektu w ramach Partnerstwa (4 osoby) Recenzje eksperckie istotnych elementów produktu finalnego (co najmniej 2) Do oceny jakości produktu finalnego Wykonawca zatrudni recenzentów. Ocenie recenzentów powinny zostać poddane wszystkie zeszyty (7) opisujące Model. Recenzenci powinni: posiadać wiedzę i doświadczenie merytoryczne z zakresu, który obejmuje produkt finalny, na co dzień zajmować się naukowo recenzowanym obszarem, być w stopniu co najmniej doktora w obszarze recenzowanym. Wykonawca przedstawi kandydatury, życiorysy i opis dorobku zawodowego recenzentów w celu akceptacji przez Zamawiającego kandydatur przed przystąpieniem do przeprowadzania recenzji. Podana wyżej propozycja metodologiczna nie jest listą wyczerpującą, stanowi minimum metodologiczne, które może podlegać uzupełnieniom. Wykonawca w ofercie w Koncepcji badawczej przedstawi pełen i uzasadniony katalog metod, technik, narzędzi badawczych, pozwalających na udzielenie wyczerpujących odpowiedzi na postawione pytania badawcze oraz opisze sposób zagwarantowania rzetelności i trafności zastosowanych narzędzi. Każda dodatkowa metoda technika narzędzie badawcze musi zostać odpowiednio uzasadnione w kontekście celów, przedmiotu i zakresu badania. Z uwagi na specyfikę wdrażania projektów innowacyjnych dopuszcza się możliwość wprowadzenia korekt do zaproponowanej metodologii w kolejnych etapach realizacji zamówienia w sposób uzgodniony z Zamawiającym, w przypadkach uzasadnionych potrzebami projektu. 4. W ramach zamówienia Wykonawca przygotuje:Pierwszy etap realizacji zamówienia 1) plan ewaluacji projektu (w zakresie 1 i 2 etapu realizacji projektu) i plan ewaluacji on-going produktu finalnego (w fazie testowania w 2 etapie realizacji projektu) w formie raportu metodologicznego W planie ewaluacji - raporcie metodologicznym wykonawca w szczegółowy sposób opisze koncepcję badania, metodologię oraz dokładny harmonogram przeprowadzenia badania w podziale na etapy projektu. W raporcie mają znaleźć się między innymi: kryteria i pytania ewaluacyjne projekt narzędzi badawczych: propozycje kwestionariuszy i scenariuszy wywiadów grupowych dokładny harmonogram badań i analiz z uwzględnieniem etapów realizacji projektu i badań co najmniej w ujęciu kwartalnym, ze wskazaniem spotkań konsultacyjnych oraz spotkań służących prezentacji wszystkich wymaganych raportów na forum Partnerstwa koncepcję przeprowadzenia ewaluacji on-going produktu finalnego w okresie testowania opis metod i technik analizy statystycznej oraz metod oceny danych, które będą zastosowane w badaniu sposób organizacji pracy badawczej. Wykonawca zaproponuje plan pracy adekwatny do przyjętej metodologii, z uwzględnieniem rozdysponowania zadań pomiędzy różnych członków zespołu badawczego oraz dokona oceny potencjalnych obszarów ryzyka mogących wystąpić w trakcie realizacji badania. Opis metodologii badania powinien być zrozumiały także dla osób nie będących specjalistami w dziedzinie badań ilościowych i jakościowych 2) ewaluacja projektu (1 etap realizacji projektu) i przygotowanie raportu ewaluacyjnego W raporcie mają znaleźć się między innymi: opis celów badań i analiz oraz ich przedmiotu i zakresu, pytania i kryteria badawcze, zastosowana metodologia, opis przebiegu badań i ograniczeń (problemów napotkanych w toku ich realizacji), opis wyników badań i analiz, wnioski i rekomendacje, przy czym rekomendacje muszą mieć charakter praktyczny i odnosić się do projektu. Oznacza to, że ewaluator musi się skupić na sformułowaniu pod adresem projektodawcy rekomendacji dotyczących następnych etapów realizacji projektu w tym dalszych prac nad produktem, zarządzania, partnerstwa, działań upowszechniających i włączających. 3) prezentacja multimedialna dotycząca planu ewaluacji projektu i planu ewaluacji on-going produktu finalnego Wykonawca przygotuje prezentację multimedialną zawierającą charakterystykę planu ewaluacji projektu oraz produktu finalnego i zaprezentuje ją podczas spotkania partnerstwa, które odbędzie się w Gdańsku w uzgodnionym z Zamawiającym terminie. Drugi etap realizacji zamówienia Część I - faza przed walidacją produktu finalnego 1) prezentacja multimedialna dotycząca ewaluacji projektu (1 etap realizacji projektu) 2) ewaluacja on-going produktu finalnego i przygotowanie 2 raportów cząstkowych, w tym co najmniej 2 recenzje eksperckie istotnych elementów produktu finalnego W raportach mają znaleźć się między innymi: opis celów badań i analiz oraz ich przedmiotu i zakresu, pytania i kryteria badawcze, zastosowana metodologia, opis przebiegu badań i ograniczeń (problemów napotkanych w toku ich realizacji), opis wyników badań i analiz, wnioski i rekomendacje dotyczące zmian i modyfikacji produktu finalnego, ocena efektów wdrożenia rekomendowanych modyfikacji. 3) ewaluacja on-going produktu finalnego i przygotowanie raportu końcowego W raporcie mają znaleźć się między innymi: opis celów badań i analiz oraz ich przedmiotu i zakresu, pytania i kryteria badawcze, zastosowana metodologia, opis przebiegu badań i ograniczeń (problemów napotkanych w toku ich realizacji), opis wyników badań i analiz, wnioski i rekomendacje dotyczące zmian i modyfikacji produktu finalnego, ocena efektów wdrożenia rekomendowanych modyfikacji. 4) 3 prezentacje multimedialne dotyczące ewaluacji on-going produktu finalnego (w tym z wnioskami z ewaluacji) - 2 prezentacje dotyczą raportów cząstkowych i 1 prezentacja dotyczy raportu końcowego Wykonawca przygotuje prezentacje multimedialne z wnioskami z badań oraz rekomendacjami zmian w projekcie oraz produkcie finalnym. Wykonawca zaprezentuje wnioski z ewaluacji i rekomendacje podczas nie więcej niż 3 spotkań Partnerstwa, które odbędą się w Gdańsku w uzgodnionych terminach - w tym każdorazowo po przygotowaniu raportu. Przygotuje się również do dyskusji wniosków z Partnerstwem. Część II - faza po walidacji produktu finalnego 1) ewaluacja projektu i przygotowanie raportu końcowego W raporcie mają znaleźć się między innymi: opis celów badań i analiz oraz ich przedmiotu i zakresu, pytania i kryteria badawcze, zastosowana metodologia, opis przebiegu badań i ograniczeń (problemów napotkanych w toku ich realizacji), opis wyników badań i analiz, wnioski dotyczące: jakości realizacji projektu potencjału produktu finalnego efektów działań upowszechniających i włączających 2) 3 prezentacje multimedialne dotyczące ewaluacji projektu uwzględniające wnioski z oceny produktu finalnego. Wykonawca przygotuje prezentacje multimedialne z wnioskami z badań oraz rekomendacjami zmian w projekcie oraz produkcie finalnym. Wykonawca zaprezentuje wnioski z ewaluacji i rekomendacje podczas nie więcej niż 3 spotkań Partnerstwa, które odbędą się w Gdańsku w uzgodnionych terminach-w tym każdorazowo po przygotowaniu raportu. Przygotuje się również do dyskusji wniosków z Partnerstwem. 3) bazy danych zebranych w ramach badania ewaluacyjnego (np. zestawienia danych ilościowych) w formie elektronicznej (Excel i lub Statistica). Zamawiający zastrzega sobie prawo wglądu w kwestionariusze przeprowadzonych wywiadów i ankiet. Wnioski z ewaluacji i wynikające z niej zalecenia powinny być przedstawione w przejrzystej formie. Wszystkie raporty powinny posiadać spis treści, rozdziały merytoryczne z opisem badań, analiz i ich wyników, rozdziały z wnioskami i ewentualnymi rekomendacjami wynikającymi z badań i analiz oraz aneksy, przedstawiające zestawienia danych. Wykonawca dostarczy wszystkie raporty w formie papierowej w ilości 3 egzemplarzy każdy oraz w wersji elektronicznej (plik edytowalny - MS Word) na nośniku CD-ROM lub pendrive. Wykonawca dostarczy prezentacje multimedialne wyników badań i wniosków w programie PowerPoint w wersji elektronicznej. Wykonawca dostarczy podpisane recenzje eksperckie w wersji papierowej - 1 egzemplarz oraz w wersji elektronicznej. Zamawiający zastrzega sobie prawo wglądu w kwestionariusze przeprowadzonych wywiadów i ankiet 5. W ramach realizacji zamówienia Wykonawca będzie zobowiązany do: pozyskiwania danych i ich stałej analizy organizowania spotkań z przedstawicielami odbiorców i użytkowników i Zespołem Projektu oraz Zamawiającym. Wykonawca powinien pozostawać w stałym kontakcie z Zamawiającym i być w gotowy do spotkań roboczych w siedzibie Zamawiającego w wymiarze koniecznym do efektywnego zaplanowania i przeprowadzenia ewaluacji, przy czym niezbędne minimum spotkań roboczych do jakich Wykonawca powinien zgłosić gotowość wynosi: w 1 etapie: 10 spotkań w 2 etapie: 20 spotkań Jeśli Zamawiający w trakcie realizacji projektu stwierdzi, że do efektywnej realizacji ewaluacji zewnętrznej wystarczy mniejsza ilość spotkań liczby te ulec mogą zmniejszeniu. informowania o stanie prac, pojawiających się problemach i innych zagadnieniach istotnych z punktu widzenia realizacji badania na żądanie Zamawiającego wyznaczenia osoby do kontaktów roboczych uwzględnienia w planowaniu ewaluacji następującego schematu przyjmowania raportów: przekazanie wstępnej wersji raportu Zamawiającemu okres do 10 dni roboczych przeznaczony na zapoznanie i sformułowanie przez Zamawiającego uwag spotkanie robocze przed odbiorem raportu, na którym nastąpi przekazanie uwag okres do 5 dni roboczych przeznaczony na wprowadzanie uzgodnionych uwag przekazanie ostatecznej wersji raportu odbiór raportu przez zamawiającego poprzez podpisanie protokołu odbioru prezentacja raportu przy użyciu prezentacji multimedialnej (Zamawiający może wydłużać ww. terminy w uzasadnionych przypadkach) prezentacji wniosków przez członka zespołu badawczego ze strony Wykonawcy na spotkaniach wskazanych przez Zamawiającego.