M3.06. Przygotowanie ewaluacji procesu mentoringu

Wróć do: M3: Ocena działań w zakresie mentoringu

4. Opracowanie pytań do ewaluacji, ram pomiarów i planu ewaluacji

4.1. Dwa różne sposoby formułowania pytań do ewaluacji na temat programu

Oto metoda pomagająca w formułowaniu pytań do ewaluacji. Przyjrzyj się modelowi logicznemu i zacznij od poniższych pięciu elementów:

  • Kto - Komu miała przynieść korzyść Twoja inicjatywa w zakresie strategii lub program?
  • Co - Co wysiłek miał zrobić? Jaki był kontekst, w którym działanie zostało podjęte, i jak wpłynęło na jego wdrożenie i rezultaty?
  • Kiedy - Kiedy działania miały miejsce? Kiedy pożądane zmiany zaczęły następować?
  • Dlaczego - Dlaczego działanie jest ważne dla Twojej organizacji lub społeczności? Dlaczego może być ważne dla ludzi w innych organizacjach lub społecznościach?
  • Jak - Jak działanie ma wpłynąć na pożądane zmiany lub przynieść pożądane rezultaty?

Oto przykłady pytań do ewaluacji do zadania w poprzednim przykładowym scenariuszu. Inną metodą formułowania odpowiedzi do ewaluacji jest uwzględnianie różnych aspektów strategii, inicjatywy lub programu oraz generowanie pytań na temat wszystkich tych aspektów.

Używając modelu logicznego i znając pytania, na które szukasz odpowiedzi, możesz opracować ramy pomiaru, jako narzędzie planowania ewaluacji. Opracowanie ram pomiaru umożliwi określenie, jak oceniać postęp w kierunku osiągnięcia rezultatów i odpowiadać na pytania do ewaluacji.
Mając ramy pomiaru dla swojego działania, otrzymujesz czytelny obraz tego, jak realizować ewaluację. Ramy pomiaru zapewniają interesariuszom kolejną możliwość dalszego definiowania rezultatów. Z nimi, można uwzględnić, co rezultat znaczy w bardziej konkretnych kategoriach.

Najważniejsze elementy ram pomiaru
Ramy pomiaru obejmują siedem najważniejszych elementów:

  • Rezultaty to bezpośrednie produkty działań i mogą uwzględniać rodzaje, poziomy i cele usług, które strategia, inicjatywa lub program mają realizować.
  • Rezultaty to bezpośrednie, pośrednie i długoterminowe zmiany lub korzyści, które trzeba udokumentować. Rezultaty te powinny być takie same, jak te określone w modelu logicznym.
  • Wskaźniki to znaczniki postępu w kierunku zmiany, którą masz nadzieję uczynić dzięki swojej strategii, inicjatywy lub programu.
  • Miernikami zmiany są wartości - ilościowe i jakościowe - których można użyć do oceny, czy dokonano postępu.
  • Metody zbierania danych to strategie zbierania danych. Mogą one uwzględniać metody ilościowe, takie jak prowadzenie badań lub analiza istniejących danych, lub metody jakościowe, takie jak prowadzenie wywiadów lub analiza dokumentów.
  • Źródła danych to miejsca, z których (np. krajowa baza danych, badanie programu) lub osoby, od których (np. uczestnicy programu) uzyskuje się dane.
  • Częstotliwość zbierania danych to to, jak często planuje się gromadzić dane.

Jak korzystać z ram pomiaru
Po zidentyfikowaniu wyników oraz bezpośrednich, pośrednich i długoterminowych rezultatów,
można wymienić każdy wynik i rezultat w ramach pomiaru w pierwszej kolumnie. Po wymienieniu wszystkich pozycji można przygotować czytelny plan oceny postępów w zakresie konkretnego wyniku lub rezultatu. Uwzględnia się tu przechodzenie pomiędzy rzędami ram pomiaru z lewej strony na prawą, aby określić wskaźniki, pomiary zmiany, metody zbierania danych, źródła danych i częstotliwość gromadzenia danych dla każdego rezultatu. Należy wziąć pod uwagę, że po wypełnieniu ram pomiaru niektóre elementy mogą zawierać pokrywające się odpowiedzi. Np. źródła danych dla dwóch rezultatów może być takie same.

Opracowując pytania do ewaluacji, należy wziąć pod uwagę następujące cztery kategorie do pomiaru programów mentoringu:

  • Procesy relacji
  • Procesy programu
  • Rezultaty relacji
  • Rezultaty programu

Poniższa tabela ilustruje obszary ewaluacji dla tych kategorii.

Kategoria Ewaluacja
Procesy relacji Co się dzieje w relacji? Np. jak często ta para się spotyka? Czy wypracowali wystarczające zaufanie? Czy w relacji panuje czytelne poczucie kierunku? Czy mentor lub podopieczny ma wątpliwości na temat własnego lub czyjegoś innego wkładu w relację?
Procesy programu Np. ile osób uczestniczyło w szkoleniu? Jak skuteczne było szkolenie? W niektórych przypadkach, procesy programu będą też obejmować dane pozyskane z dodania pomiarów z poszczególnych relacji, aby uzyskać szerszy obraz sytuacji
Rezultaty relacji Czy mentor i podopieczny osiągnęli ustalone cele? Wraz z rozwojem okoliczności może być potrzebna pewna korekta, a cele muszą się nieco zmienić.
Rezultaty programu Czy program np. zwiększył utrzymanie kluczowego personelu lub zwiększył kompetencje podopiecznych?