10/8-vertaisvalmennusmetodin vaikuttavuuden arvioinnin kehittäminen

Abstract

Tässä yhteisöpedagogi (AMK) kehittämistyössä perehdyttiin 10/8-vertaisvalmennusmetodin vaikuttavuuden arviointiin. Vaikuttavuuden arvioinnissa pyritään ymmärtämään organisaation toiminnan vaikutusten ja vaikuttavuuden prosessia. Työn tilaajana toimi Tehdassaaren Tuki ry, joka on osa TEHDAS 108:n organisaatiota. TEHDAS 108 on luova keskus Nokian Tehdassaaressa, joka toimii mm. yhteisöllisenä työtilana, tapahtumapaikkana ja 10/8-vertaisvalmennsumetodin toimipaikkana.

Tilaajaorganisaation haasteeksi oli muodostunut, ettei 10/8-vertaisvalmennusmetodin asiakkaille suunnattuja arviointikyselyjä oltu kehitetty suoraan vaikuttavuuden arviointiin sopiviksi, vaan niillä oli kerätty palautteenomaista tietoa. Kehittämistyön tehtäväksi muodostui näin ollen käytössä olleiden kyselyiden jatkokehittäminen ja uudelleenrakentaminen vaikutusten ja vaikuttavuuden arviointiin sopiviksi. Lisätavoitteena oli löytää olemassa oleva tutkittuun tietoon perustuva mittari, jota voidaan käyttää kehitettävien kyselyiden tukena.

Kehittämistyö toteutettiin monimenetelmällisenä toimintatutkimuksena. Menetelminä kehittämistyössä käytettiin yhteisöllisen kehittämisen tapaa työpajan muodossa, jonka tukena oli Kuusi ajatteluhattua -menetelmä, sekä benchmarkkausta. Lisäksi kehitettävien kyselyiden pohjaksi käytettiin Hyvän Mitta -hankkeen vaikuttavuusketju-menetelmää, jonka avulla mallinnettiin 10/8-vertaisvalmennusmetodin vaikuttavuusketju. Kehittämistyön tuotoksena syntyi 10/8-vertaisvalmennusmetodille vaikuttavuuden arvioinnin kyselyt, jonka lisäksi käyttöön valikoitui jo olemassa oleva mittari, Kykyviisari. Kyselyt täytetään toiminnan alkaessa ja päättyessä, jolloin voidaan arvioida, oliko toiminnalla vaikutusta kyselyiden kautta havaittavaan mahdolliseen muutokseen.

Järjestöt perustelevat toimintaansa vaikuttavuuden arvioinnin avulla muun muassa rahoittajille, sidosryhmille, yhteistyökumppaneille ja toimintaan osallistuville. Tämä kehittämistyö on tehty tilaajan tarpeita mukaillen, mutta se tarjoaa muille alan toimijoille esimerkin vaikuttavuuden arvioinnin prosessin käynnistämisestä ja tietopohjan, jonka avulla voi perehtyä vaikuttavuuden arvioinnin käsitteisiin ja prosessiin. Työssä kuvattua prosessia seuraamalla voi mallintaa omalle toiminnalle räätälöidyn vaikuttavuusketjun, joka toimii vaikuttavuuden arvioinnin pohjana.

The goal of this thesis is to develop an effectiveness evaluation of 10/8 peer-training method. The effectiveness evaluation seeks to understand the process of effectiveness and impact of the organisation’s activities. The thesis was commissioned by Tehdassaaren Tuki ry, which is part of FACTORY 108’s organisation. FACTORY 108 is a creative center in Tehdassaari Nokia, which serves as a venue for 10/8 peer-training method.

The challenge for the comissioner was that the evaluation questionnaires for the 10/8 peer-training method’s customers had not been developed to be suitable for direct effectiveness evaluation and had mainly collected feedback-based information. The task for this development work was thus to further develop and rebuild the questionnaires to suit the impact and effectiveness evaluation. An additional goal was to find an existing research-based indicator, which could be used to assess the change in the subjective experience of the client's in relation to social inclusion, functioning and well-being.

This thesis was carried out as a multi-method action research. The methods used in the development work were a community development method in the form of a workshop, which was supported by the Six Thinking Hats method, and benchmarking. In addition, Hyvän Mitta -project’s impact chain method was used as the basis for the new questionnaires, to model the impact chain of the 10/8 peer-training method.

As a result of the development work, questionnaires for evaluating the effectiveness of the 10/8 peer-training method were created. In addition, an existing indicator, Abilitator, was selected for use. The new questionnaires are filled in at the beginning and at the end of the 10/8 peer-training method’s activities. By observing the possible change seen through the questionnaires one can assess whether the activities had an impact on the client.

NGOs use the effectiveness evaluation to justify their work for funders, stakeholders, partners and people involved in the NGOs’ activities. Even thought this thesis sought to answer to the needs of the comissioner, it provides an example of how to initiate the effectiveness evaluation process and a knowledge base that introduces the concepts and processes of the effectiveness evaluation for others working in the field of NGOs. By following the process described in the thesis, it is possible to model an impact chain tailored to one’s own operations, which serves then as a basis for effectiveness evaluation.