Jatkuva arviointi

On myös keskeistä, että tehtävät asiat tavoittavat juurruttamisen kannalta keskeiset kohderyhmät ja auttavat saamaan muutosta aikaiseksi. Arviointi on aikaa vievää toimintaa, joka on hyvä kirjoittaa selkeästi projektin toimintasuunnitelmaan. Lisäksi on myös tärkeää varata projektityöntekijöille arvioinnin toteuttamiseen ja siihen osallistumiseen riittävästi aikaa.

Arvioinnin prosessin suunnittelun pohjaksi voi ottaa 3*3-mallin (ks. Björkqvist 2014). Mallissa arviointi toteutetaan kolme kertaa projektin kaarella (aluksi, puolivälissä ja lopuksi).

Alkuvaiheen innosta systemaattisen juurruttamisen polulle

On tärkeää tehdä systemaattista ja suunnitelmallista ajattelua juurruttamisen äärellä. Jo hakuvaiheessa on asetettu tavoitteita ja mietitty juurruttamistoimintaan allokoitavat resurssit. Heti projektin alussa näitä on yleensä syytä tarkentaa ja myös miettiä mittareita projektin pysyvien vaikutusten saavuttamisen arvioinnin välineiksi.

Alkuvaiheessa arviointiprosessi keskittyy paikantamaan juurruttamisen keinoja ja laatimaan niistä kokonaiskuvan.

On tärkeää varmistaa, että kaikki projektitoimijat sitoutuvat jatkuvaan arviointiin, jossa vaikuttavuuden arviointi otetaan heti alusta asti kehittämistyön irrottamattomaksi osaksi.

Alkuvaiheen suunnitelmassa kerrotaan, missä vaiheessa ja miten projektia arvioidaan, kenen toimesta sekä mihin ja miten kerättyä tietoa käytetään. Alkuvaiheessa on hyvä myös pohtia projektin riskejä juurruttamisen kannalta. Tähän voin hyödyntää esimerkiksi SWOT-analyysiä (Turpeinen ym. 2014). Hyvässä suunnitelmassa huomioidaan uhkana esimerkiksi ihmisten vaihtuvuus: miten projektin aikana kertyvä hiljainen tieto ja verkostot kantavat, vaikka projektin toimijat vaihtaisivat organisaatiota projektin jälkeen?

Alkuvaiheessa on hyvä miettiä vielä kerran toiminnan tavoitteiden realistisuutta. Usein hakuvaiheessa halutaan parantaa maailmaa ja ollaan innostuneen optimistisia oman ratkaisun potentiaalista. Onhan tuo ratkaisu saanut rahoittajankin näkemään sen mahdollisuutena ratkaista ja kehittää toimintaa oikeaan suuntaan.  Toimintaa on myös pyritty ehkä kirjoittamaan korkealentoisesti, jotta saataisi toivottu vaikutus rahoittajan päätösprosessissa.

Alkuvaiheen hurmoksen jälkeen on mahdollisimman pian palattava projektihakemukseen ja tarkennettava, miten luvatut tavoitteet pystytään saavuttamaan ja uusi toiminta juurruttamaan yleensä varsin lyhyen ajan, esimerkiksi 1–3 vuoden aikana.

Suopajärvi (2013, 24–25) korostaa, että on tärkeää varmistaa tavoitteet koko rahoitusta saavan verkoston osalta. Alkuarvioinnissa selvitetään oman taustaorganisaation, projektin yhteistyötahojen, kohderyhmän ja muiden kumppaneiden näkemyksiä siitä, miten projekti, sen tavoitteet ja toiminta, tosiasiallisesti koetaan. Samalla paikannetaan niitä seikkoja, jotka voivat muodostua projektin toiminnan esteiksi sen toteutusaikana.

Toisinaan osatoteuttajat priorisoivat projektin tavoitteita keskenään eri tavoin, minkä tunnistaminen ja hyödyntäminen ovat tärkeä osa projektin kokonaisarkkitehtuuria ja osatotuttajien sitouttamista yhteiseen kehittämistyöhön. Kun projektin kumppaneita kuullaan herkällä korvalla heti aloitusvaiheessa, heidän näkemyksensä voidaan ottaa huomioon. Kun he huomaavat myöhemmin näkemyksensä jättäneen jäljen prosessissa, sitoutuminen projektiin, sen toteutumisen edistämiseen ja myös juurruttamiseen vahvistuu.

Alkuvaiheen arviointia kannattaa tehdä osallistamalla, jolloin sitä voi käyttää myös sidosryhmille suunnattuna kutsuna yhteistyöhön. Vaikka esimerkiksi nettikyselyillä saisi eri kohderyhmiltä nopeasti tietoa (jos he vain jaksavat vastata), juurruttamisen näkökulmasta hyvin suunniteltu henkilökohtaisempi kontakti edesauttaa tehokkaammin projektia kohtaan syntyvän uteliaisuuden syntyä.

Ainakin osatoteuttajien, kohderyhmän edustajien ja muiden projektin toiminnan kannalta tärkeiden kumppanien kanssa on hyvä käydä arvioinnin kohteisiin liittyvää dialogia, keskustella odotuksista ja tulla samalla tutuksi heidän kanssaan. Projektia voi esitellä ja ottaa sen osaksi lyhyt aktivointikysely tai pienryhmäpohdinta, jonka avulla kerätään tietoa esimerkiksi SWOT-tyyppisten lähestymiskulmien kautta.

Kehittämistyön edetessä jatkuva arviointi toimii suunnan varmistajana

Kehittämistyön edetessä arvioidaan jatkuvasti toiminnan vaikuttavuutta ja juurruttamisen potentiaalia eri toimintaympäristöjen suuntaan varioinnin kautta. Pohditaan, onko realistista saada toiminta jatkumaan toteuttajaorganisaatiossa ja etsitään kehittäjäkumppaneita varioinnin mahdollistamiseksi. Hyvä kumppanuus riittävän varhaisessa vaiheessa antaa tilaa varioinnille, jonka kautta tuetaan toiminnan jatkuvuutta ja uuden käytänteen tulemista osaksi arkea.

Väliarviointi saattaa auttaa projektia tarkentamaan uuden tiedon pohjalta projektin tavoitteita. Arviointi voi olla erinomainen pohja käynnistää keskustelu ohjausryhmän ja rahoittajien kanssa projektin uudelleen suuntaamiseksi.

Projektin aikana syntyneen ymmärryksen johdattelemana tavoitteet voivat hyvinkin muuttua, ja niitä on hyvä muokata yhteistyössä myös sidosryhmien ja kohderyhmän kanssa. Tässä vaiheessa varioinnin myötä on myös mahdollisesti syntynyt jo näkemyksiä juurruttamistoiminnan estäjistä ja edistäjistä, jotka omalta osaltaan saattavat tuoda muutostarpeita projektin painopisteisiin tai toimenpiteisiin parhaan mahdollisen juurtuvan käytänteen saavuttamiseksi.

Väliarviointi saattaa tuntua projektin kiihkeän keskivaiheen tuoksinnassa ylimääräiseltä työltä. Kuitenkin jos jo alussa on tehty selkeä suunnitelma siitä, millaista arviointimateriaalia projektin aikana kerätään, nyt on sopiva aika lähteä purkamaan sitä yhdessä ja etsiä siitä juurruttamisen kannalta olennaisia huomioita.

Tärkeää on saada selville, miten toiminta on alkanut vaikuttaa kohderyhmässä ja miten toiminnan tekijät ovat kokeneet uuden menetelmän hyödyntämisen. On myös tärkeää kuulla, miten tausta ja kumppaniorganisaatiot sekä sidosryhmiin kuuluvat tahot ovat nähneet toiminnan.

Väliarviointitietoa voi kerätä monin tavoin. Sen tulisi kuitenkin olla sopivalla tasolla kerättyä, jotta se on suhteessa koko projektin resurssien allokointiin. Tyypillisesti siihen kuuluvat kohderyhmältä saadut palautteet, jotka voivat olla sekä määrällistä että laadullista tietoa. Tietoa kerätään usein eri yhteyksissä kaikilta projektin toimijoilta ja sidosryhmiltä erilaisten ryhmätilanteiden kirjaamisen yhteydessä.

Ryhmämenetelmien tuotoksena voi syntyä esimerkiksi SWOT-taulukkoja projektin sen hetkisestä tilanteesta sekä monenlaisia hahmotelmia hyödyntäen erilaisia työstöpohjia, joita tämänkin työkirjan osaksi on liitettynä. Hyvän aineiston voivat tuottaa työpäiväkirjat, joihin kirjataan kokemuksia ja ajatuksia prosessin aikana.

Mikäli työpäiväkirja tehdään jaettuna dokumenttina, saavat projektin erilaisissa tehtävissä toimivat myös antoisan mahdollisuuden katsoa kehittämistyötä eri näkökulmista ja samalla toiminnasta tulee sisäisesti läpinäkyvämpää. Pääasia on, että aineisto tuottaa riittävän monipuolisen kuvan eri toimijoiden näkökulmasta siitä, onko projekti etenemässä oikeaan suuntaan suhteessa tavoitteisiin ja toteutumassa oleviin tuloksiin.

Loppuvaiheen arviointi kurkistaa taaksepäin… ja katsoo eteenpäin

Lopuksi arvioidaan syntyneiden tuotteiden (esimerkiksi hyvät käytännöt ja palvelutuotteet, mallit, menetelmät jne.) käytettävyyttä ja leviämistä. Lisäksi huomio kääntyy arvioimaan sovittujen tuotteiden leviämisen kanavien tehokkuutta ja tarvittaessa pohtimaan, millaiset asiat edistävät ja ehkäisevät juurtumista. On myös hyvä arvioida projektitoimijoiden omaksi hyödyksi tulevaisuuden varalle, miten juurruttamista olisi voinut tehostaa.

Loppuarviointi toteutetaan usein projektin viimeisinä kuukausina, jolloin siitä on hyötyä projektin loppuraportin kirjoittamisessa. Samalla kuitenkin mahdollisuudet vaikuttaa juurruttamisen kannalta usein kaikista intensiivisimpään aikaan jäävät rajallisiksi. Loppuarvioinnin ajoittaminen kannattaa miettiä tarkkaan myös juurruttamistoimintojen suuntaamisen kannalta.

Yksittäisen kehittämisprojektin vaikutusten arviointi on usein vaikea eritellä irralliseksi ylipäätänsä kaiken kehittämissuuntautuneen toiminnan keskeltä. Kehittämisprojektista ei ole välttämättä otettu käyttöön koko mallia sellaisenaan, vaan siitä on varioitu ja edelleen kehitetty jotakin palasia oman toimintaympäristön tarpeisiin.

Arviointikysymyksien laatimisessa kannattaakin käyttää sellaisia muotoja, joihin vastaaja voi ilmaista juurtumista myös esimerkiksi hyvin idean nappaamisena ja muokkaamisena omaan toimintaympäristöönsä sopivaksi. Toisinaan nämä voivat näyttäytyä odottamattominakin vaikutuksina, joita on hyvä kirjata tervetulleena lisänä alkuperäiseen suunnitelmaan.

Juurruttamisen arvioinnissa on pitkälti kyse vaikutusten arvioinnista. Sitä varten kerätään tietoa esimerkiksi lomakekyselyiden, haastattelujen ja ryhmätyömenetelmien avulla. Tietoa halutaan kohderyhmiltä ja heitä ohjanneilta projektin toimijoilta, sidosryhmiltä niin oman organisaation ja osatoteuttajaverkoston sisältä kuin ulkopuoleltakin sekä ohjausryhmältä.

Arvioinnin raportoinnissa tulisi avata tulosten ja toimenpidesuositusten ohella myös menetelmiä, syntyneitä aineistoja ja analyysikeinoja. Näiden perusteella lukija saa kokonaiskuvan arvioinnista prosessina ja voi itse arvioida tehtyjä tulkintoja ja tuotettujen tulosten luotettavuutta.

Vaikutukset syntyvät sosiaalisissa innovaatioissa usein moniäänisen kehittämistoiminnan tuloksena, eivätkä ne ole useinkaan juuri sellaisia, joita kehittämistyön on uskottu tuottavan. Tavoiteltujen ja ei-tavoiteltujen vaikutusten tunnistaminen ja analysointi koko kehittämistyön ajan auttaa toiminnan suuntaamisessa.

Vaikuttavuusmittarien laatiminen räätälöidään jokaiselle projektille erikseen kyseisen kehittämishaasteen näkökulmista käsin.

Mittarit voivat olla määrällisiä tai laadullisia tai niiden risteyskohdalla kulkevia hybridejä. Projektikohtaisuudesta huolimatta on kuitenkin löydettävissä usein käytettyjä juurruttamista mittaavia muuttujia. Tehokkaan juurruttamisen lähtökohta on, että juurruttaminen on vaikuttamista useilla eri tasoilla: kohderyhmän yksilöiden tasolla, ammattilaiskollegoiden tasolla, organisaatioiden tasoilla sekä alueen ja valtakunnan institutionaalisilla tasoilla.

Projektilla on lyhyt- ja pitkäaikaisia vaikutuksia. Projektitoiminnan aikana usein keskitytään lyhytaikaisiin vaikutuksiin, jotka pystytään todentamaan jo projektin aikana. On kuitenkin hyvä pohtia myös pidempiaikaista vaikuttavuutta, joiden saavuttaminen voi olla etenkin hyvää käytännettä hyödyntävän tahon keskeisin tarve ja motivaatiotekijä.

Todelliset vaikutukset eivät kuitenkaan vielä todennu projektin toiminnan aikana, vaan niiden keräämiseksi tarvitaan mieluiten säännöllisin väliajoin toistuvaa seurantatutkimusta, jonka malleja ainakin suuremmat projektitoteuttajaorganisaatiot ovat kehittäneet sisäiseen käyttöönsä. 

Juurruttamisen arviointi muodostaa kiinnostavan osion koko projektin arviointitoimintaan. Luonteeltaan arviointi jatkuu koko projektin ajan toimenpiteisiin luonnollisesti kuuluvana osana. Projektin aikana on kuitenkin jo lähtökohtaisesti hyvä suunnitella ja resursoida muutamia juurruttamisen arvioinnin kohtia.

Projektin polkua voi tarkastella vaikutusketjuajattelun avulla (Valovirta 2017, 5). Vaikutusketju kuvailee sitä, miten eri toimenpiteet ja niihin kohdistetut panokset tuottavat tavoiteltavia laajempia vaikutuksia, ei sitä, millaisiksi aalloksi projektin aloittamat laineet kasvavat.

Vaikutusketjut rakentuvat tyypillisesti neljästä osatekijästä:

1. panoksista,
2. toimenpiteistä,
3. tuotoksista ja
4. vaikutuksista.

Vaikuttavuusketjun eri tasoilla voidaan rakentaa omat mittarit, joiden avulla voidaan suunnitella, ohjata ja arvioida projektin juurruttamistyön onnistumista.

KUVA 4. Vaikutusketju ESR-projektien juurruttamisen näkökulmien selkeyttäjänä (taustalla Halonen 2017a, Halonen 2021, 55)

Viestinnän mittareissa on keskeistä saada selville, miten hyvin viesti levää projektin eri vaiheissa ja myös millaisia reaktioita viesti saa aikaiseksi. Esimerkiksi projektin uutiskirje on sellaisenaan tärkeä viesti. Suoraan roskakoriin lentävä viesti tuskin vaikuttaa juurikaan vastaanottajaan, mutta sen avausprosentti kertoo vahvemmin siitä, että uutiskirje on löytänyt kiinnostuneen lukijan ja sitä kautta vaikuttavuuden mahdollisuus on kasvanut.

Viestinnässä keskeinen päämäärä ei ole vain tiedottaa. Mitä pidemmälle projekti etenee, sen tärkeämpää on tehdä avointa ja kutsuvaa viestintää, jossa viestin vastaanottaja kokee pääsevänsä osaksi prosessia esimerkiksi webinaariin ilmoittautumalla, kokeilemalla jotakin tulosta omassa arjessaan projektin kohderyhmän kanssa tai kommentoimalla projektin kulloisenkin vaiheen tuotoksia.

Varioinnin mittareiden osalta keskeistä on selvittää, onko löydetty projektin kannalta oikea kohderyhmä ja millaisia kokemuksia ja tuloksia kokeilu on kohderyhmän ja heitä luotsanneen ammattilaisen arjessa tuottanut.

Varioinnissa on tärkeää löytää projektin kannalta sopivia ammattilaisia sekä heidän kohderyhmiään ja toimintaympäristöjään ja saada tietoa kehitettävän ratkaisun toimivuudesta niissä. Mittauksessa on olennaista saada tietoa toivotuista ja myös ei-toivotuista vaikutuksista, joita kehitettävän ratkaisun hyödyntämiseen liittyy.

Vakiinnuttamisen mittaamisessa on tärkeää saada tietoa kokeilun muuttumisesta pysyväksi uudeksi osaamiseksi. Uusi osaaminen näyttäytyy toiminnan muuttumisena yksilöiden, tiimien ja organisaatioiden tasoilla. Vakiinnuttamisen aikana on myös tärkeää tunnistaa mahdollisia foorumeita, joilla kehitetty ratkaisu ei välttämättä ole helposti varioituva.

Valtavirtaistamisen mittaamisessa ytimessä ovat aikaansaadun muutoksen idut. Tämä näkyy usein erilaisten instituutioiden ja päätöksentekojärjestelmien keskeisissä asiakirjoissa, kuten strategioissa, toimenpidesuunnitelmissa, opetussuunnitelmissa ja muissa toiminnan keskeisissä eri organisaatioiden ohjausvälineissä.

Arviointi voi helpostikin liukua erilaisten mittareiden ja numeroiden koostamiseksi. Etenkään sosiaalisten innovaatioiden kentällä siihen ei kannata kuitenkaan tyytyä. Sosiaalisten innovaatioiden arvo muodostuu kullekin toimijalle hänen oman toimintansa ja vuorovaikutuksensa kautta (Lehtelä & Koivisto 2019, 13), jonka näkyväksi tekeminen ei ole usein kovinkaan luontevaa numeraaliseksi tiedoksi typistettynä. Lomakkeiden ohella on tärkeää kerätä laadullista tietoa arvioinnin tueksi.

Arviointi on parhaimmillaan koko projektin läpi kulkevaa yhteistoimintaa, joka on nivottu niin saumattomasti prosessiin, ettei sitä edes huomaa. Useissa projekteissa arviointi on ollut yksi projektin innostavimmista näkökulmista. Arvioinnin toimintaa kehittämisen innostajana tukee, jos arvioinnissa keskitytään hyvän huomaamiseen ja paikannetaan haasteita, joihin kehitetään yhteistoimin seuraavaa ratkaisuyritystä.

Vaikutukset syntyvät ketjun tuloksena, eivätkä ne ole useinkaan juuri sellaisia, joita kehittämistyön on uskottu tuottavan. Tavoiteltujen myönteisten vaikutuksen ohella vaikutukset voivat olla myös ei-tavoiteltuja, yllättäviä ja projektin tavoitteiden näkökulmasta kielteisiä (Valovirta 2017, 6). Näiden dokumentointi ja analysointi ovat tärkeitä etappeja.

Ei-tavoiteltujen vaikutusten tunnistaminen ja analysointi auttavat kehittämistyötä. Ei-tavoiteltuihin vaikutuksiin kannattaa pilotointivaiheessa suhtautua lahjana, jonka äärelle pysähtyminen ja jonka ratkaiseminen auttavat viemään kehittämistyötä kohti toimivampaa ja vaikuttavampaa tulosta. Hakuvaiheessa onkin tärkeää jättää tilaa myös näille ei-toivotuille elementeille, jotta niiden äärelle ehditään pysähtyä ja ottaa niiden tarjoamat opit osaksi kehittämistyötä. 

Arviointia tehdään useilla eri foorumeilla, joita seuraavaksi tuodaan esille lyhyesti. Välttämättä kaikkia foorumeista ei voida jokaisen kehittämisprojektin resurssien puitteissa ottaa osaksi arvioivaa dialogia, joten tässäkin asiassa foorumit ja tavoitteet on hyvä miettiä jo projektin hakuvaiheessa ja huomioida resursoinnissa.

Itsearviointi

Itsearvioinnin tekijä tai tekijät ovat mukana projektin toiminnassa. Arviointiin liittyy vahvasti oppimisen ja (yhteis)kehittämisen tavoitteita. Kun arviointia tekevät projektitoimijat itse, sen vaikuttavuus kehittämistyön sisältöihin ja kehittämiseen on usein tehokasta, sillä huomiot on rakennettu suoraan sopeutettuna organisaation toimintatapoihin ja -ympäristön.

Tässä piilee samalla myös haaste. Arvioinnin avulla kertyneet tulokset eivät välttämättä ole sellaisinaa yleistettävissä siirrettäessä toimintaa uusiin toimintaympäristöihin. Itsearvioinnin rinnalla onkin tärkeää saada palautetta myös muiden toimijoiden näkökulmista kehittämisprojektiin tuotoksineen sen eri vaiheissa.

Itsearvioinnin lähtökohtien pitää nojautua systematiikkaan ja aineistoon, joka analysoidaan. On myös kyettävä tunnistamaan mahdolliset arvioinnin rajaukset ja puutteet, joihin arvioitsijoiden tiivis osallisuus kehittämisprosessissa voi johtaa. Itsearvioinnin toteuttajan tulisikin osata arviointikäsitteet sekä luotettavien tutkimusmenetelmien, aineiston keräämisen ja analysoinnin sekä arviointitutkimuksen raportoinnin polku.

Itsearviointi vaatii ihmissuhdetaitoja ja kykyä oman roolin kriittiseen pohdintaan. Itsearvioinnin vaaraksi voi muodostua projektihenkilöstön innostuminen näkemään oman projektinsa vain positiivisten asioiden kautta ja siihen liittyen sokeus tunnistaa virheitä (Moilanen ym. 2014, 51; Suopajärvi 2013, 19). Projektin toimijat saattavat vältellä kriittisen ”soraäänen” sanomista tai toisaalta itsearviointi voi kärjistyä myös ”antaa tulla kaikki” -vuodatukseen.

Omasta projektiporukasta tulevan arviointitilannetta luotsaavan on kyettävä rakentamaan turvallinen, rakentava ja osallistava ympäristö ja asetettava myös rajoja ja pelisääntöjä arviointitoiminnalle. Ongelma voi myös olla haluttomuus tunnistaa ongelmia ja virheitä, vaikka ne ovat kaiken vääjäämätön osa inhimillistä toimintaa luotaessa jotakin aidosti uutta.

Projektin toimijoiden lähestymistavassa korostuu rahoittajille luvattujen tavoitteiden saavuttaminen sovittujen aika- ja talousresurssien puitteissa. Onnistumista koetaan, kun saadaan projektin aikana aikaan toimivia käytänteitä, joita saadaan upotetuksi myös oman ja usein myös muutamaan muun organisaation käyttöön sekä osaksi ammattialan osaamisvarantoa.  

Vertaisarviointi

Vertaisarviointien perustana ovat yleensä vertaisuudesta nouseva tasaveroisuuteen perustuva kumppanuus, vuorovaikutus, vaikuttaminen ja oppiminen. Arviointiprosessiin kiinnittyy vahvasti ajatus tekemisen ja kokemisen äärellä syntyvästä jaetusta asiantuntijuudesta (Tuomela & Humaljoki 2015, 5). Oman toiminnan eri ulottuvuuksia peilataan vertaisen tietoihin ja kokemuksiin omassa toimintaympäristössään. 

Vertaisarviointi voi olla tehokas keino saada etäisyyttä omaan projektiin katsomalla sitä esimerkiksi toisen saman tematiikan alueella toimivan projektipäällikön silmin.

Myös toisen projektin arvioinnin avulla saa itselleen ajatuksia esimerkiksi erilaisista varioinnin tavoista, ja usein vertaiskeskusteluissa välittyy arvokasta tietoa eri toimintaympäristöjen erityispiirteistä. Myös hiljaista tietoa saadaan tehtyä näkyväksi kokemuksen sanallistamisen myötä.

Vertaisarvioinnin periaatteena on toisilta oppiminen luottamuksellisessa ja rakentavassa ilmapiirissä. Sen avulla voi kertoa omista hyvistä käytännöistä ja toisaalta oppia uutta toisilta. Vertaisarviointi myös luo uusia verkostoja. Vertaisarvioinnin valmisteluun kuuluu olemassa olevien materiaalien avoin jakaminen ja huolellinen arvioinnin tavoitteista ja mittareista sopiminen. Vertaisarvioinnin hyödyt kasvavat, jos se integroidaan soljumaan kehittämisprosessin mukana toiminnan eri vaiheissa.

Vertaisarvioinnin menetelmiä voivat olla esimerkiksi sovittujen teemojen ympärillä käytävä keskustelu, jota arvioija kuljettaa keskustelua eteenpäin haastatellen. Vierailu- ja tutustumiskäynnit voivat olla hedelmällisiä ja avata samankaltaisissa tehtävissä oleville kiinnostavaa dialogia keskustelujen, havaintojen ja kysymyksien kautta. Tämä mahdollistaa molemminpuolisen tutustumisen myötä toisen käytänteistä, toimintamalleista ja arjen ratkaisuista oppimisen.

Kohderyhmän edustajien arvioiva palaute

Tällä sivustolla projektin asiakas on sosiaalisen innovaation uusi käyttäjä. Hän on usein ammattilainen, joka hydöyntää projekti tuoloksia omassa ammattiarjessaan. Kohderyhmällä tarkoitetaan niitä henkiöitä, jotka loppujen lopuksi hyötyvät käytetystä uudesta menetelmästä. Esimerkiksi oppilaitosympäristössä kohderyhmää voi edustaa oppilas, joka on mukana opettajansa (joka on projektin juurruttamisen näkökulmasta asiakas) projektin menetelmäkokeilussa.

Jatkuvan palautteen kerääminen toimenpiteisiin osallistuneilta kohderyhmän edustajilta on ensiarvoisen tärkeää. Se auttaa muokkaamaan orastavaa käytännettä hyvään suuntaan ja ennakoimaan myös varioinnin tarpeita. Lisäksi se toimii keskeisenä materiaalina silloin, kun toimintaa varioidaan muiden toimintaympäristöjä varten. Suopajärvi (2013, 9) muistuttaa, että arviointi on myös lupaus täyttäjälle siitä, että hänen mielipidettään kuunnellaan ja sillä on merkitystä tulevan suunnittelussa. Tätä lupausta ei saa pettää. Mikäli lomakkeita kerätään ja jätetään analysoimatta, palautteen kerääminen on hukkaan heitettyä aikaa. 

Jatkuvan palautteen avulla voidaan nähdä myös kohderyhmässä tapahtuvaa muutosta. Onnistunut projekti tuottaa kohderyhmässä toivotunlaista muutosta, jonka todentaminen vaatii systemaattista työskentelyä. Palautteessa kannattaa rohkaista kriittiseen palauttesseen: se voi avata kehittämisprosessin kannalta olennaisia näkökulmia paremmin kuin joukko ”ihan kiva” -palautteita, jotka eivät välttämättä auta paikantamaan akuuteimpia kehittämiskohteita.

Kohderyhmän yksilöt voivat olla mukana koko projektin ajan tai mukana vain jossakin osassa, kuten vaikkapa yksittäisessä työpajassa tai arviointitapaamisessa. Tyypillisesti kokemusta hahmotellaan haastatteluiden, havainnoinnin ja kyselylomakkeiden avulla. Kehittämistoiminnalle on ominaista myös hyödyntää erilaisia osallistavia menetelmiä, joilla palaute saadaan mahdollisesti suunnattua samassa tilanteessa myös haasteiden paikantamiseen ja yhteisten ratkaisu- ja kehittämisideoiden rakentamiseen. 

Ohjausryhmä arvioijana ja ulkoinen arviointi

Ohjausryhmässä on usein päättäjiä projektin toteuttajaorganisaatioista sekä erilaisista keskeisistä toimintaympäristön sidosryhmistä sekä päättäjäfoorumeista. Parhaassa tapauksessa ohjausryhmä koostuu projektista ja sen tavoitteista aidosti kiinnostuneista tahoista, joilla on aikaa panostaa ohjausryhmätyöskentelyyn. Usein juuri tuo ajan käyttö on kovin rajattua, minkä takia projektin tunteminen ja asiantunteva valmentaminen vaikeutuu.

Yleensä ohjausryhmässä on paikalla päätösvaltaa käyttäviä henkilöitä. Heillä arvioinnin mielenkiinnon kohteena on usein näkemys projektin onnistumisesta osana organisaation kehittämisprosesseja. Onnistunut projekti toteuttaa oppilaitoksen strategiaa käytännössä ja on hyödynnettävissä toiminnassa.

Hyvän projektin piirteisiin kuuluu, että siitä jää jäljelle ”jotakin” organisaatioarkeen. Organisaationäkökulmassa on myös tärkeää, että projektit muodostavat yhteisen kehittämisvirran eivätkä esimerkiksi kilpaile toisensa kanssa. Synergian kautta saadaan aikaiseksi vahvempaa muutosta kuin yhden projektin voimin.

Projektin luonteesta ja ohjausryhmän resursseista riippuen ohjausryhmän merkitys voi olla ensiarvoisen tärkeä arvioivana toimijana tiedon levittämisen ja sen kautta tapahtuvan juurruttamisen ohella. Mikäli ohjausryhmästä halutaan myös arvioivaa valmennusta, on hyvä kutsua mukaan myös kokemusasiantuntijoita.

Ulkoinen arviointi tarkoittaa sitä, että arvioinnin toteuttaa projektiorganisaation ulkopuolinen taho. Ulkoista arviointia pidetään objektiivisempana kuin sisäistä arviointia. Lähtökohtana on, että ammattitaitoinen arvioitsija noudattaa tieteellisen tiedonkeruun pelisääntöjä ja raportoi neutraalisti arviointitutkimuksessa saamansa tulokset ja tuo parhaassa tapauksessa uusia näkökulmia projektiin (Suopajärvi 2013, 17).

Usein ulkoinen arviointi tehdään lopussa eräänlaisena arvosteluna, jossa tuotetaan kriittisesti faktatietoa projektin toiminnasta ja saavutuksista. Arviointitiedon hyödyntämisen näkökulmasta katsottuna on usein tehokasta rakentaa ulkoisen arvioinnin prosessi koko projektimatkan ajalla.

Parhaillaan arviointi tukee projektin toimintaa eri vaiheissa ja vastaa myös kysymykseen: ”Mitä tekisimme seuraavaksi juurruttamisen edistämiseksi?” Parhaassa tapauksessa ulkoinen arvioija toimii kehittämisprosessia tukevana valmentajana, jonka kanssa käydään säännöllisesti keskusteluja projektin etenemisistä ja toimenpiteiden suuntaamisesta.

Indikaattorit auttavat seuraamaan etenemistä

Vaikuttavuusindikaattoreita tulee EU:n rahoittamissa projekteissa usein rahoittajatahon asettamina. Kehittämistyön juurruttamisen avuksi kannattaa niiden rinnalle valita ja/tai kehittää myös projektin omia indikaattoreita, joista pystytään päättelemään, onko projekti etenemässä toivotulla tavalla myös juurruttamisen näkökulmasta. Juurrttamista voi mitata esimerkiksi kolmen vaikuttavuuden tason kautta. Katja Ansochkin (2021) ajattelua soveltaen kolme tasoa ovat:

• Yleisellä tasolla asetetaan retorisia tavoitteita. Tällainen voi olla esimerkiksi: ”Edistetään nuorten hyvinvointia ja terveyttä.” Tavoite on usein varsin yleinen ja moniselitteinen. Kohderyhmäkin jää varsin lavealle tasolle, eikä nykytilan määrittelyä ole tehty.
• Strategisella tasolla asetetaan vaikuttavuustavoitteita ja tulostavoitteita. Tällaisia voivat olla esimerkiksi tulos: ”jokainen peruskoululainen liikkuu tunnin päivässä” ja vaikuttavuus: ”Liikkumattomuus puolittuu, jonka vuoksi siitä aiheutuvat kustannukset vähenevät 10 vuodessa 10 %”. Tavoitteita määritetään toiminnasta käsin, ei oletetusta tarpeesta. Keskeiseksi kysymykseksi muotoutuu, mitä tehdään, ei esimerkiksi miksi tehdään.
• Toiminnan tasolla asetetaan tuotos- ja toimenpidetavoitteita. Esimerkiksi tuotos: ”Peruskouluarkeen integroituva liikkumismalli on otettu käyttöön valtakunnallisesti” ja toimenpide: ”Tuetaan erilaisia projekteja, niin että kehittyy eri oppiaineiden opetukseen soveltuva liikunnallisen pedagogiikan kokonaisuus”. Usein toimenpidetavoitetta tehtäessä lauserakenne, jossa on keskellä ”niin että”, voi tuottaa mittaamisen kannalta hyvin formuloidun toimenpidetavoitteen.

Projektin tavoitteen määrittely toimii usein saatesanoina myös juurruttamisen arvioinnille. Tavoite on sosiaalisten innovaatioiden alueella usein muutoksen tuottaminen ihmisten elämäntilanteessa, käyttäytymisessä tai kokemuksessa. ”Ihminen” on kohderyhmänä yleinen, ja siksi onkin tärkeää pohtia, keitä kohderyhmät ovat.

Kohderyhmä muodostuu yksilöistä, joista jokainen toimii omassa viitekehyksessään ja ainutlaatuisessa elämän ympäristössään. Yritä löytää sellainen kohderyhmä, joka on tavoitettavissa ja joka on projektinne kannalta juuri oikeassa elämäntilanteessa. Kohderyhmän voi myös jakaa erilaisilla kriteereillä pienempiin ryhmiin, mutta siltikin sen edustajat ovat projektinne ydinhaasteen ratkaisun etsinnässä juuri oikeita.  

Mittarien laatiminen räätälöidään jokaiselle projektille erikseen kyseisen kehittämishaasteen näkökulmista käsin. Mittarit voivat olla määrällisiä tai laadullisia tai niiden risteyskohdalla kulkevia hybridejä. Projektikohtaisuudesta huolimatta on kuitenkin löydettävissä usein käytettyjä juurruttamista mittaavia muuttujia. Tämän työkirjan lähtökohta on, että juurruttaminen on vaikuttamista useilla eri tasoilla: kohderyhmän yksilöiden tasolla, ammattilaiskollegoiden tasolla, organisaatioiden tasoilla sekä alueen ja valtakunnan institutionaalisilla tasoilla. Esimerkkejä projektin vaikuttavuuden mittaamisesta löydät työpohja 20:n yhteydestä.