mari.rakkolainen(at)formin.fi +358 50 357 7435

Vuosiseminaarit

Suomen Arviointiyhdistys järjestää joko itse tai yhteistyössä muiden toimijoiden kanssa vuosittain yhden seminaarin ajankohtaisesta arviointiteemasta.

Arviointi 2.0 tilaisuudet –  epävirallisesta verkostosta syntynyt aloite

Arviointi 2.0 – seminaarisarja syntyi vuonna 2016 Valtionhallinnon epävirallisesta arviointiverkostosta “VALHALLA:sta”.  Siihen kuuluvat mm. ulkoministeriön kehitysevaluoinnin yksikkö (EVA-11), Kansallinen koulutuksen arviointikeskus (Karvi), valtioneuvoston selvitys ja tutkimustoiminta (VNK/ VNTEAS), ympäristöministeriön rakennetun ympäristön osasto, Strategisen Tutkimuksen Neuvoston tutkimusohjelmat, Suomen ympäristökeskus (Syke), Sininauhaliitto, Työterveyslaitos, Sitra ja SAYFES. Verkoston tavoitteena on ollut lisätä ymmärrystä siitä, millaisia arviointikulttuureja, lähestymistapoja ja metodeja julkisen hallinnon ja politiikan seurannan piirissä on. Pohdinnassa on myös ollut, miten eri osapuolten välistä yhteistoimintaa voisi kehittää osana tietoperustaisen päätöksenteon vahvistamista. Siten   hallitusohjelman kaikkiin painopisteisiin tulisi sisällyttää arviointivelvoite.

Kohti arviointia 2.0 -seminaari

Seminaari pidettiin 14.12.2017 HAUS Kehittämiskeskuksessa Helsingissä. Seminaarissa tarkasteltiin, miten kestävän kehityksen Agenda 2030-muuttaa arviointia Suomessa. Seminaari oli osa seminaarisarjaa, jonka ensimmäinen osa käsitteli Polkuja kohti arviointia 2.0 – arvioinnin toteutusta ja käyttöä.

Kestävää kehitystä ja globaaleja kehityshaasteita on arvioitu Suomessa eri tahoilla hieman eri periaattein ja menetelmin. YK:n kestävän kehityksen Agenda 2030 asettaa nyt arvioijat uuden haasteen eteen. Agendan mukaan arvioinnissa tulisi hyödyntää kansallisia arviointijärjestelmiä. Muuttuviin olosuhteisiin vastaaminen edellyttää yhteistyötä ja yhteistä ajattelua mm. politiikan tuloksellisuuden ja johdonmukaisuuden riippumattomasta arvioinnista vastuussa olevien sekä politiikkaa toteuttavien organisaatioiden välillä.

Seminaarin tavoitteena oli edistää kestävän kehityksen arviointikäytänteitä ja -politiikkaa eri hallinnonaloilla, jotta jatkossa voidaan systemaattisesti tuottaa riippumatonta arviointitietoa kestävän kehityksen kansallisista ja globaaleista haasteista päätöksentekijöille ja eri toimijoille sekä julkiseen keskusteluun.

Seminaarisarjan järjestivät yhdessä Suomen Arviointiyhdistys, ulkoministeriön kehitysevaluoinnin yksikkö, Kansallinen koulutuksen arviointikeskus, valtioneuvoston selvitys ja tutkimustoiminta, ympäristöministeriön rakennetun ympäristön osasto, Strategisen Tutkimuksen Neuvoston tutkimusohjelmat ja Suomen ympäristökeskus.

Seminaarin ohjelma

Seminaarin webinaaritallenne

Arviointi 2.0 Tervetuloa

Esitykset plenaarissa 

Ziad Moussa: Evaluation and Agenda 2030

Pia Katila: Synergiat ja kompromissit kestävän kehityksen tavoitteiden välillä

Sami Pirkkala: Suomen kansallisen Agenda2030 strategian seuranta ja arviointi

Esitykset rinnakkaissessioissa

Rinnakkaissessio 1

Helena Valve ja Jussi Kauppila: Politiikka-arviointi osana yhteisten tavoitteiden saavuttamista

Mervi Porevuo: Sensemaker ja tarinat yhteiskunnallisen muutoksen luotsaajina

Sanna Pulkkinen: Politiikkajohdonmukaisuus ja pakolaisuusevaluointi

Rinnakkaissessio 2

Katri Vataja: Kestävän hyvinvoinnin tavoitteiden arviointi

Mari Räkköläinen: Kestävän kehityksen osaaminen ja opetus ammatillisessa koulutuksessa

Tuula Pohjola: Ammatillisen koulutuksen mahdollisuudet ja haasteet

Petri Uusikylä: Kehittävä arviointi monipolitiikkaympäristössä

Rinnakkaissessio 3 

Mikko Wennberg: Nuorisoneuvoston arviointi

Jussi Pyykkönen: Syrjäytymisen SIB

Jari Lyytimäki: Sitoumus-toimintamallin arviointi

Kohti arviointia 2.o keskustelutilaisuuksien sarjan jatko teemalla Osallistavaa ja osaavaa Suomea arvioimassa

Kahden tunnin keskustelutilaisuus pidettiin 17.12.2019 Valtiovarainministeriössä.

Tilaisuuden tavoitteena oli tarkastella arvioinnin roolia pitkän aikavälin politiikan ja sukupolvien välisen oikeudenmukaisuuden edistämisessä.

Keskustelusarja pohjautuu hallitusohjelman lupauksiin. Keskustelussa pohdittiin, miten politiikan uudistuessa tulisi myös arvioinnin uudistua.

Hallitusohjelmassa on kuusi kunnianhimoista lupausta politiikan uudistamiseksi. Keskustelutilaisuuden teemana oli pitkän aikajänteen päämäärien ja sitoumusten (kuten Agenda2030) arvioitavuus. Suomen Arviointiyhdistys on julkaissut keskustelun pohjaksi myös aloitteen kansallisesta arviointipolitiikasta.

Keskustelutilaisuudessa pohdittiin yhdessä arvioitsijoiden, tutkijoiden, päätöksentekijöiden ja kansalaisyhteiskunnan toimijoiden kanssa, miten arviointi saataisiin parhaiten palvelemaan päätöksentekoa sekä vahvistamaan tietoperustaa ja oppimista osana hallitusohjelmaa.

Tilaisuudessa luovutettiin myös SAYFESin vuoden 2019 Arvin päivän palkinto ”POLKU2030” –hankkeen arviointitiimille merkittävästä arviointiteosta. POLKU2030-hankkeessa ajatuspaja Demos Helsingin, Suomen ympäristökeskuksen (Syke) ja Helsingin yliopiston kestävyystieteen instituutin (Helsus) muodostama arviointitiimi arvioi Suomen kestävän kehityksen politiikkaa kokonaisuutena ensimmäistä kertaa tällä vuosikymmenellä.

Tilaisuudessa arvioinnin roolista pitkän aikavälin politiikan ja sukupolvien välisen oikeudenmukaisuuden edistämisessä olivat keskustelemassa tulevaisuusvaliokunnan valiokuntaneuvos Olli Hietanen, kehityspoliittisen toimikunnan pääsihteeri Marikki Stocchetti, VNK:n edustaja, ja POLKU 2030 -arviointitiimi.

Seminaarin ohjelma

Arvin päivän palkinnon voittaneen työryhmän esitys: Path2030 – An evaluation of Finland’s sustainable development policy

Koonta päivän sisällöstä:

Koonta

Mistä puhumme, kun puhumme arvioinnista?

Joulukuun tilaisuuden moderaattorina toiminut SAYFES:n sihteeri, Petra Mikkolainen, avasi seminaarin kysymällä, mitä arviointi on ja miten se eroaa muista päätöksenteon tueksi olevista  menetelmistä. Näitä ovat esimerkiksi selvitykset, tutkimukset, tulevaisuusselonteot, tilintarkastukset sekä tulosten seuranta. Arviointi on vain yksi työkalu muiden joukossa. Arvioinnissa on kuitenkin vakiintuneet kansainväliset käytänteet, joissa esiintyvät ainakin seuraavat ominaisuudet:

  • arvioinnin tarkoitus (miksi se tehdään)
  • arvioinnin viitekehys, joka vaikuttaa kysymyksiin, kriteereihin ja niitä mittaaviin indikaattoreihin
  • menetelmät ja prosessi
  • arvon määrittely (toiminnan hyödyllisyys, merkitys, tulokset ja vaikutukset)

Arviointi voidaan kuitenkin tässä yhteydessä käsittää laajempana terminä. Sen keskiössä on tiedon tuottaminen päätöksenteon tueksi, tässä tapauksessa, hallitusohjelman näkökulmasta.

Arvin päivän palkinnon luovuttaminen ja Polku2030 – arvioinnin esittely

Arvin päivän palkinnon voittaneet Kuva Petra Mikkolainen

Tilaisuuden aluksi luovutettiin SAYFESin vuoden 2019 Arvin päivän palkinto ”POLKU2030” –hankkeen arviointitiimille merkittävästä arviointiteosta. POLKU2030 -hankkeessa ajatuspaja Demos Helsingin, Suomen ympäristökeskuksen (Syke) ja Helsingin yliopiston kestävyystieteen instituutin (Helsus) muodostama titiimi arvioi Suomen kestävän kehityksen politiikkaa kokonaisuutena ensimmäistä kertaa tällä vuosikymmenellä. Yksi toimeksiannon tavoitteista oli vahvistaa hallituksen Agenda2030-toimintasuunnitelman tietopohjaa. Arvioinnissa suositeltiin kestävän kehityksen tavoitteiden omaksumista tulevan hallitusohjelman perustaksi (ks. alla linkit julkaisuihin).

Arvioinnissa tarkasteltiin myös Suomen ulkopolitiikkaa, erityisesti sen ihmisoikeusperustaisuutta ja ´leave no-one behind` -ajattelun toteutumista. Siinä keskityttiin kauppapolitiikan ja kansainvälisen veropolitiikan näkökulmiin, jotka ovat viime vuosina korostuneet Agenda 2030:n myötä. Kaiken kaikkiaan arviointitiimin mielestä myönteistä oli laaja osallistuminen sekä ajoitus, joka mahdollisti hallitusohjelmaan vaikuttamisen. Kestävän kehityksen toimikunta, joka nimetään uudelleen vuonna 2020, tulee ottamaan vetovastuun arvioinnin suositusten toimeenpanosta. Raportilla on jo ollut globaalia vaikutusta, sillä  se on toiminut  taustamateriaalina, kun Unicef, IIED ja Suomi ovat tehneet yhdessä ohjeistuksen kehitysmaille siitä, miten maiden kannattaisi arvioida kestävän kehityksen tavoitteiden saavuttamista.

Paneelikeskustelu

Kestävän kehityksen arvioinnin esittelyn jälkeen alkoi paneeli, johon osallistuivat tulevaisuusvaliokunnan valiokuntaneuvos Olli Hietanen, kehityspoliittisen toimikunnan pääsihteeri Marikki Stocchetti, neuvotteleva virkamies valtiovarainministeriöstä Johanna Nurmi sekä POLKU 2030 – arviointitiimin jäsen Annukka Berg Suomen ympäristökeskus SYKE:stä.

Olli Hietanen kertoi, että Tulevaisuusvaliokunnalla on useita arviointiin liittyviä ponsia. Keskiössä ovat tuloksellisuusmittarien kehittäminen ja erityisesti Agenda2030:n mittareiden konkretisointi. Myös politiikkajohdonmukaisuuden ja eettisyyden arviointi sekä teknologiavaikutusten huomioiminen ovat tärkeitä. Eduskunnan tehtävänä on seurata tuloksellisuuden toteutumista. Valiokuntakäsittelyssä myös opposition kysymykset tulevat esiin, jolloin seurantaa ja arviointia tehdään myös opposition näkökulmasta.

Marikki Stocchetti korosti osallisuuden vaativan eettistä koodistoa.

Johanna Nurmi puolestaan toi esiin virkamiehen näkökulman ja sen, mitä tapahtuu koko hallinnon tasolla. Ideaalitilanteessa valmistelu, päätöksenteko ja toimeenpano ovat erillisiä, mutta todellisuudessa roolit sekoittuvat. Olisi parannettava dialogia prosessin kaikissa vaiheissa. Itse asiassa, vuoropuhelu alkaa jo paljon ennen arviointikysymysten muotoilua, millä on sekä hyvät että huonot puolensa. Luottamuksen rapautumisen ehkäisemisen edellyttää moninaisten näkökulmien huomioimista. Ei saisi olla kiinni vain kulloinkin pinnalla olevissa näkökulmissa ja kysymyksissä. Viime hallituskaudella arviointipolitiikan sijaan toteutettiin mm. tietopoliittinen selonteko, jossa tekoälykysymykset olivat vahvasti esillä. Aiheesta asetettiin myös tieteellinen asiantuntijaryhmä. Voisiko seuraavana olla vuorossa arviointipolitiikan asiantuntijaryhmän asettaminen?

Annukka Berg esitti neljä teesiä hyvälle arvioinnille kestävän rakennemuutoksen olosuhteissa. Arvioinnin tulisi olla 1. ennakoivaa 2. systeemisiä kokonaisuuksia tarkastelevaa 3. aiempaa systemaattisempaa, koko valtioneuvoston läpäisevää ja 3. osallistavaa. Lisäksi hän korosti, että arviointirauhan lisäksi tarvittaisiin myös valmistelurauha. Häntä pohditutti myös  nk. päätöskuilukuvat, eli tarvitaan visualisointia eri tiedontuotannon tavoista ja niiden suhteista, samoin kuin myös politiikkasyklin mallintamisesta.

Paneelin jälkeen seurasi todella vilkas yleisökeskustelu, jota akvaariomenetelmä kiihdytti.

Yleisökeskustelu

Lassi Perkinen kysyi, miten kannustettaisiin arviointikulttuurin vahvistumista niillä sektoreilla, joilla sitä ei ole. Esimerkiksi rakennus- ja maankäytön sektorille investoidaan miljoonia, mutta arviointia ei tehdä nimeksikään!  Ongelmien pohtimista jatkoi Olli Hietanen, joka toi esiin miten yhteiskunnan tietopohjassa on rakenteellisia vääristymiä. Samalla kun perään kuulutetaan pitkiä aikasarjoja, niin mm. tilastokeskuksen mittareissa on teollisuustuotanto yhä hallitseva, vaikka yhteiskunta on muuttunut palveluyhteiskunnaksi. Mittareissa ei näy sitä muutosta, mikä tapahtuu yhteiskunnassa. Aikasarjojen sijaan pitäisi bifurkaatio tuoda näkyväksi.

Toisaalta mittarikeskustelu herätti arvioitsijoissa suuria tunteita: ”Mittarit valitaan vasta sitten kun on määritelty arviointikysymykset, mahdollinen viitekehys, kriteerit ja niitä mittaavat indikaattorit. Ei pitäisi mennä suoraan mittareihin!”

Lopussa korostettiin useammassakin puheenvuorossa sitä, että arviointi ei sovi kaikkiin tilanteisiin (ks. lopussa linkki). Esiin nousi myös väite, jonka mukaan arviointi ei voi olla irti kontekstistaan.  Koska konteksteja on niin monia (eri ministeriöt, instituutiot, järjestöt jne.), on myös moninaisia lähestymistapoja ja menetelmiä. Tällä hetkellä emme tiedä, mikä on arvioinnin tila Suomessa. Tarvitaan eri lähestymistapojen ja niiden vaikutusten kartoitusta, mikä tuonnee esiin vallitsevan moninaisuuden. Siitä voinee sukeutua tilkkutäkkimäistä, mutta hallittua moninaisuutta sisältävää kansallista arviointipolitiikkaa. Tämän aikaansaaminen on yksi Suomen Arviointiyhdistyksen tehtävistä yhdessä muiden kumppaneiden kanssa.

Seminaarin keskustelu oli mielenkiintoista ja todella dynaamista, sillä puheenvuoroja oli koko ajan jonossa kolme –neljä. Tästä huolimatta, varsinainen pääkysymys, miten hallituksen lupauksia pitäisi arvioida jäi käsittelemättä. Niinpä seuraavassa tilaisuudessa, aprillipäivänä Tampereella, mennään suoraan konkretiaan.

Kirjallisuutta

Linkit POLKU 2030-hankkeessa tuotettuihin julkaisuihin:

Suomenkielinen raportti

Suomenkielinen Policy Brief

Englanninkielinen raportti

Englanninkielinen Policy Brief

Ten Reasons Not to Measure Impact—and What to Do Instead