4FRONTille myönnetty Suomen Arviointiyhdistyksen arviointipalkinto on meille suuri kunnia, erityisesti näin 10-vuotisjuhlavuoden kunniaksi. 4FRONTin perustamisesta lähtien arvioinnit ovat olleet keskeinen osa yrityksemme liiketoimintaa. Arviointiin liittyvät teoriat, menetelmät ja lähestymistavat ovat olleet säännöllinen keskustelunaihe niin projekteissa kuin kahvipöytäkeskusteluissakin.

Kymmenen vuoden aikana olemme päässeet toteuttamaan useita kiinnostavia, monipuolisia ja haastaviakin arviointeja ammattimaisten ja kunnianhimoisten asiakkaiden ja kumppaneiden kanssa eri hallinnonaloilla ja -tasoilla – niin Suomessa kuin kansainvälisestikin. Samalla olemme saaneet seurata läheltä sitä, miten arviointien tilaaminen, tekeminen ja hyödyntäminen on muuttunut vuosien saatossa.

Tämä kirjoitus kokoaa yhteen omia havaintojamme arviointien kehityksestä viimeisen kymmenen vuoden aikana sekä siitä, mihin suuntaan arvioinnit ovat mahdollisesti menossa seuraavan kymmenen vuoden aikana. Kirjoituksen näkökulma on ennen kaikkea käytännönläheinen ja perustuu arviointeja toteuttavan yrityksen subjektiiviseen käytännön kokemukseen.

Miten arvioinnit ovat muuttuneet 10 vuodessa?

Arvioinnista päätöksenteon sparraukseen. Kokemuksemme perusteella arviointien ytimessä on yhä useammin päätöksenteon sparraus ja usein tärkeimmät ja arvokkaimmat keskustelut käydään ja arviointien aikana. Arvioinnin päättyessä tieto onkin usein jo käytössä tai hyödynnetty – tai joskus jopa vanhentunut. Tämä kehitys on korostanut ennen kaikkea oikeaan aikaan tuotetun arviointiedon merkitystä, sekä tiivistä vuoropuhelua ja linkitystä käynnissä oleviin päätöksenteon prosesseihin. Samalla päätöksenteon syklien nopeutuminen on haastanut myös arviointien ajoitusta ja toteutusta: milloin arviointi kannattaa käynnistää, jotta se aidosti palvelee valintoja, eikä vain dokumentoi mennyttä? Onko riskinä, että arviointi sulautuu liiaksi konsultointiin (tai vaikuttajaviestintään) ja menettää samalla arvioivan luonteensa?

Arviointi on yhä enemmän yhteistuotantoa ja -kehittämistä. Verrattuna 10 vuoden takaiseen tilanteeseen, arvioinnit tehdään aiempaa tiiviimmin vuoropuhelussa asiakkaan ja/tai sidosryhmien kanssa. Tämä näkyy jatkuvina syötteinä, työpajoina, sparrauksena ja yhteisenä “sense-makingina”. Arvioijan rooli laajenee: arvioija on usein myös fasilitaattori, vuorovaikutuksen rakentaja ja yhteisen näkemyksen kirkastaja. Tämä kehitys on olennaisesti kytköksissä myös kohtaan yksi: Arviointien rooli päätöksenteon sparraajana väistämättä edellyttää osallistavampaa arvioinnin lähestymistapaa. Tämä on monella tavalla tervetullutta, mutta toisaalta haastaa arvioitsijoita säilyttämään oman objektiivisen ja analyyttisen otteensa.

Askel kohti systeemisempiä arviointeja. Arvioinneissa on siirrytty (ainakin yksi askel) sektori- ja organisaatiokohtaisuudesta kohti laajempia ilmiöitä ja järjestelmiä. Esimerkiksi innovaatiopolitiikkaa tai kestävää kehitystä käsittelevät arvioinnit ovat pyrkineet tarkastelemaan järjestelmää suurempina kokonaisuuksina. SDG-tavoitteet ovat jäsentäneet organisaatioiden toimintaa ja samalla myös arviointien kysymyksenasettelua. Kompleksisuuden ymmärtäminen ja portfolioajattelu ovat niin ikään vahvistuneet osana arviointeja. Toisaalta suurin osa arvioinneista on edelleen (ymmärrettävästikin) organisaatio- tai sektorikohtaisia ja matka kohti systeemisempää arviointikulttuuria on nähdäksemme vasta alussa.  Keskeinen haaste – ja samalla mahdollisuus – on kytkeä rajatut, usein organisaatiokohtaiset arvioinnit ilmiö- ja järjestelmätason ymmärrykseen niin, että tulokset ovat yhtä aikaa päätöksenteolle riittävän konkreettisia ja kuitenkin laajemmat riippuvuudet huomioivia.

Digitaaliset aineistot, menetelmät ja työkalut. Perinteisten menetelmien rinnalle on tullut vahvemmin erilaisia dataan perustuvia aineistoja ja menetelmiä. Uudet työkalut – viimeisimpänä tekoäly – mahdollistavat uudenlaisia ja kattavampia analyyseja. Myös arviointien käytännön arki on muuttunut, kun koronapandemian myötä tapahtunut julkisen sektorin ”digiloikka” normalisoi Teams-kokoukset ja etähaastattelut. Uusilla työkaluilla arviointeja on mahdollista tehdä tehokkaammin ja nopeammin, mutta se ei (onneksi) vielä takaa laatua ja näkemykselle ja kokemukselle on edelleen sijaa ja tarvetta.

Yhteenvetona voidaan todeta, että edellä kuvatuista kehityskuluista huolimatta viimeisen kymmenen vuoden aikana arviointien perusluonne on monin tavoin säilynyt samana, vaikka työtavat, aineistot ja näkökulmat ovatkin kehittyneet. Muutosta on siis selvästi havaittavissa, mutta se ei ole ollut erityisen mullistavaa – erityisesti jos sitä peilataan siihen, miten arvioinnit mahdollisesti tulevat muuttumaan seuraavan kymmenen vuoden aikana.

Miltä näyttävät seuraavat 10 vuotta?

Tekoäly mullistaa myös arviointikentän. Tekoäly on jo nyt arkipäivää arvioinneissa monella tavoin. Toistaiseksi tekoälyn soveltaminen on kuitenkin vielä melko rajattua ja tapauskohtaista. Seuraavien kymmenen vuoden aikana tilanne tuleekin todennäköisesti muuttumaan olennaisesti tekoälyn muuttaessa perinpohjaisemmin päätöksenteon tueksi tarvittavan tiedon luonnetta. Samalla myös tavat tilata, toteuttaa ja hyödyntää arviointeja muuttuvat. Arvioijan rooli siirtyneekin tulevaisuudessa yhä vahvemmin analyysistä tulkintaan, ymmärryksen rakentamiseen ja strategisiin johtopäätöksiin.

Julkistalouden niukkuus haastaa arviointeja: vähemmällä enemmän – ja eri tavalla. Julkisen talouden haastava tilanne on heijastunut konkreettisella tavalla arviointikenttään viime vuosien aikana. Tämä kehitys ei todennäköisesti ole ainakaan lähivuosien aikana muuttumassa. Päinvastoin resurssien niukkuus mitä todennäköisemmin leimaa arviointien suunnittelua ja toteutusta tulevina vuosina yhä voimakkaammin:  kaikkea ei voi mitata, kaikkea ei voi arvioida, eikä aina täydellisimmällä asetelmalla. Kustannustehokkuus, tuottavuus ja vaihtoehtoiskustannukset korostunevat enenevässä määrin arviointikriteereissä ja kysymyksissä. Samalla priorisoinnin merkitys kasvaa: “mikä kannattaa säilyttää, mitä lopettaa, mihin panostaa?”

Turvallisuusnäkökulma nousee läpileikkaavaksi arviointikriteeriksi. Samaan tapaan kuin vastuullisuus ja SDG-tavoitteet ovat lyöneet läpi arvioinneissa viime vuosina, tulee turvallisuus laajassa merkityksessä toimintavarmuus, huoltovarmuus, kyber, varautuminen ja geopoliittiset riippuvuudet) mitä ilmeisemmin korostumaan jatkossa läpileikkaavana painopisteenä ja kriteerinä arvioinneissa. Mikä on politiikkatoimien ja ohjelmien resilienssi? Miten ne toimivat häiriöissä, epäjatkuvuuksissa ja kriiseissä?

Ad hoc -arvioinneista jatkuvaan tilannekuvaan. Edellä kuvattu kehitys arviointien muuttumisesta yhä enemmän sparrauksen välineeksi tulee todennäköisesti voimistumaan entisestään tulevina vuosina arvioinnin integroituessa entistä tiiviimmin johtamisen ja toimeenpanon työkaluksi. Tilannekuvat, indikaattoripaneelit, säännölliset analyysipäivitykset ja heikot signaalit ovat yhä vahvemmassa roolissa ja arviointia tarvitaan ennen kaikkea indikaattoreiden muodostaman tilannekuvan järkeistämiseen.  Tässä kehityksessä on erityisen tärkeää varmistaa, että arvioinnin keskeiset periaatteet sekä hyväksi todetut käytännöt ja kriteerit säilyvät edelleen relevantteina ja arviointi löytää paikkansa myös datan ja tekoälyn aikakaudella.

Lämmin kiitos Suomen Arviointiyhdistykselle tunnustuksesta sekä työstä koko Suomen arviointikentän kehittämiseksi – ja ennen kaikkea kiitos asiakkaille, yhteistyökumppaneille ja arviointiyhteisölle luottamuksesta, keskusteluista ja yhteisestä oppimisesta matkan varrella.

Vesa Salminen, 4FRONT