The methods and tools for evidence-based decision making

This page is a variable. The page identifier is Op_en7438
Moderator:Nobody (see all) Click here to sign up.
Give your opinion to the peer rating of the content of this page. {{ #opasnet_rater: }}
Upload data

Question

What kind of operating models, methods and tools exist to improve evidence-based policy in societal decicion-making? Research knowledge in the Finnish Government's decision-making is especially examined. Important are things that help the Implementation plan of evidence-based policy of the Yhtakoytta-project.

Answer

Current practices and improvement needs

The purpose of this overview is to find out what would be good and consistent methods and tools to help improve the processing use of scientific knowledge in the Government's preparation work, decision making and strategic policy. It is also important to understand those principles that are supported by these methods and tools. The recommendation aims for the kind of universality that the methods are good in societal decision-making in general and can thus be taken into use also elsewhere.

It is not examined here how and for what reasons the political decision is finally made. Of course the aim is that the preparation work helps both the decision maker to choose the solution best matching their values, and an outside observer to understand, how the final decision was reached.

The goal is not to give a full and accurate picture of the current knowledge practices. Some kind of general notions are useful to be said in the beginning because they help understand, why and how the current practices should be improved. Some important views are found from op_fi:Tiedolla johtamisen menetelmät ja työkalut#Perustelut (in Finnish).

We especially examine methods, that could be implemented into use already in the near future. However, we do not argue, that there methods should immediately be used in all of the Government's work or that it would even be possible. Rather we offer a justified vision of what kind of methods the methods for improving the use of knowledge in decision-making are, according to research. We hope the stepping stones we suggest are so practical and feasible, that there will be projects and operations where these principles and methods identified here can be tried in practice and implemented into use.

It must be said in the very beginning that the current knowledge practises in Finland are good, and compared to many other countries excellent. When the preparation begins goals, responsibilities and schedules are set, and officials or committees who are familiar with the topic are chosen for the work. There is usually a lot of knowledge for doing to work, and it can be easily found online. The officials and experts are committed to their work and do it with the good of the society in mind.

However, there are important improvements to be made. Especially difficult are decisions about highly complicated matters that have significant long-term effects, like questions about refugees, climate treaties, energy taxation or civil salary. This is when one expert's knowledge is not enough, and even the resources of a diverse group of experts may not be enough to get a proper grip of the complicated situation.

On the whole the activity has been higher in the last years, and progress with open policy practices have been made with a good speed. Transparency and knowledge-based work have become one of the main themes in both the fields of governance and research, and a a large net of people, committees, projects, strategies and corporations has formed around the topic. Open policy practise and open access and wide use of knowledge have been taken into account in almost all strategic policies about the future in ministries, research organisations and the Government (OHRA-recommendations (in Finnish), The improving of knowledge use in political decision making - from goals to reality. (in Finnish)) This has lead to a situation, where many different people and organisations have developed guidelines, methods, tools and services for decision making based on openness and knowledge.

The main idea of this literature review if to go through fresh material especially from Finland but also elsewhere and try to gather a coherent group of the most important principles that can be supported with tools that help the practical work.

Shared understanding as the core goal of new practise

File:Yhtäköyttä-periaatteet.png

Yhtakoytta-pronciples and their significance in creating shared understanding from observed data.⇤# : Does this picture exist somewhere in English already? --Heta (talk) 08:52, 14 February 2016 (UTC)

From scientific and political literature discussing the use of knowledge often stands out many different goals and principles, but usually the thinking is going towards goals based on scientific understanding and involvement. From these megatrends and other goals consistently found in literature we have worked out one core goal that we believe sums everything up to a useful and concrete form:

Decision preparation work has to aim for shared understanding. Shared understanding means a situation where the views of all different involved parties is described thoroughly enough it can be said, of which relevant facts and values there is agreement, of which a disagreement and why. Shared understanding can thus be used to predict, which decision option any party would choose and why.

The idea is of curse radical applied widely, and completely opposite points of view has it's support in today's Finland (that decisions are only spoken about after they have already been made). However, our experience has shown the idea of shared understanding to be a) easy to understand and so an easy guide for thinking, b) an efficient way to find on the whole good solutions in small groups based in trust, and c) an efficient way to identify the mistakes in failed decision preparation processes. In other words if the preparation fails, shared uderstanding helps evaluate and identify those things that could have been done differently to probably avoid the problems.

The methods an tools of decision making have developed so that we can apply shared understanding widely and test if problems are avoided and if the decision making is really made better. This literature review gives tools for this kind of work.

Knowledge crystals create shared understanding

The creation of shared understanding requires many different things and action. However there are three principles above all else, because they are always present when shared understanding has been created and them missing seems to be connected to failure to create shared understanding. These are openness, shared information objects and critique.

Shared understanding

A situation where the views of all parties is described thoroughly enough it can be said, of which relevant facts and values there is agreement, of which a disagreement and why. Shared understanding can thus be used to predict, which decision option any party would choose and why.

Openness

All information is open for everyone to see at all times. Anyone can participate in the work at any point and affect the result. Only the content and quality of the participation are relevant, not the status of the participator.

Shared information objects

The product if written so that the real-time draft can always be found in the same place. Also the changes are done to the same draft so no parallel versions are created.

Critique

The product is always open for comments and critique, and valid (follows the more accurate rules) critique is taken into account in the content.

Knowledge crystal

An object of knowledge built around a specific research question that applies the principles of openness, shared information objects and critique and aims to a shared understanding about the answer by using observed data as arguments.

The wide success of openness, shared information objects and critique requires a specific kind of work among the knowledge. For example a web-workspace is needed, where all relevant information can be put for everyone to see. The workspace has to allow open participation so that the knowledge doesn't distort or break down but can be with reasonable work summarised. The summaries should consistently and inclusively take into account everything said so far. Aside from the workspace also fitting knowledge structures and practises are needed to keep the knowledge organised.

The most important way to keep knowledge organised is to identify exact questions, finding answers to which is the main task of knowledge work. The questions have to a) serve needs of decision-making and b) be research questions i.e. can be answered using scientific knowledge and the drafts of answers can be critiqued with scientific reasons. The scientific requirement also applies to value questions; in these cases the questions are phrased for example "what things does group x find most important considering topic y?" This way also values are seen as research questions and the answers aim to be consistent with observations.

Knowledge crystal is the kind of object of knowledge built around a research question that follows the principles of openness, shared information objects and critique and aims for shared understanding about the answer using observed data as reasoning. The knowledge crystal has indeed been identified as the most important tool or information object for organising knowledge that guides the process of decision preparation work.

Tieteen menetelmä tuottaa tietokiteitä

Yhtäköyttä-hanke ehdottaa uutta toimintamallia, jonka perusta on varsin yksinkertainen. Koska tiede on osoittautunut tehokkaimmaksi tavaksi tuottaa hyödyllistä tietoa maailmasta, samaa menetelmää pitää soveltaa myös päätöksenteossa. Miten se tapahtuu?

"Tieteen perustana on vankka usko asiantuntijoiden erehtyväisyyteen," on asian kiteyttänyt nobelisti Richard Feynman. Tämä tarkoittaa, että tieteellinen tieto perustuu havaintoihin ja teorioihin, joiden kumoamiseen kelpaavia havaintoja ei yrityksistä huolimatta löydetä. Asiantuntijoihin uskominen ei siis ole tiedettä. Yhteiskunnallisessa päätöksenteossa voidaan noudattaa samaa periaatetta. Tieto voidaan jäsentää tutkimuskysymyksiksi ja vastausyrityksiksi, joita tarkastellaan kriitisesti havaintojen avulla perustellen. Tällaista kysymyksen, vastauksen ja perustelun kokonaisuutta sanotaan tietokiteeksi, jos se on avoimen joukkoistamisen kohteena eli kaikkien on mahdollista osallistua sen rakentamiseen.

Tieteen perusajatus on, että rationaalisen kriittisen ajattelun kautta jotkut vastausyritykset muuttuvat lopulta mahdottomiksi puolustaa havaintojen valossa. Jos havaintoja on puutteellisesti, liikutaan alueella, jossa on lukuisia mahdollisia vastauksia ja ihmisillä on keskenään ristiriitaisia näkemyksiä. Yhtäköyttä-periaatteiden mukaan on tällöin pyrittävä jaettuun ymmärrykseen eli toisten näkökantojen ymmärtämiseen. Tämä on eri asia kuin konsensus, jossa etsitään yksi kaikille hyväksyttävissä oleva vaihtoehto.

Tutkimuskysymyksen ympärille rakentuu toimijoiden joukko, jotka keräävät havaintoja, keskustelevat ja tulkitsevat niitä tuottaen vastauksen tai vastauksia, jotka ovat yhteensopivia kaiken havaintoaineiston kanssa. Tällainen tietokide on sitten kaikkien hyödynnettävissä.

Tietokiteiden tuottaminen on joukkostettua, yhteisöllistä toimintaa. Niinpä toimiakseen tämmöinen työskentely tarvitsee muutamia selkeitä periaatteita, jotka auttavat ohjaamaan ja kannustamaan työtä oikeaan suuntaan ja myös estämään väärään suuntaan etenemistä. Periaatteita noudattamalla syntyy toimintamalli eli johdonmukainen tapa toimia. Toimintamallin syntymistä vielä edistetään sopivilla työkaluilla, jotta oikeiden asioiden tekeminen olisi helppoa ja väärien vaikeata. Tavoitteena on siis tehdä tietokiteiden kehittäminen ja käyttäminen mahdollisimman sujuvaksi ja tehokkaaksi ja siten jaetun ymmärryksen syntyminen helpoksi.

Yksi avoimen päätöksenteon kulmakivistä on kansalaisten osallistaminen (tai ainakin sen mahdollistaminen) päätöksentekoon ja läpinäkyvä avoimuus asioiden käsittelyssä. Joukkoistaminen demokratiassa -teos linjaa, että joukkoistamiseen liittyy tietyt elementit, jotka pitää olla aina mukana, että joukkoistaminen prosessina toimii päätökseteon tukena. Nämä ovat: 1) Tavoitteen määrittely, rajaus ja vaiheistus, 2) viestintä, 3) yksinkertainen tekninen toteutus, 4) joukkoistamisprosessin hoitaminen, 5) aikarajoite, 6) tapahtumat, 7) analyysi ja prosessin seuranta ja 8) prosessiin sitoutuminen.

Tietokiteiden tuottamista tukevat periaatteet

Äskeisestä pohdinnasta ja aiemmasta kirjallisuudesta nousee toistuvasti esiin useita periaatteita, jotka on syytä lyhyesti kuvata suosituksen ymmärtämiseksi. Neljä ensimmäistä eli jaetun ymmärryksen tavoittelu, avoimuus, kohteellisuus ja kritiikki jo mainittiin. Niiden lisäksi on seitsemän muuta periaatetta, jotka yhdessä tukevat tietokiteiden ja jaetun ymmärryksen syntyä. Tarkemmat kuvaukset löytyvät Yhtäköyttä-hankkeen sivuilta ja avoimen päätöksentekokäytännön sivulta. Tuotoksella tarkoitetaan tässä yhteydessä päätösesitystä, raporttia tai muuta konkreettista tietotuotetta. Työllä tarkoitetaan kyseisen tuotoksen tekemistä.

Tavoit­teelli­suus

Päätöksentekijä julkistaa päätöksellä tavoiteltavat vaikutukset ja arvot.

Syy­suhteet

Osallistujat kuvaavat päätöksestä seuraavien toimenpiteiden vaikutukset olennaisiin asioihin syy-seurausketjuna aina tavoiteltuihin vaikutuksiin asti.

Uusio­käyttö

Osallistujat jakavat tuotoksen ja sitä varten kerätyt tiedot siten, että ne ovat mahdollisimman helposti kaikkien käytettävissä mihin tahansa tarkoitukseen.

Yhteenvetämisen taito

Asianomistaja kutsuu työn tekemiseen mukaan riittävästi sellaisia ihmisiä, joilla on sekä substanssiosaamista että taitoa jäsentää tietoa näiden uusien tietotyön periaatteiden mukaisesti.

Seuran­ta ja oh­jaus

Osallistujat kuvaavat työn etenemistä jatkuvasti ja selkeästi. Asianomistaja peilaa tilannetta päätöksentekijän tavoitteisiin jatkuvasti ja ohjaa toimintaa sen mukaisesti tarkempien ohjeiden avulla.

Ryhmäytyminen

Työn aikana asianomistaja varmistaa, että osallistujat kokevat olevansa osa sellaista ryhmää, jolle osallistujan työllä on merkitystä ja jonka työ on yhteiskunnallisesti tärkeää.

Arvos­tus

Asianomistaja antaa kaikille työhön osallistuville julkista arvostusta heidän työnsä todellisen merkityksen mukaan. Eri työtehtävien merkitystä arvioidaan joukkoistetusti.

Lopuksi on syytä huomata, että miltei kaikki yllä mainitut periaatteet toteutuvat nykyaikaisissa avoimen lähdekoodin kehitysmenetelmissä ja työkaluina käytettävissä kehitysympäristöissä kuten GitHub- tai Bitbucket-palveluissa. Nämä esimerkit lienevät teknisyydessään vähemmän houkuttelevia työkseen ihmisläheisiä ongelmia ratkaiseville, mutta ne kuvastavat hyvin koodimuotoiseksi kvantifioituvien ongelmien yhteistyöllä syntyvien ratkaisujen luomisprosessissa piilevää voimaa. Yleinen tietotyö lähestyy tätä paradigmaa jatkuvasti mm. siksi, että monialaisten ongelmien ratkaisu vaatii täsmällistä kuvasta ja kielen määrittelyä, jotta asianosaiset ja eri alojen ekspertit voisivat ylipäätään sovittaa yhteen eri kielillä ilmaistuja näkemyksiään ja tavoitteitaan.

Periaatteiden onnistumisen vaatimat muutokset

Tähän on tiivistetty ne menetelmät ja työkalut, joiden käyttöä pitäisi lisätä tai vähentää nykytilanteeseen verrattuna, jotta tiedolla johtamista saataisiin parannettua. Suosituksen perusteluna on se, miten hyvin menetelmä tai työkalu edistää tavoitteena olevia periaatteita, jotka on tunnistettu tärkeiksi yhteiskunnallisen tietotyön onnistumisen kannalta. Niinpä jokaista suostitusta peilataan taulukossa jokaisen periaatteen suhteen.

--# : Taulukossa pitäisi vaihtaa sarakkeiden järjestystä. Oikea järjestys on se mitä tekstissäkin on käytetty. Samalla temppelikuvan pylväät pitäisi päivittää tähän samaan järjestykseen. --Jouni Tuomisto (keskustelu) 16. joulukuuta 2015 kello 14.42 (UTC)

Menetelmien ja työkalujen käyttösuositus. Taulukossa on kuvattu ne, joiden käyttöä pitäisi muuttaa nykyisestä.
vihreä: tukee tavoitetta; punainen: estää tavoitteen toteutumista; tyhjä: ei vaikuta tavoitteen toteutumiseen.

Menetelmä tai työkalu ja kuvaus mitä se tuottaa	Käyttö osana kokonaisuutta	Tukeeko tavoitteena olevaa periaatetta
		Jaet­tu ym­mär­rys	Avoi­muus	Koh­teel­li­suus	Kri­tiik­ki	Ta­voit­teel­li­suus	Syy­suh­teet	Uu­sio­käyt­tö	Yh­teen­ve­tä­mi­sen tai­to	Seu­ran­ta ja oh­ja­us	Ryh­mäy­ty­mi­nen	Ar­vos­tus
Avoin päätöksentekokäytäntö: menetelmä tiedolla johtamiseen ja vaikutusten ennakkoarviointiin. Sisältää avoimen arvioinnin ja tietokiteen (ajantasainen tieteellinen vastaus olennaiseen kysymykseen).	Otetaan käyttöön valtioneuvoston työskentelyssä päätösvalmistelun menettelyohjeena ja tietotyön laaduntamisen välineenä.	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä
Opasnet: verkkotyötila tietotyön tekemiseen.	Hyödynnetään verkkotyötilaa tukemaan avointa päätöksentekokäytäntöä ja avoimia arviointeja.	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä
Arvostusteoria: kannustin avoimeen tietotyöhön.	Valtioneuvosto alkaa palkita hyödyllistä tiedontuotantoa onoreilla arvostusteorian mukaisesti. Tämä tarvitsee tuekseen verkkotyökalun.		Template:Kyllä								Template:Kyllä	Template:Kyllä
Otakantaa: verkkosivu hankkeen esittelyyn ja keskusteluun.	Päätösvalmistelun hankkeet kuvataan täällä. Hyödynnetään aikataulutusta, kyselyitä ja keskustelualueita.		Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä			Template:Kyllä	Template:Kyllä
Facebook: yhteisösivu hankkeesta keskusteluun.	Hankkeen osia tai esiin noussieta kysymyksiä nostetaan keskusteluun. Ongelmistaan huolimatta tavoittaa hyvin kohderyhmää.	Template:Ei	Template:Kyllä		Template:Kyllä			Template:Ei			Template:Kyllä
Innokylä: verkkotyötila hyvien toimintamallien kehittämiseen, kuvaamiseen ja jakamiseen.	Käytetään toimintamallien kuvaamiseen ja niistä keskustelemiseen.		Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä		Template:Kyllä	Template:Kyllä	Template:Kyllä	Template:Kyllä
Avoin data -portaali: Portaali avoimen datan keräämiseen ja jakamiseen.	Käytetään eri puolilla sijaitsevan avoimen datan kuvaamiseen yhdessä paikassa löydettävyyden parantamiseksi.		Template:Kyllä	Template:Kyllä				Template:Kyllä
eduuni: Yhteistyötila, jossa Microshoft sharepoint ja wiki yhteistyöskentelyyn. Käyttöoikeudet joko avoimet tai ryhmälle rajatut.	Käytössä ainakin osassa julkishallintoa yhteistyötilana, mahdollisesti tulossa myös VN:lle. --#: Miten tämä liittyy VN:n omiin intranet-selvityksiin? [1][2][3] --Jouni Tuomisto (keskustelu) 16. joulukuuta 2015 kello 14.42 (UTC)			Template:Kyllä	Template:Ei				Template:Kyllä		Template:Kyllä
Hackpad (tai Google Docs): pilvipalvelu tekstin (tai laskentataulukon) tekoon.	Yksittäiset tuotokset luonnostellaan ja kirjoitetaan avoimesti esim. Docsiin. Kuitenkin laajemmat kokonaisuudet tarvitsevat myös muita toiminnallisuuksia.		Template:Kyllä	Template:Kyllä	Template:Kyllä			Template:Kyllä
VNK:n hankerekisteri: kokoaa yhteen kaikki VNK:n hankkeet.	Käytetään kokoamaan hankkeissa tehty työ			Template:Kyllä	Template:Ei				Template:Kyllä	Template:Kyllä	Template:Kyllä
Word ja Excel: henkilökohtainen ohjelma tekstin tai laskentataulukon tekoon.	Vältetään erillisten teksti- ja laskentatiedostojen käyttöä. Sen sijaan kirjoitetaan tekstit alusta saakka kohteellisesti netissä esim. Googlen toimistotyökaluilla.	Template:Ei	Template:Ei	Template:Ei	Template:Ei			Template:Ei	Template:Ei
Intranet-ohjelmistot: Räätälöidyt sisäverkkoratkaisut asioiden valmisteluun.	Käytetään myös intranetissä samoja, avoimen lähdekoodin ohjelmistoja kuin internetissäkin, jotta tietoa voi siirtää sujuvasti eikä tule oppimiskynnystä.	Template:Ei	Template:Ei	Template:Ei	Template:Ei		Template:Ei	Template:Ei	Template:Ei

<noninclude>

Katso myös

• Katsauksessa läpikäyty materiaali on listattu sivun aiemmassa versiossa.

Template:Yhtäköyttä