Open assessment action plan

From Testiwiki
Jump to: navigation, search


Avoimen arvioinnin toimintasuunnitelma vuodelle 2009.

Kirjoittanut akatemiatutkija Jouni Tuomisto 31.12.2009

Saavutuksia avoimen arvioinnin kehittämisessä

Ryhmäni on kehittänyt menetelmiä riskinarviointien avoimempaan, järjestelmällisempään ja tieteellisempään tekemiseen. Olemme alkaneet kutsua menetelmäämme avoimeksi arvioinniksi (aiemmin niminä olivat avoin riskinarviointi tai pyrkilö), koska avoimuus ja osallistumen, ei riskit, on siinä keskeisessä roolissa. Avoin arviointi on yleismenetelmä tieteellisen tiedon jalostamiseksi päätöksenteon tueksi. Se ei siis rajoitu mitenkään ympäristöterveysriskeihin erityisesti, ja on siksi mielenkiintoinen tieteentekijöille kaikilla aloilla.

Avoimen arvioinnin idea on lyhykäisyydessään seuraava. Internetissä on wiki-pohjainen sivusto (pääsivu [1], tarkempi kuvaus [2]), joka sisältää kuvauksia ympäristöterveysriskeihin liittyvistä ilmiöistä eli muuttujista (esim. ympäristömyrkyn pitoisuus tietyssä paikassa, tietyn väestön altistuminen, terveysvaikutusten suuruus, tai päästöjä vähentävän politiikan vaihtoehdot). Kuten sanottu, muuttujat voivat koskea minkä tahansa tieteenalan ilmiöitä. Jokaisella muuttujalla on oma sivunsa (esim. [3]) ja universaali rakenne. Rakenteessa on aina tutkimuskysymys (scope), johon on periaatteessa olemassa yksiselitteinen vastaus; kuvaus tiedosta (definition), jonka perusteella kysymykseen yritetään vastata; ja tämänhetkinen tulos eli paras arvio todellisesta vastauksesta (result). Avoin arviointi on tietyn päätöksenteosta nousevan tietotarpeen ympärille rakentunutta sosiaalista toimintaa. Arvioinnissa (esim. [4]) tunnistetaan ne ilmiöt, joista tietoa tarvitaan. Ilmiöt kuvataan joukkona muuttujia, jotka muodostavat syy-seurausverkoston. Tämä verkosto toimii perustana arviointimallille. Koko arviointityö kysymyksenasettelusta viimeisiin päätelmiin suoritetaan internetissä avoimessa työtilassa, johon kenellä tahansa on pääsy. Varsinainen mallilaskenta suoritetaan muualla ja tulokset raportoidaan työskentelytilassa. Kuitenkin myös mallit yksityiskohtineen julkaistaan työskentelytilassa, jotta myös laskennan yksityiskohtiin voi perehtyä. Omien arviointiemme osalta olemme tinkineet tästä periaatteesta vain joidenkin ilmakehäleviämismallien osalta, jotka ovat liian järeitä yksityiskohtineen kuvattavaksi.

Perusteellinen avoimuus mahdollistaa sidosryhmien ja ulkopuolisten asiantuntijoiden osallistumisen mihin tahansa arvioinnin osaan. Avoimuus koskee niin päätöksentekoon liittyviä kuin tieteellisiäkin kysymyksiä. Tämä avoimuuden vaatimus on teoreettisesti ajatellen erittäin merkittävä, koska sen toteuttaminen mahdollistaa tieteellisen kritiikin järjestelmän sisällä ja osana. Niinpä koko tieteellinen prosessi voidaan toteuttaa Opasnetin sisällä: meillä on työkalut tutkimuskysymysten asetteluun, havaintojen dokumentointiin ja hypoteesien esittämiseen, sekä olennaisena osana vertaisarviointi ja tieteellinen kritiikki. Avoimen osallistumisen käytännön eduista meillä on toistaiseksi valitettavan vähän kokemusta Opasnetin puitteissa, koska useimmat arviointimme ovat olleet tutkimusprojekteja ja lähtökohtaisesti ei-avoimia. Vasta vuonna 2008 olemme aloittaneet lähtökohtaisesti avoimia tutkimusprojekteja ilmastonmuutokseen liittyen. Uskomme niiden herättävän mielenkiintoa ja aktiivista osallistumista sekä osoittavan, että avoimuus ei johda kakofoniaan vaan avointen kysymysten perusteellisempaan ja johdonmukaisempaan käsittelyyn.

Avoimen osallistumisen vaarana on, että kärjekkäimmät mielipiteet ja tarkoitushakuisimmat kommentit alkavat ajaa arviointia epätarkoituksenmukaiseen suuntaan ja harhaisiin päätelmiin. Tämä vaara on olennainen, ja sitä vastaan olemme kehittäneet avoimeen arviointiin kaksi vastamyrkkyä: muuttujarakenteen ([5]) ja argumentaation ([6], esimerkki: [7]). Jokaisen kommentin täytyy liittyä johonkin arvioinnissa olevaan muuttujaan. Tämä asettaa kommentoijalle vaatimuksen täsmentää omaa kommenttiaan siten, että se todella tuo jotain lisäarvoa juuri kyseisen ilmiön tarkasteluun. Eräs iskulauseemme onkin: "Ei ole olemassa yleistä kommenttia." Yhden muuttujan sisällä jokainen kommentti sijoitetaan osaksi muodollista argumentaatiota (jos asia on riittävän selvä muutenkin, voidaan muodollisuuksista tinkiä). Argumentaatio lähtee aina liikkeelle yhdestä tai useammasta väitteestä, joiden totuudenmukaisuutta tai paremmuutta arvioidaan.

Argumentaatio koostuu tätä väitettä puolustavista ja vastustavista argumenteista, joita puolestaan puolustetaan tai vastustetaan hierarkkisesti muodostuvalla argumenttipuulla. Puolustus ja vastustus saa perustua vain jompaankumpaan kahdesta kriteeristä: relevanssiin kyseisessä viitekehyksessä ja totuudenmukaisuuteen. Myös täsmentävät kommentit ja kysymykset ovat sallittuja. Argumentaatiosta meillä on omakohtaista kokemusta, ja se on osoittautunut erinomaiseksi tiedon jäsentäjäksi. Se on kuitenkin melko vaativa laji ja monelta halukkaalta osallistujalta puuttuu tarvittava harjaannus. Oletamme, että käytännön työssä, ainakin suurten ryhmien keskusteluissa, sitä useimmiten käytetäänkin moderaattorin työkaluna keskustelun kohdentamiseen tai vapaamuotoisen keskustelun järjestämiseen ja dokumentoimiseen jälkikäteen.

Muuttujien tulokset kuvataan yleensä todennäköisyysjakaumina, jotka yhdessä muodostavat arvioinnin yhteisjakauman eli bayesläisen uskomusverkon. Sopivilla työkaluilla tätä yhteisjakaumaa voidaan tutkia asettamalla joidenkin muuttujien arvot halutuiksi ja tutkimalla tämän ehdollistamisen vaikutusta muuhun jakaumaan. Näin voidaan esimerkiksi selvittää, mitä vaikutuksia on tietyllä päätöksellä, tai mitä päätöksiä tarvitaan jos halutaan tietty lopputulos, tai kuinka arvokasta olisi tietää jokin muuttuja tarkemmin.

Tämä yhteisjakauma, kuten minkä tahansa yksittäisen muuttujankin tulosjakauma, voidaan tallettaa vapaasti luettavissa olevaan tietokantaan ([8], tietokannan kuvaus base ). Tietokanta antaa siis mahdollisuuden arvioinnin tulosten yksityiskohtaiseen tarkasteluun, vaikkapa lataamalla koko yhteisjakauman ja tekemällä siitä itse haluamiaan tilastoanalyyseja. Lisäksi yhtä arviointia tai sen osana olevia muuttujia voi käyttää valmiiksi jäsennettynä materiaalina uusissa arvioinneissa.

Opasnet-kanta onkin Opasnet-wikin ohella yksi tärkeimmistä käytännön työkaluista avointen arviointien tekemisessä ja tulosten hyödyntämisessä. Kanta siis sisältää tulkittua tietoa epävarmuuksineen arvioinnin kohteena olevista ilmiöistä. Tässä suhteessa se poikkeaa kaikista tuntemistamme tutkimustietokannoista. Ne yleensä sisältävät alkuperäistä tai summattua tutkimusdataa, mutta eivät tulkintaa esimerkiksi tutkimusten harhojen vaikutuksesta. Lisäksi ne on jäsennetty yksittäisten tutkimusten, ei tutkittavan ilmiön mukaan kuten Opasnetissä. Kolmanneksi, yleensä tietokantojen sisältöä ei alisteta avoimelle tieteelliselle kritiikille. Opasnet-kannan rakenne on tehty mahdollisimman joustavaksi, jotta sinne voi sisällyttää mitä tahansa tulkittua tietoa, olipa se spatiaalista, aikasarjaa, yhden tai usemman ulottuvuuden suhteen luokiteltua, tai kvalitatiivista (ei-numeerista) tietoa.

Opasnet koostuu tällä hetkellä Opasnet-kannasta sekä suomen- ja englanninkielisistä wikisivustoista ja projektiwikisivustosta. Projektiwikisivustolle pääsevät vain ei-avointen tutkimusprojektien tutkijat, ja se sisältää toistaiseksi julkaisematonta tietoa. Lisäksi järjestelmässä on lukuisia malli-, data- ja muita tiedostoja. Järjestelmä tukee jo nyt hyvin Analytica- ohjelmalla tehtyjä malleja (jotka ovat probabilistisia syy-seurausmalleja), mutta esimerkiksi spatiaalisten mallien tai erittäin suurten mallien ajamiseen ei vielä ole käytössä sopivia työkaluja. Analytica myös edellyttää mallin käyttäjältä ilmaisen ohjelman lataamista omalle koneelle, mikä on ylimääräinen vaiva ja nostaa kynnystä osallistua avoimeen arviointiin.

Toimenpide-ehdotuksia vuodelle 2009

Vuoden 2008 aikana on päästy menetelmän ja tietotyökalujen osalta edellä kuvattuun vaiheeseen. Vuoden 2009 alusta alkaa aiempaa paljon aktiivisempi ja laajempi työkalujen sovellusvaihe, jossa useissa projekteissa toteutetaan avoimen arvioinnin periaatteita. Tärkeimpänä on ilmastonmuutospolitiikkoja tutkiva avoin arviointi. Lisäksi vuoden 2009 aikana koetetaan käynnistää uusia toiminnallisuuksia, jotka eivät vielä alkuvaiheessa ole olleet kriittisiä, kuten hyvin isojen mallien toiminnallisuudet. Vuoden 2009 tärkeimmät tehtävät ovatkin 1) ilmastonmuutospolitiikkojen arviointityön laajentaminen kohderyhmille, 2) järjestelmän markkinointi välittömien tutkimuskontaktien ulkopuolelle, 3) käyttötuen ja opastuksen antaminen, 4) olemassaolevan oman ja muun helposti saatavissa olevan tietosisällön kerääminen, jäsentäminen muuttujiksi ja tallentaminen Opasnetiin, ja 5) uusien toiminnallisuuksien asentaminen. Näitä toimenpiteitä kuvataan tarkemmin jäljempänä. Tähän työhön palkataan uusi henkilö (tutkimuskoordinaattori), jolle ei aseteta tieteellisiä julkaisuvaatimuksia. Henkilö hoitaa myös avoimen arvioinnin edistämiseen liittyviä muita järjestelyitä.

Ilmastonmuutospolitiikkojen arviointityön käynnistäminen

Tutkimusryhmäni on käynnistänyt kaupunkitason ilmastopolitiikkoja arvioivan avoimen arvioinnin ([9]). Siinä päähuomio on kaupungin liikenne- ja energiantuotantopolitiikkojen terveys- ja ilmastovaikutuksissa, kun kansainvälinen päästökauppa asettaa kaupunkitason toiminnalle rajoitteita ja reunaehtoja. Työ nojautuu vahvasti kahteen Suomen Aketemian rahoittamaan projektiin Bioher (SusEn) ja Claih (Salve). Tarkoituksemme on laajentaa tätä hanketta todelliseksi laajamittaiseksi avoimeksi arvioinniksi, johon saadaan mukaan kaupunkien päättäjiä, kansalaisia, tutkijoita Suomesta ja ulkomailta, sekä teollisuuden edustajia. Eräs iskulauseemme on: "Hiilettömään yhteiskuntaan siirtyminen on suunniteltava ja toteutettava yhdessä." Tämä kaupunkitason arviointi on eräs tutkimushanke tämän suuren tavoitteen konkreettiseksi edistämiseksi. Hankkeen avulla yritämme osoittaa, että tieteellisellä tiedolla on välitöntä hyötykäyttöä yhteiskunnan päätöksenteossa. Yritämme osoittaa, että tehokkaat tiedon jäsentämisen työkalut ovat välttämättömiä ja kullanarvioisia monimutkaisten yhteiskunnallisten ilmiöiden kuvaamisessa ja arvioimisessa. Yritämme osoittaa, että Opasnetin kaltaisilla järjestelmillä voidaan edistää tutkijoiden ja kansalaisten vuoropuhelua. Yritämme saada Opasnetin laajasti käytetyksi työkaluksi ilmastonmuutoksen arvioinnissa ja päätöksenteossa.

Järjestelmän markkinointi

16.-20. helmikuuta järjestämme Open Assessment Workshop 2009 -nimisen työpajan, jossa opetetaan avoimen arvioinnin käyttöä tutkimuksessa sekä tietotyökalujen käyttöä ([10]). Viime vuonna vastaavaan tilaisuuteen osallistui 25 lähinnä tohtoriopiskelijan tasoista tutkijaa eri puolilta Eurooppaa. Nyt odotamme vähintään samansuuruista osallistumista. Työpaja aiheuttaa kokoustila-, majoitus- ja muita järjestelykuluja, vaikka osallistujat pääosin vastaavat omista kustannuksistaan.

Järjestelmä on käyttövalmiina myös muille tutkimusprojekteille, ja tätä mahdollisuutta markkinoidaan aktiivisesti vuoden 2009 aikana. Toimintamalli on, että kukin projekti vastaa itsenäisesti sisällöntuotannosta, ja minun tutkimusryhmäni puolestaan järjestelmän ylläpidosta, toimintaohjeiden tuottamisesta ja yleisestä käyttötuesta. Ulkopuolisen projektin ja minun tutkimusryhmäni välille ei synny taloudellisia sitoumuksia. Erityisesti ilmastonmuutokseen liittyviä projekteja haetaan yhteistyöhön, koska ne tuottaisivat synergiaa kaupunkitason ilmastoarvioinnin kanssa.

Käyttötuen ja opastuksen antaminen

Kokemuksemme mukaan olennainen avoimen arvioinnin este on ollut se, että muuttujien kuvaaminen koetaan "oikean tutkimustyön" lisänä tulevaksi rasitteeksi. Kuitenkin ne, jotka toteuttavat omaa tutkimustaan muuttujarakenteen kautta, ovat kokeneet sen omaa ajattelua jäsentävänä ja tehostavana menetelmänä. Niinpä koemme yhdeksi tärkeimmistä menetelmää edistävistä keinoista sen, että meidän on helpotettava uusia käyttäjiä alkuun.

Koulutusta avoimeen arviointiin on annettu jo vuonna 2008 esim. yhteistyössä Harvardin yliopiston kanssa Kyproksella ([11]) ja Kuopion yliopiston kanssa. Tätä koulutusta on tarkoitus jatkaa. Lisäksi aloitetaan käyttötukipalvelu Opasnetin käyttäjille siten, että yhdestä sähköpostiosoitteesta saa kaiken tarvitsemansa opastuksen Opasnet-järjestelmään ja avoimeen arviointiin yleensä.

Tietosisällön kerääminen ja tallentaminen

Haluamme rakentaa valmiita muuttujia helposti saatavilla olevista aineistoista, jotta uudet käyttäjät löytävät Opasnetistä heille hyödyllistä valmista materiaalia. Tämä madaltaa käyttöönottokynnystä. Esimerkiksi ympäristöterveyden riskinarviointien kannalta monet altistumisja toksikologiset tietokannat sisältävät valmista tietoa mutta jäsennettynä jotenkin muuten kuin tutkimuskysymysten ympärille ja ilman mahdollisuutta käydä tieteellistä keskustelua aiheesta. Tällaisen käyttötiedon kerääminen ja jäsentäminen avointen arviointien käyttöön useiden satojen muuttujien verran on vuoden 2009 tavoite.

Kansanterveyslaitoksella on vuosien varrella kertynyt lukuisia suuria aineistoja, joista olennaiset tieteelliset julkaisut on jo tehty ja joiden tulosten yksityiskohtainen julkistaminen Opasnetissä ei siten ole ongelma. Tällaisia ovat mm. kansainvälinen Expolis-altistustutkimus ja suomalainen sarkoomatutkimus, jossa tutkittiin lähes tuhannelta suomalaiselta ympäristöaltisteita yleisesti ja pysyviä orgaanisia ympäristömyrkkyjä erityisesti. Tällaisten aineistojen kuvaaminen muuttujina ja niiden tietosisällön muokkaaminen tulosjakaumiksi on kuitenkin suurehko työ. Kyseiset projektit ovat jo päättyneet, joten tiedon jalostamiseen tarvitaan erillisrahoitusta. Näiden kahden projektin toivotaan toimivan esimerkkeinä muille tutkijoille yksityiskohtaisen tiedonjulkaisun hyödyllisyydestä. Lisäksi näitä aineistoja työstämällä voidaan kehittää vakiintuneita toimintatapoja ja koodinpätkiä muiden aineistojen julkistamiseksi vähemmällä lisätyöllä. Tavoitteenamme on siis saada tutkijat tuottamaan Opasnetiin tietoa olennaisena osana tutkimustaan.

Julkaistun tietosisällön kerääminen ja jäsentäminen on perinteisessä tieteellisen meriitin keräämisessä hyödytöntä puuhaa, ellei tavoitteena ole julkaistu systemaattinen review. Niinpä nykyisellä tutkimusryhmäni miehityksellä tämän toteuttaminen on vaikeaa, koska lähes kaikilla on väitöskirjantekijän tai tohtorin paineita kerätä tieteellistä meriittiä. Niinpä tietosisällön jäsentäminen on toteutettava toisin. Vuonna 2009 aiomme kokeilla avointa järjestelmää tietosisällön tuottamiseksi: työn tarpeet ja resurssit (mikä aihe, mikä aineisto, mitkä muuttujat työn kohteena, ja oletettu työmäärä sekä palkkio) kuvataan Opasnetissä, ja kuka tahansa saa ottaa tehtävän vastaan ja tehdä työn. Minä maksan palkkion tutkimusmäärärahastani, kun työ on valmistunut ja se on arvioitu sovitun laadukkaaksi. Tällaista tiedonkeruu-, kirjoitus- ja arviointityötä markkinoimme ensisijaisesti ympäristö- ja terveysalojen opiskelijoille, joilla on perustietämys aiheesta. Samalla tämä sisällöntuotanto toimii Opasnetin markkinointikanavana.

Uusien toiminnallisuuksien asentaminen

Perustoiminnallisuudet Opasnetissä ovat jo valmiina, mutta useita uusia toiminnallisuuksia ja ohjelmistoja aletaan tarvita pian, kunhan käyttö laajenee. Kiireellisimpiä on lyhyesti esitetty tässä:

  • Analytica Web Publisher (AWP): Selaimen avulla toimiva Analytica-mallitusohjelma. Mallit ajetaan Opasnetin palvelimella, eikä käyttäjän tarvitse asentaa mitään ohjelmia tutkiakseen ja ajaakseen malleja.
  • Analytica Decision Engine (ADE): Palvelinpohjainen ratkaisu mallien tiukemmaksi integroimiseksi internet-sivustoon. Tämä palvelee todennäköisesti parhaiten malleja, jotka ovat jo kehityksessään pitkällä ja vakiintuneita. Laskentaa voidaan rakentaa sisään Opasnet-wikiin.
  • ArcGis Server: Arc-Gis-ohjelmistoperheen verkkoversio, jolla voidaan internet-selaimen avulla käsitellä karttapohjaista tietoa. Käyttäjän ei tarvitse maksaa lisenssejä eikä asentaa ohjelmia.
  • Web-VPN: Salattu tietoliikenneyhteys suojatulle projektiwikialueelle. Mahdollistaa sellaisen tutkimuksellisen yhteistyön, jossa työn kohde on vielä julkaisematonta tai salaista tietoa. Tällä hetkellä käytössä on lisenssi 40 käyttäjälle, mutta toiminnan laajentuessa tämä lisenssi jää liian pieneksi, ja sitä on laajennettava 200 käyttäjälle.
  • Matlab: Laskentaohjelma järeään laskentaan. Ohjelman mahdollisuuksia verkossa tapahtuvaan joukkoyhteistyöhön ollaan tarkemmin selvittämässä.
  • Analytica Optimizer: Analytica-ohjelmisto, jossa on tehostetut ominaisuudet mallioptimointiin.

Yhteenveto

Olemme kehittämässä Opasnetistä yleiskäyttöistä tieteentekemisen työskentelyalustaa. Erityisenä tavoitteena meillä on jäsentää tieteellistä tietoa siten, että se on mahdollisimman hyvin hyödynnettävissä yhteiskunnallisen päätöksenteon tueksi. Perustoiminnallisuudet ovat valmiina, ja vuonna 2009 alkaa tuotantokäyttö. Samalla käyttäjäkunnan laajentuessa on odotettavissa, että eteen tulee kehitystarpeita, jotka on ratkaistava nopeasti. Niinpä esimerkiksi tässä esiteltyyn ohjelmistopakettiin saattaa tulla olennaisiakin lisäyksiä siten, että nyt suunniteltu palkkojen, palkkiolaskujen ja ohjelmistojen suhde muuttuu. Myös muita tuotantovaiheen käynnistämiseen liittyviä yllätyksiä lienee luvassa, ja vuoden 2008 määrärahan siirtyminen antaisi vuodelle 2009 tarvittavaa joustonvaraan.

Kunnianhimoisen pitkän aikavälin tavoitteemme voi kiteyttää iskulauseeseen: "Mitä ei voi tehdä Opasnetissä, se ei ole tiedettä."

Kuopiossa 31.12.2008

Jouni Tuomisto

akatemiatutkija

Retrieved from "http://www.opasnet.org/testiwiki/index.php?title=Open_assessment_action_plan&oldid=7363"