27.10.2007

Kun julkaisujen määrä ratkaisee

Communications of the ACM -journalissa (oman alani kolmanneksi arvostetuin lehti) oli artikkeli, joka alkoi:

"As a senior researcher, I am saddened to see funding agencies, department heads, deans, and promotion committees encouraging younger researchers to do shallow research. As a reader of what should be serious scientific journals, I am annoyed to see the computer science literature being polluted by more and more papers of less and less scientific value."

Kyseessä ei ole tavallinen artikkeli vaan kannanotto computer science -alan nykyisen julkaisupolitiikan ongelmiin ja samoja ongelmia on varmasti löydettävissä myös muilta tieteenaloilta. Yleisesti ottaen ongelmien lähtökohta on, että julkaisujen määrä ratkaisee, ei niiden sisältö. Tästähän on ollut keskustelua kotimaassammekin liittyen yliopistojen varojen jakoon. Määrän ollessa ratkaiseva tekijä ovat seuraukset artikkelin mukaan:

  • It encourages superficial research
  • It encourages overly large groups
  • It encourages repetition
  • It encourages small, insignificant studies
  • It rewards publication of half-baked ideas

Onko tilanne tosiaan näin raadollinen, että määrä korvaa täysin laadun? Ja onko tämä vain yhden alan tauti vai laajemminkin tieteen HIV, joka leviää ja jota voi hoitaa, mutta josta ei voi parantua?

Itsellä kun ei suunnitelmissa ole ura akateemisella puolella niin en ole menettänyt yöunia sen vuoksi, mistä saada tarpeeksi julkaisuja aikaiseksi. Toisin voi olla heillä, joilla on leipä kiinni siitä, kuinka paljon julkaisuja kasaan saavat. Vaikken nyt enää mikään untuvikko olekaan, niin sitä kuitenkin toivoisi voivansa pitää kiinni joistain ihanteista ja yksi niistä on se, mikä on tarkoitus tieteellisen tekstin tuottamisella.

Muutakin asiaa aiheeseen liittyen artikkelista löytyy kuten mm. kuinka hyödyntää nykyiset pelisäännöt parhaiten (eli vinkkiä juuri heille, jotka tuskailevat julkaisumäärien kanssa). Teksti on kokonaisuudessan luettavissa mm. täällä. Omiin silmiini viite siihen tarttui Daniel Lemire'n blogin kautta.

9 kommenttia:

Tutkimusmatkailijatar kirjoitti...

Tästä asiasta pitäisi keskustella enemmänkin. Tilanne on sama materiaalitieteissä ja varmasti muuallakin.

Toisaalta, osaltaan tutkimusten huonominen voitanee myös selittää sillä, että yhä useampi ihminen tehtailee niitä, jolloin joukossa on vähemmän lahjakkaampia ja innostuneempia yksilöitä kuin männävuosina, jolloin kuvat julkaisuihin tehtiin vielä käsin tai syötettiin reikäkorteilla johonkin tietokoneeseen, joka piirsi kuvan ja ihmisten piti ymmärtää mitä ne teki.

Anonyymi kirjoitti...

Postdoc tutkijoiden osalta en asiaan osaa ottaa kommenttia, mutta väitöskirjatasolla en ainakaan kauppatieteissä olisi noin huolissani. Toki julkaisu sanelee ehtoja väitöskirjatutkijallekin, mutta se myös esimerkiksi lisää verkostoitumista (globaalisti) tutkijoiden välillä. Itse kirjoitan monografiaa, joten asia ei minua niin kosketa. Työni on siis monilta osin nopeampaa ja ehkä helpompaakin kuin niillä jotka julkaisevat. Toisaalta jään joistakin kokemuksista paitsi.

Ph kirjoitti...

Tutkimusmatkailijatar: Vähemmän lahjakkaita tosiaan löytyy. Konferenssissa etenkin on joskus tullut tunne, että esiintyjä ei ymmärrä täysin edes oman esityksensä otsikkoa. Ja artikkelipuolella taas sen oikeasti keskeisen sisällön löytäminen voi joskus olla hankalaa, kun samasta aiheesta on myös se 30 paperia, jotka eivät juuri kerro mitään.

Jotenkin vain tuntuu, että keinoja tilanteen muuttamiseen voi olla hankala löytää. Se, miksi tieteellinen toiminta on tietynlaista perustuu oman käsitykseni mukaan ihan täysin traditioihin. Missään ei esim. pakottavasti määritellä, kuinka journalin tulee toimia ollakseen journal. Arvostus alalla on sitten se, mikä rankkaa journalin hyväksi tai huonoksi.

Blogeissa näkee jonkin verran kirjoittelua kokonaan toisenlaisista julkaisuprosesseista kuten vaikka fysiikankin alalla näkyvä arXiv. Niiden avulla voisi ehkä jotain keinoja löytyä, mutta itse en usko mihinkään nopeaan muutokseen. Omalla kohdalla ei varmaan muuta voi tehdä kuin opetella alansa hyvin, jotta tietää ketä lukea ja kehen luottaa.

Minna: Väitöskirjan tekijöiden kohdalla ei kai julkaisujen määrällä ja muodolla ole vielä niin väliä? Itse ainakin olen tällaisen kuvan saanut eikä mua ainakaan ole millään muotoa mihinkään suuntaan siinä asiassa painostettu vaan itse asiassa on annettu ymmärtää että jopa esseetäkin voisi käyttää väitöskirjan osana nippuväikkärissä. Tohtorikoulutettavien tilannetta tosin julkaisemisen pakollisuuden osalta en tiedä.

Ongelma ei liene se, että julkaisuja pitää tuottaa, vaan se, että pakon edessä joutuu viemään eteenpäin puolivillaistakin hengen tuotetta. Jos rehellisiä ollaan, niin hirveän painavaa kannanottoa en osaa tähän asiaan itse antaa. Pitäisi ensin kokeilla apurahatutkijan ammattia ja kokea ne paineet niskassaan, jotta näkisi seurasten lisäksi myös syitä.

Anonyymi kirjoitti...

Itse teen väitöskirjaa luonnontieteissä ja ainakin omassa tiedekunnassa se mitä nippu-väikkäriin tulee on väliä. Yleensä vaadittava määrä on neljä julkaistua artikkelia (tai in press). Tyypillisesti jutut on julkaistu vähintään oman alan keskitason tai vähän keskitason alapuolella olevissa lehdissä. Huonoimmissa lehdissä julkaistuja juttuja ei ole. Tietysti juttujen määrä vaihtelee 3-6 välillä väitöskirjan mukaan.

Tässähän on tietenkin alakohtaisia eroja, enemmän humanistististen ja puhtaasti luonnontieteellisten alojen välillä.

Ph kirjoitti...

Näköjään on alakohtaisia eroja ja varmasti myös oppilaitoskohtaisia eroja. Itse asiassa alun perin urakkaa aloitellessa oletin, että vaatimukset olisivat tuota tasoa jota kuvailit, mutta ohjaajien kanssa keskustellessa tuli sitten korjattua tämä käsitys. Oma mielipiteeni on, että vaatimusten pitäisi olla tuota tasoa, jotta rima olisi tarpeeksi korkealla. Tarkoittaahan se tietenkin sitä, että itse joutuu enemmän töitä paiskimaan, jotta sen tason saavuttaa, mutta tuskin kukaan olettaa väikkärin valmistuvan vasemmalla kädellä suhaisten.

Anonyymi kirjoitti...

Kokemukseni ovat aika lailla samat mitä Juha kirjoitti.

Mielestäni tohtorikoulutettavien julkaisupolitiikkaan vaikuttaa tällä hetkellä paljolti suuntaus, jossa kouluja rankataan julkaisujen määrän perusteella (ehkä tulevaisuudessa myös rahoitusperuste?). Julkaisuja siis halutaan ja siksi paine julkaisemiseen tietyn tasoisissa lehdissä kasvaa myös väitöstutkijoilla.

Kaupalliselta alalta voisin sanoa, että väikkärin muodon valintaan vaikuttanee myös se, miten aikoo uraansa jatkaa. Toisinsanoen aikomukset jäädä akateemiseen maailmaan tai hypätä liike-elämän puolelle.

Ph kirjoitti...

Sama mielikuva mullakin on, että laitokset tykkäisivät kovasti, jos julkaisuja syntyisi. Toinen ohjaajistani sanoi joskus suurin piirtein että tulevat laitokselta kädestä pitäen kiittelemään, jos väikkärin osana syntyy julkaistavia artikkeleita. Tosin se kommentti saattoi kyllä kertoa myöskin jotain laitoksen yleisestä tutkimuksen tasosta...

Tuo väikkärin muodon ja uravalinnan yhteys ei mulle avautunut (ehkä käyn tänään vain hiukan hitaalla). Itse sanoisin, että nippuväikkäri on se akateemisen uran valinta johtuen tiukemmasta seulasta tekstin suhteen. Mutta toisaalta taas on tullut vastaan proffia, jotka ovat monografiamuodossa väikkärin tehneet, joten itse en oikein osaa rankata muotoja mihinkään järjestykseen.

Anonyymi kirjoitti...

Yleensä yliopistoissa tutkimuksen osuus budjettirahasta jaetaan artikkelien ja niiden impact factor kertymän mukaan. Eli mitä enemmän juttuja ja korkeamman impactin (ei välttämättä absoluuttisesti paremmissa lehdissä) julkaistaan sitä enemmän rahaa. Tässä tilanteessa tieteenalakin vaikuttaa rahan jakoon. Jos olet pienellä alalla (=vähän viittauksia), ei auta vaikka julkaisit alasi parhaissa lehdissä, jos naapurin alan (kuitenkin samalla "laajemmalla alalla") keskiverto lehdessä on paljon parempi IF.

Yksinkertaista matematiikkaa, mutta näin OPM jakaa rahaa.

Väitöskirja tekijää tämä ei aina kuitenkin ihan suoraan kosketa (yleensä kylläkin, ja aina jos olet laitoksella palkallisena), mutta etenkin ohjaajaa (professori).

Ph kirjoitti...

Jäin miettimään tuota impact factorin merkitystä rahan jaossa. Alkuperäisen artikkelin perusteella sai kuvan, että määrä on ratkaiseva tekijä ja sen vuoksi tutkimus ajautuu pinnallisemmaksi ja itseään toistavammaksi. Impact factoria kai voi jonkinlaisena laatumittarina kuitenkin artikkelille pitää, joka ohjaa pois tuosta suunnasta. Itse olen vielä aivan liian tietämätön sanomaan kuinka hyvin se käytännössä toimii.