Peer review-systemet: för och emot

Publicerat i Folkvett nr 2/2010.

Jesper Jerkert redovisar argument för och emot det gängse systemet för granskning av vetenskapliga artiklar.

DENNA TEXT BEHANDLAR det s.k. peer review-systemet, det vill säga systemet att forskares artiklar granskas av andra forskare inom samma fält (peer betyder ’like’) innan de publiceras i en vetenskaplig tidskrift. Systemet beskrivs och några ofta anförda för- och nackdelar diskuteras. I stort sett tas bara systemet upp såsom det fungerar vid bedömning av inskickade manus till vetenskapliga tidskrifter, men liknande system av kollegial granskning – som man skulle kunna översätta peer review till svenska – tillämpas även vid utdelning av forskningsanslag och vid tillsättning av högre akademiska tjänster och titlar (lektorat, docentur, professur).

Eftersom peer review är ett så vedertaget uttryck används det oöversatt i denna text. Texten behandlar nästan enbart peer review inom naturvetenskap och medicin.

HISTORISK SKISS

Världens första vetenskapliga tidskrifter anses vara franska Journal des Sçavans (senare med stavningen Journal des Savants) och engelska Philosophical Transactions of the Royal Society, som båda började utkomma 1665, den franska tidskriften några månader före den engelska. Den första tidskriften med peer review anses dock vara Medical Essays and Observations, som från 1731 utgavs av Royal Society of Edinburgh. Granskningen gick till så att redaktören för tidskriften skickade vidare inkomna texter till personer som han ansåg kompetenta att bedöma kvalitén, för att få ett utlåtande. Det stod angivet tydligt i tidskriften att denna procedur ingalunda garanterade att texterna blev felfria; det var fortfarande författaren som ensam ansvarade för innehållet i den tryckta texten (Kronick 1990).

År 1752 skapade Royal Society i London en kommitté som skulle bedöma de inkomna artiklarna till ovannämnda Philosophical Transactions. Kommittén hade även rätt att för textbedömningarna efterfråga hjälp från andra medlemmar i Royal Society utan att dessa själva behövde vara medlemmar i kommittén (Rennie 1999). Med peer review idag menas vanligen just extern peer review, att experterna som bedömer artikeln inte själva sitter i tidskriftens redaktion. Trots att Royal Society of Edinburgh alltså börjat använda peer review redan 1731 anses proceduren som började tillämpas 1752 i Philosophical Transactions ofta vara peer review-systemets egentliga födelse, eftersom Philosophical Transactions hade hög status och därmed stort inflytande på arbetsrutinerna hos liknande tidskrifter i den lärda världen.

Systemet spreds trots detta ganska långsamt. Det finns andra 1700-talsexempel på peer review (Kronick 1990), men en allmän övergång till peer review dröjde. British Medical Journal använde under andra halvan av 1800-talet ett peer review-system som förefaller helt modernt med dagens ögon (Rennie 1999), medan andra ansedda tidskrifter inom samma fält övergick till peer review långt senare. Journal of the American Medical Association började använda externa artikelgranskare efter 1940, och The Lancet gjorde detsamma först 1976 (Benos et al. 2007); inom dessa tidskrifter ansåg man länge att kunskaperna hos de egna redaktörerna var tillräckliga för att bedöma de insända texternas kvalité (Spier 2002).

Det finns flera tänkbara orsaker till att vissa tidskrifter dröjde så länge med att anamma peer review. Mot att införa peer review talade bland annat behovet av att fylla tidskriftsidorna med material utan onödig fördröjning, stolthet att själv kunna bedöma allt inom det egna fältet, och ibland kanske en upplevd press att publicera sådant som skickats in av medlemmar i det sällskap som ägde tidskriften (Burnham 1990; Rennie 1999). När det gäller medicinska tidskrifter kan man också allmänt tillägga att hela medicinen ganska sent blivit vetenskaplig på samma genomgripande sätt som naturvetenskapliga fält.

Idag använder i princip alla vetenskapliga tidskrifter peer review, så att systemet nästan blivit synonymt med vetenskaplighet inom publicering. En vetenskaplig tidskrift utan peer review framstår närmast som en självmotsägelse.

SÅ GÅR DET TILL

När en artikel skickats in till en tidskrift tittar som regel redaktören först på den på egen hand, för att snabbt kunna refusera texten om den är av uppenbart låg kvalité eller av någon annan anledning omöjligen kan tas in. (Vissa tidskrifter publicerar till exempel inte kommentarer på tidigare publicerade artiklar, utan kräver att varje artikel ska stå på egna ben. Obeställda recensioner publiceras i regel inte heller.) Efter denna inledande sållning skickar redaktören texten vidare till externa granskare (referenter, på engelska referees), ofta två stycken men ibland en eller tre, eller rentav fler än tre. Referenterna skriver varsitt utlåtande där de bedömer textens kvalitéer och påtalar eventuella brister. De kan också ställa frågor till författaren, be denna att förtydliga, ta bort eller utvidga vissa avsnitt, anmoda författaren att ta hänsyn till forskning eller resultat som inte nämnts i texten, med mera. Rapporternas längd brukar vara mellan en halv sida och några få sidor. Referenterna får några veckor, ibland månader, på sig att skriva utlåtandet.

Referenterna är experter inom fältet, precis som (sannolikt) artikelförfattaren är, men en referent är inte nödvändigtvis mer erfaren eller etablerad än artikelförfattaren. Både världsledande forskare och alldeles nydisputerade personer kan tillfrågas om att vara referenter, på samma sätt som artikelförfattaren kan vara allt från världsledande till doktorand. Författare och referent är verkligen likar (peers) i den meningen att de på detta sätt hämtats ur samma grupp av människor. Det är vanligt att referenter tar uppdrag från flera olika tidskrifter samtidigt (Campanario 1998a:190).

Undersökningar visar att referenter brukar ge ungefär fyra gånger så många negativa kommentarer (klagomål) som positiva kommentarer (beröm) om varje bedömd artikel, och siffrorna är ungefär likadana oavsett om artikeln till slut antas eller refuseras (Campanario 1998b:281). Denna starka övervikt för negativa kommentarer är inte så överraskande om man betänker att manusförfattaren bör ha mycket större nytta av kritik än av beröm. Dessutom kan man förmoda att många referenter ser det som en väsentlig del av uppdraget att leta efter fel och brister.

Enkäter visar vidare att referenter i genomsnitt lägger 3–6 timmars arbete på varje artikelgranskning (Campanario 1998a:189). Det kan låta ganska blygsamt, och ett vanligt klagomål på peer review är att bedömningen inte varit tillräckligt omsorgsfull. (Mer om detta senare.)

På grundval av referenternas rapporter fattar redaktören beslut om textens vidare öde. Man kan urskilja tre huvudsakliga scenarier:

• Artikeln accepteras (med eventuella ändringar endast av korrekturkaraktär).
• Artikeln accepteras inte i nuvarande skick, men författaren uppmanas att med ledning av referenternas (och eventuellt redaktörens) utlåtanden revidera artikeln och skicka in den igen för förnyad bedömning.
• Artikeln refuseras.

Beslut 1 och 3 är ganska okomplicerade. Om artikeln tas in så kan författaren vara nöjd. Om artikeln refuseras så får författaren se sig om efter en annan tidskrift. (Såvida författaren inte vill klaga på beslutet. Mer om detta senare.) I regel bifogas referenternas utlåtanden till refuseringsbrevet, och dessa kan förhoppningsvis hjälpa författaren att förbättra texten inför inskickandet till någon annan tidskrift. Olika tidskrifter har högst olika refuseringsfrekvens (eng. rejection rate), dvs. andel av inskickade manuskript som blir refuserade, sett över lång tid. Högstatustidskrifter som täcker stora fält, t.ex. Science och Nature, kan ha refuseringsfrekvenser på 95% eller mer. Det finns dock inte något enkelt samband mellan refuseringsfrekvens och anseende. Även en tidskrift med lägre anseende kan ha ganska hög refuseringsfrekvens, om tidskiften mottar många manuskript i förhållande till vad som kan beredas plats. Omvänt är det inte heller givet att en tidskrift med låg refuseringsfrekvens har lågt anseende.

Beslut 2 kan uppfattas som något oklart för författaren, som inte kan vara säker på att artikeln kommer att accepteras efter revision, såvida det inte klart står i brevet från redaktören. Beslutet kan alltså formuleras på lite olika sätt från redaktörens sida, beroende på om det är en större (major) eller mindre (minor) omarbetning som efterfrågas. Det kan heta att artikeln är refuserad men att författaren uppmanas att omarbeta texten och skicka in den på nytt, eller det kan mer generöst heta att artikeln accepteras men endast på villkor att den omarbetas enligt angivna riktlinjer. Oavsett hur beslutet exakt formuleras så är kontentan att författaren ges en chans att ändra i artikeln och sedan sända in den på nytt. Författaren bör vid insändandet av den nya versionen bifoga en redogörelse för hur texten förändrats med ledning av referentutlåtandena. Om författaren inte vill följa råden från referenter och redaktör bör goda skäl anges. När redaktören mottagit en ny version skickas denna vanligen ut till samma referenter igen (åtminstone om det rört sig om en större omarbetning), och referenterna får ange om de nu är nöjda med artikeln.

KAN MAN LITA PÅ PEER REVIEW?

Eftersom peer review är vedertaget inom hela vetenskapsvärlden, och eftersom forskare tycker om att fråga efter belägg, är det många som mer eller mindre kritiskt har undrat om man kan lita på peer review-processen.

Det är framför allt inom medicinsk vetenskaplig publicering som för- och nackdelar med peer review debatterats, och det är här som flest empiriska undersökningar utförts. Flera av dessa visar att peer review har låg reliabilitet, dvs. överensstämmelsen mellan vad olika referenter säger om samma text är inte speciellt stor (Rothwell & Martyn 2000; Jefferson et al. 2002). Richard Smith, tidigare redaktör på British Medical Journal, har berättat följande anekdot: ”Jag utmanades av två av de smartaste forskarna i Storbritannien att låta publicera ett nummer av tidskriften bestående endast av artiklar som fått dåliga omdömen i peer review och se om någon märkte något. Jag skrev tillbaka: ’Hur vet ni att jag inte redan gjort det?’” (Smith 2006:178).

Den låga reliabiliteten kan verka nedslående, men det finns skäl att tro att den är lägre inom medicin än inom många andra områden. En orsak är att medicinska artiklar ofta innehåller information från olika fält som en och samma bedömare inte rimligen kan vara expert på, t.ex. statistik, klinisk relevans, teoretisk anknytning. Olika referenter kan därför lägga störst vikt vid det egna expertområdet, och då är det inte överraskande att de kan komma fram till olika slutsatser.

Ett annat sätt att mäta peer review-systemets tillförlitlighet är att undersöka hur många sakfel som referenterna finner. I ett experiment från 1998 modifierades en medicinsk artikel som redan antagits för publicering på så sätt att åtta fel eller svagheter introducerades i texten. Artikeln sändes sedan ut till ett stort antal bedömare, varav 221 stycken återsände en bedömning. Bedömarna fann i genomsnitt ganska exakt två av felen, vilket inte är särskilt imponerande (Godlee et al. 1998). Det har också påpekats att publicerade artiklar som genomgått peer review inte sällan innehåller statistiska felaktigheter (Campanario 1998a:197).

Under senare år har flera fall av forskningsfusk blivit uppmärksammade. Man har då tvingats konstatera att peer review inte alls garanterar att fusk och friserade data upptäcks i tidskrifternas granskningsprocess (Benos et al. 2007).

BLINDNING I PEER REVIEW

Peer review är nästan alltid blindat i åtminstone den ena riktningen, nämligen så att artikelförfattaren inte får reda på referenternas namn. Det huvudsakliga argumentet för detta arrangemang är att författaren inte ska kunna utöva påtryckningar mot referenten. Mycket vanligt är också att processen är blind i den andra riktningen, så att referenten inte får reda på artikelförfattarens identitet. Huvudskälet till detta är att referenten ska bedöma texten, inte författaren. Referenten skulle lätt kunna påverkas av ovidkommande åsikter om författaren, om dennes identitet var känd.

Det kan i praktiken vara svårt att uppnå blindning av författarens identitet. Eventuella självreferenser i texten måste elimineras. Författarens språkliga stil är kanske känd bland kolleger och är förstås omöjlig att dölja. Vidare kan författaren stå för en åsikt som inte många andra delar, och som framkommer i artikeln. Då minskar antalet möjliga författarkandidater. Ett akademiskt område kan också vara så litet att i princip alla känner alla. Om författaren verkligen vill få sin identitet känd (i tron att detta ökar chansen att artikeln blir antagen) så finns åtskilliga knep att i texten försvåra upprätthållandet av anonymitet.

Under senare år har s.k. öppen peer review (open peer review) diskuterats en del. Med detta menas att man tagit bort blindningen, så att referenterna känner till författarens namn och författaren känner till referenternas. Nature prövade under några månader 2006 frivillig öppen peer review. Initiativet erhöll många positiva tillrop, men blev i praktiken inte speciellt populärt (Greaves et al. 2006). Även andra försök med open peer review har förekommit, t.ex. i tidskriften Atmospheric Chemistry and Physics, där med påstått bättre resultat (Koop & Pöschl 2006). Det väckte en del uppmärksamhet i den akademiska världen när ansedda British Medical Journal år 1999 beslutade att övergå till ett öppet peer review-system (BMJ 1999). När en artikel publicerats i BMJ läggs referentgranskningarna ut på tidskriftens webbplats, där läsare också kan ge kommentarer. För BMJ verkar systemet fungera bra, men totalt sett är öppen peer review fortfarande en ovanlig praxis. Tidskrifter som använt frivillig öppen peer review har i regel funnit att ganska små andelar av referenterna, klart mindre än hälften, velat skriva under med sina namn.

Studien av Godlee et al. (1998), som nämnts ovan, gav inget stöd till uppfattningen att öppen peer review ökar granskningarnas kvalité. Vissa referenter ombads att signera sina rapporter, andra inte, men detta påverkade inte hur många av de medvetet planterade felen som bedömarna fann. Liknande resultat uppnåddes av McNutt et al. (1990) och av Rooyen et al. (1998). Man kan förstås vända på formuleringen och säga att öppen peer review åtminstone inte försämrar granskningens kvalité. Walsh et al. (2000) fann att signerade referentrapporter var mer genomarbetade och oftare rekommenderade att artikeln skulle antas än osignerade rapporter.

Det har ibland framförts argument med innebörden att referenten inte bör vara anonym, då anonym kritik på ett eller annat sätt skulle strida mot grundläggande rättssäkerhet (Thörn 2002). Det finns emellertid ett starkt principiellt argument för anonymitet, som nämnts ovan: risken att referenten vill hålla sig väl med författaren motverkar den kritiska granskningen. Vad skulle en icke-anonym referent ha för reella möjligheter att rekommendera refusering av en artikel inskickad av någon som anses världsledande inom fältet, och som referenten kanske är personligen beroende av för sin fortsatta karriär? Den senare risken kan man i princip eliminera genom att blinda referentens identitet för författaren, men inom ett litet forskningsfält kanske ändå en kritisk referent inte skulle känna sig helt anonym.

Den som anser att blindning har huvudsakligen positiva effekter på peer review-processen kan tänkas förorda att även redaktören borde vara blindad för artikelförfattarens identitet. Redaktören spelar ju roll för vilket beslut som fattas om artikeln. Redaktörsblindning går att ordna genom att redaktionsassistenten kan vara den som först tar emot manuset och då ser till att författarens identitet fortsättningsvis hemlighålls (tills beslut fattats om artikeln ska antas eller refuseras). I dagsläget förefaller det dock vara ovanligt att redaktören blindas på detta sätt.

ANDRA KLAGOMÅL

Peer review tar mycket tid för författaren. Från insändandet av artikelns första version till en slutlig publicering förflyter många månader, ibland en bra bit över ett år. (Väntetiden beror också i hög grad på hur lång kö av accepterade men ännu inte publicerade artiklar som tidskriften har.)

Peer review tar också tid för referenten. Referenter rekryteras bland forskare och universitetslärare, som redan är upptagna med sina vanliga arbetsuppgifter. Referentuppdrag tas som regel utan arvodering, och uppdraget måste således utföras som en oavlönad del av arbetstiden eller på fritiden. Som nämnts ovan tyder undersökningar på att referenter lägger i genomsnitt 3–6 timmars arbete på varje granskning. I många fall kan det vara för lite för en genomgripande granskning. Å andra sidan måste man förstå att referenter inte vill utföra alltför omfattande gratisarbete.

När refuserade författare klagar är det vanligen på att referenter varit slarviga eller inkompetenta. The Lancet har sedan 1996 en ombudsman dit artikelförfattare kan vända sig om de vill klaga på bedömningsprocessen (Lee & Bero 2006). Många artikelförfattare verkar dock inte känna till möjligheten att överklaga en refusering, som faktiskt finns på många tidskrifter. Å andra sidan finns det ju många tidskrifter att välja mellan, och om man blir refuserad av en viss tidskrift är det i många fall lättare att skicka in texten till en annan tidskrift än att lämna in ett överklagande till den första. Bara tre av 30 psykologitidskrifter hade enligt en enkät på 1980-talet några formella rutiner för att lösa eventuella tvister mellan redaktör och författare (Campanario 1998b:278).

Ett sätt att försnabba publiceringsprocessen som föreslagits är att författare skulle tillåtas att skicka samma manuskript till flera tidskrifter samtidigt. I dagsläget är det mycket ovanligt att tidskrifter tar emot manus som samtidigt har skickats någon annanstans. (Författaren får vid insändandet försäkra att manuskriptet inte befinner sig under granskning hos någon annan tidskrift.) Att tillåta flera samtidiga insändanden verkar inte öka i popularitet. Dessutom föreligger starka tvivel om det verkligen skulle öka snabbheten. Kritiker menar att processen knappast skulle försnabbas, eftersom flera referenter skulle behöva bedöma samma artikel samtidigt. Dessutom finns det goda skäl att tro att artiklar som skrivs i syfte att samtidigt skickas till många tidskrifter inte blir lika genomarbetade som texter som skrivs för att skickas in till en tidskrift i taget (Pressman 1994).

Ett annat förslag som kunde snabba på processen och allmänt öka peer reviews anseende vore att arvodera referenterna ordentligt. Såsom systemet fungerar idag har referenternas oavlönade arbete liknats vid välgörenhet, och många referenter har vittnat om att de fortsätter att arbeta inom systemet enbart som en insats för vetenskapens bästa. Två forskare har rentav dragit slutsatsen att ”refereeing is an act of love” (Endres & Wearden 1990:49).

Ytterligare en förändring av peer review som föreslagits är en noggrannare styrning av hur referenter utses. Rutinerna för detta kan vara mycket olika på olika tidskrifter. Ibland rekryteras referenter genom redaktörens personliga kontakter, ibland genom sökning i databaser, ibland genom att manusförfattare ombeds föreslå tänkbara referenter (Campanario 1998a:186). En författare kan också alltid i sitt följebrev till tidskriften be om att någon eller några personer inte måtte utses till referenter, på grund av t.ex. kända personliga motsättningar.

BRIST PÅ BÄTTRE ALTERNATIV

Såsom framgått ovan finns det många angreppspunkter för den som är skeptisk till peer review. Vad man klagar på beror dock på vad man anser att peer review ska klara av. Ska peer review vara ett filter, ett distributionssystem, en kvalitetskontrollinstans, alltihop eller något annat (Wager 2006; Smith 2006)? Den som konstaterar att peer review inte avslöjar forskningsfusk i speciellt hög utsträckning kanske ställer för höga krav på systemet?

Man kan förmoda att det mest är personer som är missnöjda med peer review-systemet som tar upp det till debatt. Genom att följa akademiska debatter om peer review kan man därför bibringas intrycket att kritiken mot systemet är större än vad den egentligen är.

Man bör vidare notera att mycket av kritiken mot peer review är allmängiltig och skulle kunna riktas mot nästan varje form av artikelgranskning. Klagomålen är med andra ord inte specifika för peer review. Klagomålen är också spretiga i den meningen att det verkar svårt att tillfredsställa flera av dem utan att det medför andra försämringar. Om man t.ex. anser att peer review-processen ovillkorligen måste snabbas upp, blir det svårt att samtidigt hävda att peer review måste bli bättre på att upptäcka fusk, eftersom snabbhet och förmåga att upptäcka fusk troligen motverkar varandra.

Det är till sist viktigt att säga att det inte tycks finnas något radikalt annorlunda och samtidigt bättre system för artikelgranskning. Inte ens peer reviews hårdaste kritiker brukar föreslå att systemet ska skrotas. Istället föreslår man mindre modifikationer, t.ex. arvodering av referenter eller blindning av författare och referenter. Förmodligen är en majoritetsuppfattning bland verksamma forskare att peer review visserligen inte är perfekt men att det ändå är det bästa system som kan upprätthållas för en rimlig förhandsgranskning av vetenskapliga publikationer. Richard Smith har jämfört peer review med demokrati: ”ett system fullt av problem men det minst dåliga vi har” (Smith 2006:178).

Jesper Jerkert är verksam vid Avdelningen för Filosofi, KTH. Han sitter i VoF:s styrelse och var föreningens ordförande 2004–2008. Denna artikel skrevs ursprungligen som lärobokstext tänkt att användas i en högskolekurs om vetenskaplighet.

REFERENSER

• Benos, Dale J. et al. (2007). The ups and downs of peer review, Advances in Physiology Education 31, 145–152.
• [BMJ (1999). Editorial: Opening up [i]BMJ peer review, British Medical Journal 318, 4–5.
• Burnham, J. C. (1990). The evolution of editorial peer review, Journal of the American Medical Association 263, 1323–1329.
• Campanario, Juan Miguel (1998a). Peer Review for Journals as it Stands Today – Part 1, Science Communication 19(3), 181–211.
• Campanario, Juan Miguel (1998b). Peer Review for Journals as it Stands Today – Part 2, Science Communication 19(4), 277–306.
• Endres, F. F. & Wearden, S. T. (1990). Demographic portrait of journal reviewers, Journalism Educator 45, 45–52.
• Godlee, F., Gale, C. R. & Martyn, C. N. (1998). Effect on the quality of peer review of blinding reviewers and asking them to sign their reports: a randomized controlled trial, Journal of the American Medical Association 280(3), 237–240.
• Greaves, Sarah et al. (2006). Nature’s peer review trial, Nature web debate, <www.nature.com/nature/peerreview/debate/>.
• Jefferson, Tom et al. (2002). Effects of Editorial Peer Review: A Systematic Review, Journal of the American Medical Association 287(21), 2784–2786.
• Koop, Thomas & Pöschl, Ulrich (2006). An open, two-stage peer-review journal, Nature web debate, <www.nature.com/nature/peerreview/debate/>.
• Kronick, D. A. (1990). Peer review in 18th-century scientific journalism, Journal of the American Medical Association 263, 1321–1322.
• Lee, Kirby & Bero, Lisa (2006). Increasing accountability, Nature web debate, <www.nature.com/nature/peerreview/debate/>.
• McNutt, R. A. et al. (1990). The effects of blinding on the quality of peer review: A randomized trial, Journal of the American Medical Association 263(10), 1371–1376.
• Pressman, Steven (1994). Simultaneous Multiple Journal Submissions: The Case Against, American Journal of Economics and Sociology 53(3), 316–333.
• Rennie, Drummond (1999). Editorial peer review: its development and rationale. I: F. Godlee & T. Jefferson (red.), Peer Review in the Health Sciences, London: BMJ Books, s. 1–13. Även tillgänglig på <http://resources.bmj.com/bmj/pdfs/rennie.pdf>.
• Rooyen, Susan van, et al. (1998). Effect of Blinding and Unmasking on the Quality of Peer Review: A Randomized Trial, Journal of the American Medical Association 280(3), 234–237.
• Rothwell, Peter M. & Martyn, Christopher N. (2000). Reproducibility of peer review in clinical neuroscience: Is agreement between reviewers any greater than would be expected by chance alone? Brain 123, 1964–1969.
• Smith, Richard (2006). Peer review: a flawed process at the heart of science and journals, Journal of the Royal Society of Medicine 99, 178–182.
• Spier, Ray (2002). The history of the peer-review process, Trends in Biotechnology 20(8), 357–358.
• Thörn, Åke (2002). Peer review: ett slutet system i behov av reform, Läkartidningen 99(30–31), 3106–3108.
• Wager, Elizabeth (2006): What is it for? Nature web debate, <www.nature.com/nature/peerreview/debate/>.
• Walsh, Elizabeth et al. (2000). Open peer review: a randomised controlled trial, British Journal of Psychiatry 176, 47–51.