Välkommen till skånes kommuner

2017-12-07

Om risken med evidens som särskilt utvalda sanningar

Den 22 april 2017 fyllde människor världen över gatorna i en ”March for Science” – en marsch för vetenskapen. Den var en reaktion mot att USA:s nyinstallerade 45:e president hade visat sig ha en syn på vetenskap som få hade trott var möjlig – och dessutom i Vita Huset. Marschen var ett sätt att visa missnöje mot att vetenskapens resultat – och även dess upphovsmän forskarna – alltmer kommit att ifrågasättas. The Oxford Dictionary utsåg hösten 2016 ”post-truth” till årets ord. Ralph Keyes, som redan 2004 skrev boken ”The post-truth Era”, menar att post-truth är ett utslag av en slags alternativ etik där ärlighet inte längre är rättesnöret. Fullskalig lögn är kanske inte accepterad, men ”we misspeak, we exaggerate, we conduct pure judgement” (vi skarvar, vi överdriver, vi utövar dåligt omdöme).

Evidenstanken är en del av den händelseväv som det här sker i. Jag ska börja med att sätta evidensbegreppet i ett historiskt sammanhang för att beskriva varifrån evidensdiskursen får sin kraft. Därefter beskriver jag några problem som idén om evidens för med sig i utbildningssammanhang. Avslutningsvis redovisar jag några slutsatser från en studie om forskningsanvändning i media och politik under 2000-talet, vars arbetsnamn är ”Utvalda sanningar” och således inspirerat till textens och föreläsningens rubrik. Att skolan ska vila på vetenskaplig grund är stadgat enligt lag (Skollagen 2010:800). Jag menar att formuleringen kan liknas vid det som en del forskare benämner ”boundary object” – det är en formulering som är så diffus och odefinierad att den rymmer mängder med olika uppfattningar om vad som egentligen menas. Den uppfattas dessutom som så självklar att den är svår att vara emot. Ingen vill ju jobba på ovetenskaplig grund. Men som den forskare som jag skolats till, tänker jag att vetenskaplig grund också kan vara ett farligt begrepp, bland annat just för att det tillåtits vara ett boundary object med en oklar definition som många aktörer ganska osynkroniserat lämnats att uttolka. Farligt är det eftersom det kommit in från sidan och detta långt innan vi var beredda på dess kraft, dess utfordringar och dess fällor.

Begreppet evidens ingår inte i skollagens formuleringar i Sverige, utan utgör snarare en idé som förknippas med vetenskaplig grund. Inom det medicinska fältet, där de yrkesverksamma utarbetat modeller för att kunna utvärdera effektiviteten av de behandlingsmetoder som används, är evidens ett användbart och viktigt sätt att systematiskt dokumentera upparbetad kunskap om vad som fungerar. Inte okomplicerat, men en bra inomprofessionellt utarbetad metod för en-till-en-behandlingar. På utbildningsområdet däremot har evidensdiskussionen – eller kanske rättare sagt önskemålen om och kraven på evidens – snarare karaktäriserats av att ha initierats uppifrån/utifrån, och då främst från politik och policy (Kreisler 2013).

Själva ordet evidens används visserligen inte entydigt, men i det sammanhang där det används mest –inom policyområdet – är det kopplat till idén om att vetenskapliga evidens bör generas ur storskaliga, randomiserade och kontrollerade studier. Även om talet om evidens kan uppfattas som relativt nytt inom utbildning, så formulerades idén om evidens som belägg för ”vad som fungerar” i undervisningssammanhang redan på 1980-talet (Bennett 1986, se Biesta 2011, s. 37). Genomslaget kom dock 2001 genom revideringen av den amerikanska lag som är mest känd under namnet No Child Left Behind (NCLB). I lagen skrevs ett krav om en ”gyllene standard” in, som stipulerade att åtgärder som skulle sättas in i skolan skulle grunda sig på randomiserade, kontrollerade fältstudier. I lagtexten kom utbildning att med andra ord att uttryckas som en åtgärd och belägg för att åtgärden ”fungerade” skulle skapas i storskaliga studier med samma upplägg som medicinska studier. NCLB blev därmed styrande både ifråga om synen på utbildning och ifråga om hur forskning bör bedrivas.

Evidens ingår i ett särskilt sätt att tänka och tala om det som sker i mötet mellan verksamhet och brukare, läkare och patient, lärare och elev. Evidens existerar i skärningslinjen mellan forskning, praktik och politik och är starkt sammankopplad med beslutsfattande. Inom politik står evidens för idén att politiska beslut kan eller bör fattas på grundval av evidens. I utförarledet i olika verksamheter innebär evidenstanken t.ex. att beslut om vilken undervisningsmetod som ska användas, hur undervisningsgrupper ska konstrueras eller hur skolor ska designas bör tas utifrån evidens. I en evidensbaserad politik eller praktik är alltså evidens en del av underlaget för beslut. Frågan är om så fortfarande är fallet i USA där the Office of Science and Technology Policy står nästan tomt numera. Men märk väl formuleringen ”en del av”…

Det finns två huvudsakliga sätt att tala om evidens inom utbildning – evidensbaserad och evidensinformerad praktik. En evidensinformerad praktik ser evidens som vägledande för praktiken. En praktik som däremot baseras på evidens tar evidens som sin utgångspunkt och lutar snarare åt att praktikens utformning ska avgöras av belägg som tagits fram i forskning. NCLB är ett uttryck för evidensbasering av praktik. Ett problem med evidensbasering, som observerats bland annat av forskaren Magnus Levinsson (2013), är att det ofta blir fråga om beslut utifrån eller ovanifrån om metoder som ska implementeras i praktiken. Levinsson påpekar att det är svårt att ta tillräcklig hänsyn till lärares kunskaper och erfarenheter eller specifika kulturella, ekonomiska och sociala villkor. Man riskerar då att inte förbättra utan i värsta fall försämra undervisningen. Jag är inte främmande för tanken att den här typen av implementeringsprocesser kan bidra till skapandet av post-sanning: ”Se själv – det blev inte bättre trots att vi baserade oss på evidens”! Levinsson drar slutsatsen att fortbildningssatsningar behöver inrikta sig mot att höja lärares egen kompetens att göra professionella bedömningar av evidens (se även Forssten Seiser 2017).

Styrnings- och implementeringsidéer har lett till en stark betoning på hur olika metoder ska införas. Det här har, menar utbildningsfilosofen Gert Biesta (2011) på ett mycket olyckligt sätt kommit att tränga ut den mycket viktigare frågan om varför de ska införas. ”What works?”, skriver han, ingår i en tankefigur i vilken det framstår som självklart att det finns generellt effektiva interventioner som kan avgöras av forskning. Men, den fråga som måste ställas är: effektiv för vad? Och för vem? Att vara elev är ingen sjukdom och utbildning är ingen åtgärd eller ett botemedel. Den viktiga frågan, menar Biesta, är vad som är pedagogiskt och utbildningsmässigt önskvärt.

Hur kan vi förstå vad detta innebär? Biesta ger ett par exempel varav jag återger ett – extremt, men belysande – här: Om vi vet att barnaga är det mest effektiva sättet att förhindra att barn gör vissa saker, innebär det då att vi bör använda barnaga? Nej, naturligtvis inte. Sammankopplat med varje medel för att uppnå ett mål finns nämligen också andra lärdomar inbäddade. Om vi agar våra barn lär vi dem att våld alltid kan legitimeras som en utväg. Barnaga är därför inte pedagogiskt önskvärt. Poängen är alltså att utbildning inte enbart är val mellan olika metoder utan minst lika mycket är en moralisk aktivitet. Undervisning och utbildning kräver ständiga normativa professionella bedömningar om vad som är rätt i en viss situation. Ibland kräver god utbildning till och med att en pedagog handlar i strid mot evidens om vad som fungerar – för att kunna uppnå ett pedagogiskt mer önskvärt mål.

Har då evidens ingen relevans alls inom utbildning? Jo, absolut. Men forskning och forskningsresultat kan aldrig säga vad som kommer att fungera – bara vad som har fungerat och det i olika specifika situationer. Det forskning kan förse oss med är snarare en förståelse av möjligheter, hypoteser om vad som kan ske eller kan fungera. Sådan kunskap kan, menar Biesta bidra till ett mer intelligent agerande. Det innebär dock att evidens måste betraktas ur ett brett perspektiv, som betydligt mer än resultaten från randomiserade studier.

Biesta menar att ett stort problem med hur debatten kommit att utvecklas efter No Child Left Behind är att den i så hög grad framställer både utbildning och forskning som ”tekniska funktioner” – som medel för att producera strategier och tekniker för att uppnå givna mål. Risken är stor – alltför stor och icke önskvärd – att den bidrar till att vi bygger system som gör utbildning till ett maskineri, där vi när instrumentalism. Istället, tänker jag, måste vi bygga system som tvingar oss att tänka. För både forskning och utbildning har en annan, lika viktig och nästan bortglömd, kulturell funktion. Den förser oss med olika tolkningar och sätt att förstå och föreställa oss den sociala verkligheten. Den ger oss på så sätt nya ögon att betrakta vår verksamhet med och därmed möjligheter till handling där man tidigare inte såg några. Och eftersom evidens mäts mot specifika mål är det också viktigt att ständigt diskutera och undersöka utbildningens mål. Är de mål vi försöker uppnå, på en viss given tid i elevernas liv, de mest önskvärda?

Varken utbildning eller forskning är åtgärder som kan vara antingen rätt eller fel. Forskning är sätt att systematiskt och transparent utforska världen, men den rymmer alltid osäkerhet. Vi måste acceptera att ”allt” den kan bidra med är bättre hypoteser kring vad vi kan och bör göra i skolan. Men det är gott nog, så länge vi förstår att detta kräver normativa bedömningar, av pedagoger, rektorer och andra beslutsfattare. Och att beslut bygger på att väga det ena mot det andra, och därför är en fråga om värderingar som vi måste argumentera för och våga stå för. Med andra ord – beslut kan inte fattas på grundval av enbart evidens.

Detta för mig in på den sista delen av den här texten som ska beröra användningen av forskning i media och i politik. Den bygger på en studie som jag och Christian Lundahl vid Örebro universitet har genomfört, i vilken vi studerat hur man i skoldebatten diskuterar forskning – i synnerhet utbildningsvetenskaplig/pedagogisk sådan – och hur man gör detta i relation till den internationella kunskapsmätningen PISA. Kopplingen till PISA är intressant i evidenssammanhanget eftersom PISA i egenskap av att vara en utvärdering med storskalig, randomiserad och kontrollstudiedesign ofta uppfattas ”ge svar” på vilka åtgärder som bör sättas in för att förbättra resultaten i skolsystemet. Dess resultat uppfattas som evidens för kvalitet i skolsystem.

I studien har vi analyserat ett urval av ca 200 riksdagsprotokoll och 500 nyhetsmediaartiklar från perioden 2000 till 2016. Dessa utgör samtliga artiklar från de åtta största tidningarna i Sverige som nämner både forskning och PISA samt alla de riksdagsprotokoll där PISA nämns och de där pedagogisk forskning nämns. Vi gjorde två slags analyser: dels en innehållsanalys där vi kategoriserade vilket innehåll som diskuterades med hjälp av PISA, dels en analys av hur man talar om PISA och om pedagogisk forskning, en så kallad diskursanalys.

Genom att vi systematiskt gått igenom och dokumenterat innehåll, och hur man talar om forskning och PISA, har vi ställts inför tankeväckande mönster. Föga förvånande kunde vi se att både antalet artiklar och antalet riksdagsdebatter under tidsperioden i vilka PISA diskuteras ökar. Vidare fann vi att fler och fler frågor med anknytning till utbildning kom att diskuteras i relation till PISA, det gällde både i media och i riksdagen. I materialet används PISA brett för att legitimera reformer och förändringar. Men vi ser också hur forskning om skolan används för att berättiga politiska ståndpunkter och program. Detta görs oftast mycket selektivt. Politiska utspel, som även kan innefatta inlägg från fackliga företrädare, lärare och rektorer, ledarskribenter, hänvisar till forskning som intäkt för en viss åtgärd. Det kan säkert uppfattas som forsknings- eller varför inte evidensbasering av skolpolitiken. Men det besvärliga är att detta görs utan att hänvisa till den värdering som gjorts när – eller kanske snarare om – olika resultat och evidens vägts mot varandra.

Det vi sett är tyvärr inte att forskning – eller evidens – vägleder skolpolitiska samtal utan att forskning (forskare och resultat) selektivt väljs ut för att passa redan etablerade ståndpunkter. De blir utvalda sanningar. Därmed blir forskning något som kan vara rätt eller fel: forskningen och dess resultat ifrågasätts. Istället för att diskutera innehåll och värderingar är det sanningshalten i ett eller annat forskningsresultat som dryftas, eller trovärdigheten i en viss typ av forskning. Teoretiskt utmanande skolforskning, vars syfte är att bredda synen på utbildning, utmålas särskilt ofta som ideologisk.

Samtidigt tar nya forskningsområden plats i skoldebatten. Nationalekonomisk och statsvetenskaplig forskning, som i regel utformas som storskaliga, randomiserade studier, beforskar numera skolan, liksom neurovetenskap/hjärnforskning. Intressant nog är det forskare från dessa forskningsfält som efterhand kommit att dominera den offentliga skoldebatten.

Det är välkommet att skolan beforskas ur olika perspektiv, med olika metoder och utifrån olika frågeställningar. Det som är problematiskt är när storskaliga studier betraktas kunna berätta vilka åtgärder som behövs. Paradoxalt nog ser vi samtidigt att viss utbildningsvetenskaplig forskning mer och mer framställs som lösningen på de problem som framträder i PISA och nationalekonomiska studier. Då är det praktiknära forskning som lyfts fram, forskning som undersöker det politiskt sett betydligt mindre värdeladdade området klassrumsundervisning. Men målet eller värdet av ett visst mål – exempelvis höjda PISA-resultat eller högre kunskapsresultat, dvs måluppfyllelse mätt utifrån kunskapskraven – diskuteras sällan i debatten, eller med svårighet.

Diskussionen om skolan är föränderlig och motsägelsefull. Å ena sidan efterfrågas evidens och vetenskaplig grund, å andra sidan misstros både evidens och vetenskap. Den märkvärdiga slutsatsen är att när forskningsbasering av politik och åsikter sker, tycks det bli på bekostnad av vetenskapens själva trovärdighet. Till denna bidrar tyvärr också en del forskare, genom offentlig smutskastning av andra forskningsdiscipliner.

Vad kan vi göra åt detta då? Det första steget borde vara det Levinsson föreslår, att öka lärares – men även rektorers, förvaltningspersonals, politikers och medborgare i allmänhets, förståelse för vad forskning är och kan bidra med. Det innefattar också förståelse för vad forskning faktiskt inte kan göra åt oss utan där det är vi själva som måste göra jobbet – att läsa in oss, väga olika resultat och slutsatser mot varandra, värdera och ta transparenta beslut. Vi måste öka samhällets forskningslitteracitet (se Persson 2017). Och även när det finns omfattande forskningsstöd för förklaringar och metoder bör vi låta bli att säga ”forskningen säger”. Slutligen bör vi inte laga det som inte är trasigt. Forskning kan onekligen visa på en mängd positiva resultat, metoder och modeller. Men vi behöver inte alltid ändra. Vi behöver ständigt påminna oss om varför vi gör det vi gör och om konsekvenserna av det vi gör.

/Margareta Serder, FoU Skola 2017

PS: Sprid gärna! Det här behöver vi prata om. Om du vill kommentera texten, använd gärna Twitter och @SerderMargareta

Det begrepp som det svenska Skolforskningsinstitutet vill använda (Adamson, 2017)

Samtliga publicerade artiklar i Sverige under den här perioden i Sverige och som behandlade skola och PISA överstiger 26 000.

Lika bra att lägga in en brasklapp här: Jag menar att forskning om och med det som kallas för ”praktiken” är viktigt, nödvändigt och bra att det uppvärderas – men det är en annan historia.

Referenser

Adamson, L. (2017). Utbildning på vetenskaplig grund. Vetenskap och beprövad erfarenhet skola. Lund: VBE. Kan hämtas på http://www.skolfi.se/wp-content/uploads/2017/02/vbe_skola_for_webb.pdf

Biesta, G. (2011). God utbildning i mätningens tidevarv. Liber. 

Forssten Seiser, A. (2017). Stärkt pedagogiskt ledarskap: Rektorer granskar sin egen praktik. Doktorsavhandling, Karlstads universitet.

Krejsler, J. B. (2013). What Works in Education and Social Welfare? A Mapping of the Evidence Discourse and Reflections upon consequences for Professionals. Scandinavian Journal of Educational Research 57(1):16–32.

Levinsson, M. (2013). Evidens och existens: evidensbaserad undervisning i ljuset av lärares erfarenheter. Doktorsavhandling, Göteborgs universitet.

Lundahl, C. & Serder, M. (2017). Utvalda sanningar i skoldebatten. Podcast på www.skolaochsamhalle.se och working paper på www.paristopisa.com

Persson, J. (2017): Är vetenskaplig grund och beprövad erfarenhet i skolan samma sak som vetenskap och beprövad erfarenhet i hälso- och sjukvård? Vetenskap och beprövad erfarenhet skola. Lund: VBE. Kan hämtas på http://www.skolfi.se/wp-content/uploads/2017/02/vbe_skola_for_webb.pdf

Persson, S. (2017). Forskningslitteracitet. En introduktion till att förstå, värdera och använda vetenskaplig kunskap. Lund: Kommunförbundet Skåne.