Inlägget har tidigare publicerats på Politologerna.
Debatten om de politiska opinionsmätningarna har ånyo tagit fart. Det är inte förvånande då höstens val närmar sig och intresset för partiernas stöd i befolkningen därmed ökar. Daniel Nordström, chefredaktör och ansvarig utgivare för Mittmedias tidningar i Västmanland och Stockholmsregionen, gav debatten extra bränsle genom att besluta att hans tidningar varken ska genomföra eller återge några opinionsundersökningar (med undantag för TT-texter och ledarsidan). Nordström motiverar beslutet med att opinionsmätningar inte går att lita på och håller fram det senaste presidentvalet i USA och Brexit-omröstningen i Storbritannien som stöd för den slutsatsen.
Inför förra årets franska presidentval fattade Le Parisien ett motsvarande beslut, men såvitt jag känner till är det ovanligt internationellt sett och saknar motstycke i Sverige. Självfallet är det ett beslut som står en dagstidning fritt att fatta, men det förefaller baserat på missförstånd och det väcker en del frågor. För det första kan det tyckas märkligt fatta ett sådant beslut på basis av opinionsmätningars träffsäkerhet i andra länder med annat valsystem, annan nivå på valdeltagande och andra partistrukturer, när det finns länder som ligger närmare såväl geografiskt som politiskt.
Men även om vi håller oss till de två fall som Nordström nämner kan det diskuteras om det främst var mätningarna eller tolkningarna av dem som uppvisade brister. Personligen skulle jag hävda att de senare var problemet. Inför 2016 års amerikanska presidentval visade ett genomsnitt av opinionsmätningarna att Hillary Clinton hade ett övertag på 3,1 procentenheter (enligt NY Times). När alla röster hade räknats visade sig det övertaget vara 2,1 procentenheter; inte lika stort som i mätningarna men inte långt ifrån. Men då presidentval i USA baseras på hur rösterna fördelas på delstatsnivå kunde Donald Trump vinna trots att han fick färre röster än Clinton totalt sett. Även om det fanns en brist på kvalitativa mätningar i vissa avgörande delstater var den stora förvåningen över valresultaten främst ett resultat av bristande analys av vad mätningarna faktiskt visade (jag har skrivit mer om presidentvalet och opinionsmätningarna här och bloggen 538 har en gedigen genomgång av 2016 års val).
Under den sista veckan inför omröstningen om Brexit var det enligt de flesta, men inte alla, opinionsmätningar en något större andel som ville stanna i EU än som ville lämna. Men veckan dessförinnan var situationen den omvända (se sammanställning här). Den rimliga tolkningen var att det inte gick att utläsa från mätningarna vilken sida som skulle vinna. Den slutsatsen landade exempelvis den amerikanske opinionsanalytikern Nate Silver i när frågan diskuterades i en podd strax före valdagen. Han beskrev läget som en slantsingling – det kunde gå åt båda håll. Med tanke på vilka höga odds en vinst för lämna-sidan gav rekommenderade han därför den som ville spela på utfallet att lägga sin slant på en Brexit (oddsbolagen har konstigt nog inte dragits in i debatten om träffsäkerhet).
En ytterligare indikation på att förståelsen av opinionsmätningar brister är hur mätningarna inför det senaste franska presidentvalet har beskrivits. Dessa mätningar har beskrivits som lyckade, trots att de i genomsnitt missade Macrons segermarginal med hela 10 procentenheter. Att mätningarna inte var särskilt träffsäkra tycks inte ha väckt någon större diskussion då de ändå visade rätt vinnare. Omvänt tycks opinionsmätningar som visar ett jämnt läge med en liten övervikt åt ena hållet väcka upprördhet om utfallet blir åt det andra hållet, även om det också var ett högst sannolikt utfall.
Var mätningarna bättre förr? I en nyligen publicerad studie tecknas en mer övergripande bild genom en sammanställning av 30 000 opinionsmätningar i 45 länder under 75 år. Den bilden ger inget stöd för att mätningarna har blivit sämre över tid, även om träffsäkerheten varierar mellan olika politiska kontexter Ser vi till hur det ser ut i Sverige så har vissa problem funnits i en del val, såsom underskattningar av Sverigedemokraternas stöd på senare tid, men på det hela taget har mätningarna gett en god bild av opinionen inför riksdagsval. Det höga svenska valdeltagandet är en faktor som underlättar för svenska opinionsmätare.
Bild från pre-print-version av Jennings och Wleziens artikel Election Polling Errors across Time and Space
Sammantaget gör detta att jag finner det svårt att förstå Nordströms beslut att inte längre publicera eller återge politiska opinionsmätningar. Jag kan inte se hur medborgare ska vara betjänta av att inte alls få någon information om hur folkopinionen ser ut. Det om något kommer att ge en grogrund för den spekulation och desinformation som Nordström vill undvika. För att tro att frånvaron av mätningar skulle medföra att debattörer skulle avstå från att uttala sig om folkviljan är naivt.
Det är även om oklart om Mittmedias beslut endast gäller mätningar av det politiska opinionsläget. Det tycks som om andra mätningar av opinioner fortfarande publiceras (se till exempel här). Detta trots att inget talar för att mätningar av andra opinioner skulle hålla en högre kvalitet än de politiska opinionsmätningar.
Vad finns då för andra vägar att ta? Jag har i all enkelhet knåpat ihop fyra förslag till hur rapporteringen kring politiska opinionsmätningar i mitt tycke skulle kunna förbättras.
Beakta undersökningarnas osäkerhet. Det finns en statistisk osäkerhet som kommer av att opinionsmätningarna baseras på svar från ett urval (se tidigare bloggpost). Som framhållits av Jesper Strömbäck och Per Oleskog Tryggvason dras i kommentarer ofta slutsatser utifrån förändringar som ligger inom felmarginalen (se även tidigare bloggpost). Även enskilda förändringar som är statistiskt säkerställda bör tolkas med viss försiktighet då det finns felkällor utöver dem som har med urvalsosäkerheten att göra. Det är förståeligt att det finns en önskan om att uttala sig om opinionsstöd med en precision ned till en tiondels procent, men samtidigt får man acceptera att mätningarna inte har en sådan precision.
Nyhetsvärdera resultaten. Det förefaller ofta som om ett visst utrymme i tidningen har avdelats innan det står klart vad den senaste opinionsmätningen visar. Om en undersökning inte innehåller några statistiskt signifikanta förändringar, och det i sig inte är ett intressant resultat, är det bättre att inte göra någon stor nyhet av den än att dra växlar på statistiskt brus.
Flytta fokus från kortsiktiga förändringar. Vanligen redovisas opinionsmätningar med en jämförelse med hur det såg ut föregående månad. Om någon stor politisk händelse har ägt rum eller om valdagen ligger nära i tiden är det en intressant jämförelse, men under större delen av en mandatperiod händer väldigt lite i opinionen från månad till månad. Därför ger sådana jämförelse få statistiskt säkerställda förändringar. Om blicken lyfts och fokus flyttar till förändringar över längre tid går det däremot att hitta intressanta resultat. Då förändringar över längre tid studeras kan man dessutom slå samman mätningar under samma år och därmed få tillräckligt underlag för att studera hur partistödet har förändrats i olika mindre grupper. Det kan ge möjligheter att finna nyheter som kan motivera det utrymme som mätningarna ges i dag.
Ge utförligare redovisningar av undersökningarnas metod och kvalitet. Även om vissa steg i rätt riktning har tagits är det fortfarande svårt att bedöma undersökningarnas kvalitet utifrån den information som i dag presenteras. Det handlar framför allt om urvalet: hur har de svarande valts ut och hur många har tillfrågats men inte svarat? En grundläggande skillnad finns mellan sannolikhetsurval och icke-sannolikhetsurval (läs mer här). Inom den senare gruppen finns även en skiljelinje mellan självrekryterade undersökningar och övriga. Annan information som skulle vara värdefull vore exempelvis hur svaren har samlats in och hur resultaten beräknats utifrån dessa svar. I tidningars pappersupplagor finns utrymmesbegränsningar, men på webben borde mer utförlig information kunna ges. Den kortfattade information som ges i anslutning till redovisning av undersökningarnas resultat skulle dessutom kunna vara tydligare. Det är för mig svårbegripligt att de tidningar som beställer och publicerar opinionsmätningar inte kräver att opinionsinstituten också ger en utförlig kvalitetsredovisning.