Förra veckan deltog jag i den årliga konferens som American Association for Public Opinion Research (AAPOR) anordnar. I år ägde den rum i Orlando. För den som är intresserad av opinionsmätning är det helt fantastiska dagar: sessioner som ägnas åt intressanta frågor som frågeordning, skalsteg, bortfall, webbpaneler, m.m. Den stora snackisen under konferensen var den rapport som Pew presenterade där. Det visar sig att svarsfrekvensen vid amerikanska undersökningar baserade på urval av telefonnummer nu är nere på 9 (!) procent. _Hur ser det ut i Sverige? _Tja, bra fråga. De privata opinionsinstituten i Sverige presenterar inte siffror över bortfallet, så jag vet inte. När Kent Asp presenterade sin undersökning över journalistkårens partisympatier avfärdade stora delar av journalistkåren den på grund av bortfallets storlek och vilka de svarande var, men uppenbarligen har journalister inte samma intresse kring undersökningars kvalitet när de inte är de själva som är studieobjektet. Med tanke på att de flesta politiska opinionsmätningar görs på uppdrag av tidningar vore det enkelt för dessa tidningar att kräva att instituten även redovisade grundläggande kvalitetsmått, vilket vore välkommet.
Nåväl, Pew menar ändå att de med 9 procent svarande kan ta fram skattningar som, med vissa undantag, är förhållandevis korrekta. De baserar den slutsatsen bland annat på en jämförelse mellan två studier där de i den ena ansträngt sig mer för att få upp svarsfrekvensen, vilket visar sig ge små effekter på resultaten (se hela rapporten här). Det är dock en del skakiga antaganden bakom den slutsatsen, men även om man köper argumentationen finns ändå problem med det höga bortfallet eftersom det blir dyrt att få ihop ett tillräckligt antal svarande när så få ställer upp för intervju. Dessutom finns problemet med att allt fler personer har mobiltelefoner, vilket medför att man vid telefonnummerurval måste dra urval bland både fasta telefoner och bland mobiltelefoner och sedan väga ihop dessa urval. Då vissa personer kan dras ur båda dessa grupper och andra i bara den ena eller den andra, så är den sammanvägningen inte helt trivial (även här saknas information kring hur svenska opinionsinstitut gör).
Mot bakgrund av ovanstående problem är det inte konstigt att många sessioner på AAPOR ägnades åt opinionsmätningar via webbpaneler, vilka ofta ger många svarande till låg kostnad. Här förefaller den allmänna uppfattningen vara att webbpaneler som inte dragits med sannolikhetsurval inte bör användas för att skatta den allmänna opinionen (vilket f.ö. är just vad Aftonbladet och United Minds gör). Det nya svarta i opinionsbranschen är att dra ett mindre sannolikhetsurval och använda det för att korrigera en webbpanel som inte är dragen med sannolikhetsurval. Här finns en rad metoder som används. Och många tittar på andra variabler för korrigering än de som traditionellt använts, dvs. snarare variabler som avser personlighet och attityder än kön och ålder (även om det ena inte behöver utesluta det andra).
En helt annan lösning är att sluta fråga folk och istället försöka fånga alla de åsikter som ändå uttrycks på Twitter, Facebook och andra ställen. Det är ett intressant område som jag har skrivit om tidigare. Det som framkom under AAPOR var bland annat att automatisk klassificering av tweets vad gäller positiva och negativa känslor fungerar riktigt bra, och det även efter automatisk översättning via Google Translate. Samtidigt är resultaten i många fall svårtolkade. Så även om det händer mycket på området är resultaten så här långt osäkra. För företag som Facebook finns däremot möjligheten att ställa frågor till användare och koppla svaren till all annan information användarna själva har gett genom statusuppdateringar etc. Det är inte omöjligt att Facebook framöver kommer att bli en allt vanligare plattform för att genomföra opinionsundersökningar, vilket kanske kan hjälpa till att motivera det extrema börsvärdet.