Den 17/4-2011 skrev Kasper Planeta Kepp en artikel om Berlingskes Politikos artikel. Det var et godt politisk svar på artiklen, men jeg har brugt lidt tid på at efterforske de underliggende data i artiklen: meningsmålingerne.
Min konklusion er ganske brutal:
- Artiklens data om meningsmålinger virker specifikt udvalgt til at skabe en sensationel overskrift.
- De præsenterede data er ikke repræsentative for offentligt tilgængelige data.
For datoerne 8/3-2011 til 11/3-2011 er der 4 publicerede meningsmålinger, så vidt jeg kan se fra mine kilder:
1 fra Voxmeter den 11.
1 fra hver af Rambøll, TNS Gallup og YouGov Zapera.
Det giver 4 datapunkter, som er indsamlet så tæt på hinanden at jeg betragter dem som samtidige.
Derfor vil jeg indtil videre betragte dem som kommende fra samme fordeling.
Tallene er 8,8 - 5,6 - 7,2 - 9,0. (Angivet i samme rækkefølge som kilderne ovenfor.)
Gennemsnittet er så 7,65 og standard afvigelsen er 1,59.
Så hvis journalisten ville bare rimeligt repræsentere data, så er LAs fald i meningsmålingerne fra 7,6 til 3,2 på en måned. Med den typiske standardafvigelse for meningsmålinger i Danmark (2%), så er de to målinger blot 2,2 standard afvigelser fra hinanden, og dermed ikke statistisk udtryk for en ændret tilslutning relativt til en 95% konfidensinterval test. Med andre ord, offentligt tilgængelige data understøtter ikke overskriften.
Men nu begynder så det virkeligt sjove, for jeg har indsamlet data fra alle de meningsmålinger jeg har kunnet finde i perioden 1. januar 2010 og frem. For Liberal Alliance ser det sådan her ud:
Meningsmålinger for Liberal Alliance i perioden 1. januar 2010 til 20. april 2011. < Kommer snart i en revideret udgave - se mit svar til Ole Birk Olesen nedenfor.
Opdateret billede: Meningsmålinger for Liberal Alliance i perioden 1. januar 2010 til 20 april 2011.
Jeg har fremhævet data fra Voxmeter (liggende grå timeglas med grå streg).
Voxmeter er bygget på resterne af Catinét (der gik konkurs), så jeg har rettet mine data.
Umiddelbart kan man se følgende:
1. Meningsmålingerne fra YouGov Zapera (YZ) synes konsekvent at ligge relativt højt, i størrelsesordenen 1 til 2 procentpoint over gennemsnittet af de øvrige institutter. (Se på de grønne Xer)
2. Pga. observationen 1. Data fra 2 forskellige institutter er ikke direkte sammenlignelige.
Fx. vil en hver sammenligning fra YZ til et andet institut ligne et kraftigt fald. Og omvendt vil en sammenligning fra et andet institut til YZ ligne en kraftig stigning. Dette skyldes (min umiddelbare tanke) forskellige dataindsamlingsmetoder samt forskellig efterbehandling af data.
3. Data fra Voxmeter er lettere skizofrene for netop målingerne den 6. og 11. marts 2011. Generelt synes målingerne ind til og med den 6. marts 2011 rimelige i forhold til gennemsnittet af de øvrige målinger. En statistiker kalder den slags observationer "outliers" og de bliver ofte filtreret bort, da de blot ødelægger det øvrige datagrundlag.
Punkt 2. betyder at de data vi ovenfor betragtede som kommende fra samme fordeling rent faktisk kommer fra 4 forskellige fordelinger - 1 for hvert institut.
Så jeg når følgende konklusioner:
+ Hvis Voxmeter målingen fra d. 16. april skal sammenlignes med noget, så er det målingen fra d. 6. marts, hvor LA blev målt til 6,0%. Det skyldes at målingen d. 11. marts ligger skævt i forhold til det generelle billede de øvrige målinger fra Voxmeter viser. Yderligere ligger den skævt i relation til de øvrige institutters målinger, på den vis at nivauet ligner mere en YZ-måling end noget andet.
+ Altså er det bare nogenlude rimeligt beskrevne fald i tilslutning fra 6,0% til 3,2%. Knap halvanden typisk standardafvigelse (2%) fra hinanden og kan på ingen måde siges at repræsentere andet end støj i meningsmålingerne. Men det ville selvfølgelig ikke give en historie...
+ Bonus runde: Den 18. marts har Epinion en måling, hvor LA måles til 5,1%, som faktisk er den måling, som i tid er nærmest den 16. marts, der er 1 måned inden Voxmeter målingen fra d. 16. april.
+ Altså må Ritzau/Berlingske må have valgt at sammenligne Voxmeter målingen d. 16. april med en særligt udvalgt måling alene med henblik på at skrive at LAs tilslutning er faldende.
Så til LAs kandidater:
Næste gang en tilfældig journalist præsenterer jer for 2 meningsmålinger og siger "LA stiger/falder helt vildt...", så spørg efter data fra de øvrige målinger fra det samme institut. Det kan jo tænkes at de sammenligner 2 ekstreme målinger, relativt til de øvrige målinger fra samme institut.
Til resten af Danmarks befolkning:
Bemærk som udgangspunkt er din lokale journalist enten for politisk farvet og/eller for dum til at lave en bare rimelig korrekt historie. Selv om data er offentlige og nemme at skaffe, så laver journalisten ikke selv den smule arbejde at se på data.
