Hvordan kan du vurdere, om en undersøgelse reelt siger noget om danskernes holdninger? Her er din guide, så du ikke igen laver alarmartikler om vuggestuebørn.
Af: Paul Metelmann
Vuggestuebørn, der alligevel ikke gik rundt som zombier, og danskere, der alligevel ikke vil have mere EU på tv. Flere historier i medierne har vist sig ikke at holde, når undersøgelsen blev tjekket af DR’s Detektor-program. Resultatet har været pinligt for de forskere og organisationer, der har lavet undersøgelserne, mens medierne har fået ridser i troværdigheden. Journalisten præsenterer en guide til spørgeskemaundersøgelser. Den gode nyhed er, at du ikke behøver at være god til tal. Den dårlige nyhed er, at der bliver længere mellem de skarpe rubrikker som: “Danskerne mener, at…”
Fem spørgsmål til spørgeskemaet
Få undersøgelsen udleveret, og tjek derefter:
1. Hvem står bag undersøgelsen, og hvad er deres interesser?
2. Hvem er blevet spurgt, og hvordan er de udvalgt?
3. Hvordan er de blevet spurgt?
4. I hvilken rækkefølge er spørgsmålene blevet stillet?
5. Hvordan var de enkelte spørgsmål formuleret?
Hvem står bag undersøgelsen, og hvad er deres interesser?
Uanset om det er en forsker, et firma eller en interesseorganisation, der laver undersøgelsen, så er der en tanke bag. Mange organisationer har fundet ud af, at de kan komme i medierne med en undersøgelse. Forskere kan også have interesser i at komme på forsiden, som sagen med vuggestuerne viser. Det samme gælder, når for eksempel Cepos, Ældre Sagen eller DI har lavet en undersøgelse.
Hvem er blevet spurgt, og hvordan er de udvalgt?
Journalister har engang lært, at tusind respondenter, dem der udfylder et spørgeskema i en undersøgelse, er repræsentativt. Men mange er ikke lig med rigtigt. Få hundrede tilfældigt udvalgte respondenter siger mere end mange tusinde, der ikke er udvalgt tilfældigt.
“Ved en stikprøveundersøgelse udvælges et mindre antal individer fra en større population, hvorefter man søger at generalisere forhold i stikprøven til den samlede population. Det almindeligste eksempel er politiske meningsmålinger, hvor man på grundlag af en mindre stikprøve udtaler sig om hele vælgerbefolkningens holdninger.” Sådan definerer Den Store Danske – Gyldendals åbne encyklopædi repræsentativitet. Det vigtige er dog ikke kun antallet, men også om de faktisk er udvalgt tilfældigt, og det er de rigtige, man har spurgt. Selv om en undersøgelse er repræsentativ, så behøver resultaterne ikke at være rigtige.
Hvordan er de blevet spurgt?
Det har stor betydning for resultatet af en undersøgelse, hvordan dens data er blevet indsamlet. Den bedste metode er at lave interviewet per telefon eller ansigt til ansigt. Andre metoder er et spørgeskema på nettet, med et login, for at være sikker på, at det er de rigtige, der svarer. En af fejlene i vuggestueundersøgelsen var, at alle og enhver kunne udfylde det spørgeskema, som forskeren havde lagt på nettet. Mange bureauer har et panel af faste respondenter, der svarer på spørgeskemaer. Men det betyder, at respondenterne ikke er udvalgt tilfældigt, men selv har tilmeldt sig panelet. Ofte får de point og deltager i lodtrækninger som del af at være med i panelet. Det kan påvirke svarene. Undersøgelser, der er lavet via en hjemmeside med fri adgang, duer ikke til andet end at vise, at nogen har været inde på siden og besvare den. Alligevel bliver den slags netundersøgelser brugt som afsæt for journalistiske historier.

I hvilken rækkefølge er spørgsmålene blevet stillet?
En undersøgelse, som Gallup lavede for Europahuset, viste, at 41 procent gerne ville have mere EU-stof på tv. Da programmet Detektor senere fik lavet en undersøgelse med det samme spørgsmål, fik de et lavere resultat, nemlig 26 procent. Gallup havde i sin undersøgelse stillet 46 spørgsmål om EU, før de havde stillet spørgsmålet om mere EU på tv. Det kan påvirke de svar, respondenten giver.

Hvordan var de enkelte spørgsmål formuleret?
“Er du enig eller uenig i følgende udsagn? De stramme regler for asyl og familiesammenføring bør fastholdes. Kræfterne bør fremover bruges på bedre integration.
– Helt uenig
– Uenig
– Hverken enig eller uenig
– Enig
– Helt Enig
– Ved ikke/Vil ikke svare”

Et eksempel på, at der bliver stillet to spørgsmål i et. Respondenten ved ikke, hvad han svarer på – fastholde reglerne eller forbedre integrationen?
Der er mange af den slags fælder, der kan påvirke resultaterne. Ledende spørgsmål, ingen svarkategorier for negative svar etcetera.

Den bedste måde er at gennemgå spørgsmålene og teste, om du selv kan forstå dem.
Du skal også huske en vigtig pointe – det er ikke sikkert, at respondenterne har en holdning, før de bliver spurgt! Når vi har med mennesker at gøre, så har de fleste ikke en mening om designet af emballage til hudcreme eller krisen i Sydsudan. Spørgeskemaundersøgelser er ikke objektiv videnskab. De påvirkes af, hvordan vi som mennesker tænker, føler og bliver påvirket, i det øjeblik vi bliver spurgt.

Fakta, holdning og adfærd
Spørgeskemaer kan give svar på faktuelle spørgsmål som: “Hvor gammel er du?”, “Hvad er dit køn?”, “Hvor bor du?”, hvis respondenten svarer sandfærdigt, og vi er sikre på, at de forstår spørgsmålet. Når man spørger til respondentens holdning, bliver det sværere. Forstår de, hvad vi spørger dem om, og har de en holdning på forhånd?
Spørgsmål om adfærd er de sværeste at få reelle svar på. Vi kan ikke huske, hvor mange timer vi ser tv, er på internettet, eller hvor mange genstande vi drikker. Det handler ikke om, at respondenterne lyver, men at de husker forkert eller ubevidst gerne vil fremstå mere sunde eller kultiverede.

Ingen fri frokost
“Der er ikke noget, der hedder en fri frokost.” Det ordsprog er godt at huske, når du skal vurdere et spørgeskema. I marts var der i Berlingske en nyhed om, at danskerne er meget mere liberale end tidligere antaget. Hele 78 procent havde svaret, at ingen skal betale mere end halvdelen af det, de tjener, i skat. Mange forskere var overraskede over svaret, men det kunne også være et eksempel på en fri frokost. Skal den slags spørgsmål fungere, skal de følges op af en konsekvens. “Er du enig i, at ingen skal betale mere end halvdelen i skat, også selv om det betyder, at der skal skæres ned på pasningen af børn og gamle?”

Pålidelighed og gyldighed
Du skal være opmærksom på to begreber, når du skal vurdere en undersøgelse. Nemlig pålidelighed og gyldighed.

Pålidelighed handler om kvaliteten af de data, der er indsamlet. Har respondenterne for eksempel forstået spørgsmålene? For eksempel: “Hvor tilfreds er du med din hjemmehjælp?” Handler det om hjemmehjælperen som person, eller er det et spørgsmål om hjemmehjælpen generelt i kommunen?

Gyldighed handler om, at man undersøger det, man vil undersøge. Konklusioner på baggrund af en undersøgelse, som ikke er pålidelig, vil betyde, at den ikke er gyldig. Men en undersøgelse, der er pålidelig, behøver ikke at være gyldig. Berlingske lavede en undersøgelsen af kvaliteten af de studerende på universiteterne tidligere i år. På den baggrund skrev avisen: “Nyuddannede kandidater besidder ikke den samme faglighed som tidligere.” Det konkluderer artiklen efter at have spurgt 3.400 undervisere. Men undersøgelsen har problemer med gyldigheden. Den viser ikke, at de studerende er blevet dårligere de seneste 10 år, men at underviserne mener, at de er blevet dårligere!

Links til mere viden om undersøgelser

Om stikprøver og repræsentativitet:
http://www.update.dk/cfje/VidBase.nsf/VBTeksterAnalytiskHierarki/2.1.2.1.1.1.1.2
Om undersøgelser generelt:
http://www.en-undersoegelse-viser.dk/
Forkert brug af en web-undersøgelse:
http://maalgruppe.wordpress.com/2011/03/14/et-interessant-eksempel-pa-forkert-brug-af-netundersogelser/ s

Paul Metelmann har sammen med Henriette Lungholt skrevet bogen Hvem spiser boller i karry? En introduktion til samfundsvidenskabelig metode i teori og praksis. Udgivet af COK.

Få er bedre end mange
George Gallup (1901-1984) var pioner inden for kvantitative undersøgelser af offentlige meninger. Gennembruddet for Gallup kom i 1936, hvor hans nystartede firma havde lavet en stikprøvebaseret undersøgelse og havde spurgt 5.000 amerikanere, hvem de ville stemme på ved det næste amerikanske valg: Demokraternes Roosevelt eller republikanernes Alfred M. Landon.

De 5.000 adspurgte var statistisk repræsentative i forhold til den amerikanske befolkning. Samtidig havde magasinet The Literary Digest sendt over 10 millioner spørgeskemaer ud til bladets læsere for at undersøge valgets sandsynlige resultat. The Literary Digest havde dermed spurgt mange, mange flere mennesker og burde også få et langt sikrere resultat.

Deres undersøgelse viste med stor sikkerhed, at Alfred M. Landon ville blive USA’s næste præsident, mens Gallups “lille” undersøgelse på 5.000 mennesker viste, at Roosevelt ville blive genvalgt. Roosevelt vandt med sejr i alle stater undtagen Maine og Vermont.

Kilde: Hvem spiser boller i karry? En introduktion til samfundsvidenskabelig metode i teori og praksis. Henriette Lungholt og Paul Metelmann.

Journalisten nr. 7. 2012

Reklamer