I et innlegg på Kampanje 6. november skriver Christian Bø fra Mindshare at kontrollstudier er ute av kontroll. Poenget hans er at kontrollstudiene ikke har god nok kvalitet. Derfor mener Bø at de har liten verdi.

Bø har rett i at det er problemer med kvaliteten på mange effektstudier. Årsaken til problemene er ikke at de bruker eksperiment som metode, men at eksperimentene gjennomføres feil. Bø står i fare for å kaste barnet ut med badevannet når han kritiserer metoden. Det synes vi er synd.

Vi mener at eksperiment er gullstandard for effektstudier. Grunnen er at eksperimentet er den eneste metoden som faktisk kan avdekke en årsakssammenheng, også omtalt som kausalitet.

For at eksperimentet faktisk skal avdekke kausalitet, må følgende forhold være tilstede:

  • Det skal være tilfeldig hvem som er i kontrollgruppen og eksperimentgruppen. Dette sikrer at gruppene blir like
  • Den eneste forskjellen mellom gruppene er at den ene får se en annonse (stimuli) og den andre gruppen får se en annen annonse ikke er relevant. Kall det gjerne placebo-annonse.
  • Vi måler og sammenligner forskjell i effekt mellom de to gruppene. Hvis vi finner en signifikant forskjell kan vi være sikre på at dette skyldes annonsen, og ikke andre forhold.

Det virker som om de som gjennomfører effektstudier med eksperimentmetode, bommer på at kontrollgruppen og eksperimentgruppen ikke er like. For hvis du har kjøpt en målgruppe for programmatisk annonsering, er det ikke tilfeldig hvem som er i kontrollgruppen og eksperimentgruppen.

En studie om effekten av digital reklame på Facebook (Gordon et al, 2018) ble nylig presentert av Fred Selnes med flere på BI. De fant at Facebook overdrev effekten av egne annonser fordi gruppene ikke var like. Det er nok ikke bare Facebook som overdriver effekten av egen annonsering.

Når vi måler effekt av reklame, er eksperiment den beste metoden. For at konklusjonen av effektstudien skal blir riktig, må vi gjennomføre eksperiment av god kvalitet.