Det er interessant at selgeren fra Facebook ikke sjekker fakta, men baserer sitt innlegg på hva andre har sagt om vårt foredrag (jeg tror heller ikke Anders Mamen var tilstede på foredraget.) Jeg tror heller ikke Johan Kvist fra Facebook Nordic har tatt seg tid til å lese artikkelen som vi bygger foredraget på. Det er i alle fall mye som tyder på dette.

Artikkelen stiller spørsmål om hvor gode de vanligste statistiske observasjonsmetodene (basert på observasjon av «naturlige» data) er til å estimere den sanne effekt av reklame på salg (eller en annen variabel). De statistiske observasjonsmetodene forsøker å finne effekten av reklame ved å kontrollere for tredjevariabler, og de bruker ulike teknikker for å gjøre dette. Forskerne analyserte 15 kampanjer og i hver kampanje ble det gjennomført et randomisert eksperiment (RCT) slik at de fikk et mål på den sanne effekten. Hovedfunnet er at ingen av de statistiske observasjonsmetodene er gjennomgående gode for å finne tilbake til den sanne effekten. I hver kampanje fant man noen metoder som var relativt gode, men de samme metodene gjorde det dårlig i andre kampanjer. Det er også betydelige overvurderinger av reklamens effekt i disse statistiske metodene. Det er dette vi refererer til når vi sier «Feilvurdering av reklamens effekt.» Og fordi de fleste metoder overvurderer effekt av reklame på Facebook (og andre digitale kanaler med lignende algoritmer), er det belegg for påstanden om at mange annonsører har betalt for mye for den reklameeffekten de faktisk får.

At et randomisert eksperiment (RCT) er den beste metoden for å beregne effekt er allment kjent. Man får altså et nøyaktig svar på hvor stor effekt ett tiltak (ett reklamebudskap) har på en variabel (for eksempel salg) på et gitt tidspunkt. Man kan imidlertid ikke generalisere effekten til andre reklamebudskap eller andre tidspunkter. Andre reklamebudskap kan gi andre effekter. Og på et senere tidspunkt kan etterspørselen i markedet være større eller mindre (for eksempel sesong), og konkurrentene kan være mer eller mindre aktive. Videre er det ofte kostbart å gjennomføre randomiserte eksperimenter. Å kalle randomiserte eksperimenter for «gullstandard» gir derfor etter min mening litt feil signaler.

Det annonsører derfor bør gjøre er å kombinere statistiske observasjonsmetoder med randomiserte eksperimenter (RCT). Forskerne som står bak artikkelen (og andre miljøer) arbeider nå videre med å identifisere og utvikle statistiske observasjonsmetoder som gir riktige estimater på den faktiske effekten. Dette vil være kostnadseffektive metoder som annonsørene kan implementere i sitt analysesystem og som løpende beregner effekten av kampanjer som går i de ulike kanalene. Med jevne mellomrom bør modellene sjekkes og kalibreres med input fra randomiserte eksperimenter. Samtidig bør annonsørene løpende gjennomføre effektmålinger av andre markedstiltak som for eksempel åpning av flere butikker, kundeaviser, epost reklame til medlemmer i kundeklubb, med flere. På denne måten vil man gradvis utvikle nødvendig innsikt slik at man investerer i markedstiltak som gir effekt, og samtidig slutter å bruke penger på tiltak som ikke gir effekt på salg og merkebygging.

Det er viktig å understreke Facebook er aktiv pådriver av dette forskningsarbeidet. Som andre mediekanaler er de også opptatt av å kunne dokumentere effekt av mediekjøp.