Fra studien «A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook», der Facebook er medforfatter, løfter Fred Selnes på BI kritikk mot at Facebook overdriver effekten av annonsering på plattformen. Studien sammenligner et stort antall, i markedet vanlige, metoder for å måle effekten av markedsføring. Samtlige metoder vurderes mot gullstandarden for effektmåling: Randomiserte kontrollstudier, også kalt RCT.

Hva Fred Selnes ser ut til å ha oversett er at metoden vi i Facebook bruker i våre brand lift-studier nettopp er RCT, altså gullstandarden for effektmåling av annonsering (samme metode vi også bruker i våre conversion liftstudier).

Årsaken til at vår metode kan brukes som standard, er at vi oppfyller de tre kravene for å måle kausalitet, akkurat som Anders M. Mamen, høyskolelektor ved Institutt for markedsføring ved Høyskolen Kristiania beskriver:

  1. Det skal være tilfeldig hvem som er i kontrollgruppen og eksperimentgruppen. Dette sikrer at gruppene blir like.
  2. Den eneste forskjellen mellom gruppene er at den ene får se en annonse (stimuli) og den andre gruppen får se en annen annonse som ikke er relevant.
  3. Vi måler og sammenligner forskjell i effekt mellom de to gruppene. Hvis vi finner en signifikant forskjell, kan vi være sikre på at dette skyldes annonsen, og ikke andre forhold.

Facebook sine brand lift-studier fungerer på den måten at vi 1) skaper fullstendig randomiserte test- og kontrollgrupper som balanseres på mange ulike dimensjoner (f. eks. demografi) for å sikre at gruppene er sammenlignbare. Dette kan vi gjøre siden vi vet hvem alle Facebook-brukere er via innlogging, og at vi deretter kan følge brukerne over samtlige enheter de bruker. Vi har 500 respondenter i hver gruppe. 2) Test-gruppen blir vist en annonse på Facebook, mens kontrollgruppen ikke får se annonsen - de får i stedet se en annen annonse. Et viktig poeng her er at brukerne i begge gruppene har kvalifisert seg for å få se annonsen, men at annonsen stoppes i siste sekund for kontrollgruppen. Dette sikrer at kontrollgruppen er fullt ut sammenlignbar med testgruppen på alle måter utenom én: hvorvidt de har sett annonsen eller ikke. 3) Vi stiller de samme spørsmålene til test- og kontrollgruppen, og sammenligner senere svarene for å se om testgruppen viser en statistisk signifikant forskjell sammenlignet med kontrollgruppen. Da kan vi avgjøre om annonsen har hatt noen effekt, og hvor stor denne effekten er.

Vi i Facebook er helt enig med Anders M. Mamen i hvordan effekt av annonsering bør måles. Det finnes mange måter å måle effekt av annonsering som i dag ikke oppfyller disse kravene, og der annonsører bør være forsiktige med å tolke resultatene. Mange av disse metodene overdriver nemlig effekten av annonseringen.

Facebooks metode bruker derimot gullstandarden for hvordan effekt bør måles, og det er synd at en misforståelse fra Selnes fører til forvirring i bransjen.