Noen ganger kommer det innsikt på bordet som gjør deg litt klokere. Andre ganger kommer det innsikt som gjør deg mest… forvirret. Og innimellom kommer det analyser som er så selvsikre, så konkluderende og så selektivt grundige, at du må stoppe opp og spørre: Hva i all verden er det vi leser her?

Vi i Anfo har nylig fått to slike rapporter i fanget. Begge fra Dentsu. Begge presentert som «metastudier». Den ene om radio. Den andre om Snapchat. Og det som slår oss – nesten litt med en fanfare – er at begge disse kanalene, hver for seg, fremstilles som nærmest overnaturlig effektive. Radio gir deg 15,5 (!!) kroner tilbake for hver investerte krone. Snapchat er den mest undervurderte salgsutløseren vi har. Print er best på langsiktig ROI. Kino er inkludert i en rapport og utelatt i en annen. «Sosial medier» ROI er kun Meta i en annen rapport. Alle mediene gir skyhøye ROI tall (i enkelte eksempler opp mot 38!). Og så videre.

Vi skjønner jo tegninga. Hver kanal får sin egen rapport. Hver rapport konkluderer med at denne kanalen er undervurdert og denne kanalen gir skyhøy ROI. Alt pakket pent inn i fine grafer, men helt uten å vise hvordan de faktisk har kommet frem til disse funnene.

For la oss bare si det rett ut: Dette er ikke metastudier. Dette er ikke innsikt. Dette er salgspitcher med data-støtte. Og det er helt greit å lage salgsmateriell – så lenge man ikke later som det er noe annet.

Det er for eksempel helt umulig å finne ut hva slags modellering som ligger bak disse analysene. Hvordan måles effekt? Hvordan skilles effekten av radio fra YouTube, fra TV, fra søk? Er det kontrollert for budsjettstørrelser? Målgrupper? Bransje? Hvor er metodikken? Hvor er usikkerhetsmarginene? Vi aner ikke. Men hei – vi får vite at radio er 30 prosent mer effektiv enn snittet og at Snap gir høyest salgsbidrag per eksponering.

Og det er her skoen virkelig trykker: Når man løfter frem én kanal av gangen som «den beste» – uten å diskutere helhet, kontekst, kampanjemål eller kanalstrategi – så lurer man medieselgere og annonsører. Ikke nødvendigvis med vond vilje, men det er like fullt villedende. Det blir som å si at en hammer er det beste verktøyet, uten å nevne hva du prøver å bygge. 

Vi trenger mer integritet i denne bransjen. Vi må tåle å sette spørsmålstegn ved analyser som bruker «ROI» som slagord, uten at vi får se verken regnestykket eller variablene. Og for ordens skyld: Ja, vi forstår at alle byråer ønsker å vise at kanalene de jobber med er effektive. Det skulle bare mangle. Men det får være måte på hvor mange kanaler som kan være «klart mest effektive» samtidig.

Det vi egentlig ønsker, er ikke å kritisere for å kritisere. Bygge tillit til analyse og effektmåling. Og da må vi begynne med å kalle ting ved sitt rette navn: En rapport som konkluderer med at både radio og Snapchat (og antagelig kino i neste runde) er overlegent best – uten å vise hvordan man har regnet seg frem til det – er ikke en metastudie. Det er markedsføring.

Og markedsføring av markedsføring er jo, ironisk nok, det vi alle jobber med. Men da bør vi i det minste være åpne om når det er det vi driver med.

Dette innlegget ble først publisert på Anfo sin nettside.