Lesk a bída atribucí

Adam Šilhan   17. 7. 2017


Jak vyhodnocujeme úspěšnost a proč si myslíme, že se od atribučních modelů očekává nesplnitelné? Přestaňte hledat svatý grál a začněte experimentovat. Anti-clickbait alert! První dva odstavce jsou stručný exkurz do historie atribučního modelování.

Historie atribuce v online marketingu

Před dávnými časy lidé začali přemýšlet, jakým způsobem prodat firmám reklamu na internetu. Netrvalo dlouho a přišli s revoluční novinkou. Na internetu zvládneme změřit, kolik reklama opravdu vydělá. Už žádné zbytečné plýtvání rozpočty! I zajásali všichni marketéři a online marketing začal vzkvétat. Teze vyhodnotitelnosti proto byla a stále zůstává hlavní mantrou online marketingu při vymezování vůči tradičnějším formám propagace.

Historicky byly všechny online analytické nástroje i reklamní systémy založeny na Single Source Attribution - veškeré zásluhy za úspěšné splnění cíle (většinou prodej) získá pouze jedna kampaň / jeden zdroj. V Google Analytics proto uvidíme jako zodpovědný za konverzi poslední zdroj návštěvy, ze kterého zákazník přišel. V reportu Skliku, kde chybí informaci o dalších kanálech, poté uvidíme jako původce nákupu poslední Sklik kampaň v cestě zákazníka.

Last click - původce všeho zla

Postupem času začali jak marketéři, tak klienti chápat, že situace je o něco složitější. Očekávat, že prodej nastal pouze díky poslednímu v řadě přístupů, nejspíš není úplně korektní popis reality.

Na druhou stranu dřív tento problém nebyl tak zásadní. Nákupní cesta zákazníka byla daleko kratší než dnes - na internetu nebylo tolik konkurence, zbožové srovnávače teprve začínaly, nebo o nich ještě nikdo neslyšel, a remarketing se používal ve svém původním významu. Last click realitu tolik nekřivil.

Atribuce a další vývoj

K Single Source brzy vznikly alternativy v podobě Fractional modelů. Ty na základě pevného pravidla rozpočítají vliv na výslednou konverzi mezi více zdrojů (lineárním, či jiným způsobem).

Nejnovějším přístupem jsou v poslední době Algorithmic / Probabilistic / Data-driven modely. Nevycházejí z pevně nastavených pravidel, ale průběžně se snaží dopočítávat, jak velký vliv má která kampaň na výsledném prodeji. Dva nejběžněji používané vycházejí z Shapleyho hodnoty známé z teorie her, či Markovových řetězců.

Shapley se snaží dopočítat, o kolik větší je celková hodnota (celkové tržby), pokud potenciální zákazníci přijdou i přes danou kampaň (nehledě na to, kde v cestě k nákupu byla). Markovovy řetězce počítají, jak se změní celková hodnota, pokud bude další přístup potenciálního zákazníka přes tuto kampaň.

Pro zjednodušený, ale hezký přehled doporučuji Pavlův článek.

RTB a data-driven modely

Používáte data-driven modely a už jste se setkali s tím, že sofistikovaný RTB remarketing (RTB House, Criteo) vychází nějak podezřele skvěle? Myšleno ještě lépe než last click skvěle.

Ono to není zase tak překvapivé. Jejich kódy na stránce totiž sbírají data o veškeré příchozí návštěvnosti a snaží se dopočítat pravděpodobnost, že daná cookie nakoupí. Čím větší pravděpodobnost, tím více se návštěvníkovi bude remarketing zobrazovat a snažit se dostat do nákupní cesty.

Na tento výpočet používají většinou také Shapleyeho, či Markovovy řetězce. Vyhodnocovat kampaně pomocí obdobného modelu, kterým optimalizují svoje zobrazování (co nejefektivnější parazitování na předchozích zdrojích návštěvnosti), je trochu chucpe.

Navážu na Pavla se sportovní metaforou. Pepiček je strašně špatný fotbalista, jako správný nerd však umí pracovat s jednoduchou statistikou her a průběžně zjišťuje, kteří hráči často vyhrávají. Při každém dalším rozřazování do týmu se tak snaží přidat k týmu s největší šancí na výhru. Na konci roku je díky své bilanci výher-proher vyhlášen nejlepším hráčem školy.

Základní ponaučení by mělo být: Nevěřte slepě tomu, co vám (jakýkoliv) atribuční model říká, a berte v potaz způsob, jakým daný kanál optimalizuje.

Ono to vůbec není o atribuci

Modely jsou stále lepší a přesnější, k nim mé výtky vůbec nesměřují. Čím dál častěji se ale setkávám s nepochopením toho, co má atribuce vůbec přinášet. Co mi na debatě o atribučních modelech vadí?

1. Sběr dat

V datových kruzích existuje krásné rčení „garbage in, garbage out“. Nehledě na to, jak skvěle sofistikovaný a přesný model máme, pokud do něj budeme cpát špatná data, výsledek nám k ničemu nebude.

V čem jsou data špatná v tomto případě? Naprosto zásadní bod je cross-device. Stále více se zvětšuje podíl zákazníků, kteří přistupují ke stránkám z více zařízení (ať již mobilů, pracovních počítačů, či jiných prohlížečů). Pokud nejste schopni tyto návštěvy spárovat, bude vám atribuční model počítat přesnou hodnotu, ale vždy jen na části cesty. Vzhledem k tomu, že lidé raději dokončují objednávku na počítači než na mobilu, kampaně cílené na mobily budou mít stále velmi nízkou hodnotu nehledě na atribuční model, který zvolíte.

Tvářit se, že používat last click je hloupé, protože nikdo nenakoupí během první návštěvy a přitom dodávat, že data-driven modely můžeme bez obav používat, protože nikdo nenakupuje skrz více zařízení / cookies, je dost pokrytecké.

2. Rozdílná funkce

Atribuční modelování spadá pod popisnou statistiku. To znamená, že nám říká pouze to, jaký vliv má která kampaň na výsledné prodeje v tomto konkrétním rozložení (pro definici viz třeba wikipedie). Sama o sobě nám ale neříká, jaké budou výsledky, pokud rozpočty přeskupíme. Lidé bohužel často zaměňují popisné nástroje za prediktivní a mylně usuzují, že podle atribuce mohou řídit kampaně.

Znamená to, že je atribuce k ničemu? Vůbec ne, jen od ní nesmíme chtít věci, na které není stavěna. Správný postup je na základě stávajících výsledků kampaní přijít s hypotézou (úpravou rozpočtů). Tu můžeme dále prozkoumat predikčním modelem (s hezkým predikčním modelem přišli třeba aLook analytics) a v závěru otestovat řízeným experimentem.

Jak vyhodnocovat

Závěr věnuji tomu, jak pracujeme s vyhodnocováním v igloonetu. Náš primární model, jímž začínáme a který nás provází většinou vyhodnocování, je last click. Už v druhé části článku ho rozbíjím tím, že last click dobře nepopisuje realitu, tak proč ho používáme?

Last click je naprosto šílené zjednodušení nákupního chování. To je premisa, z níž vycházíme a která nám sama o sobě dává dost informací, se kterými můžeme pracovat. Tím, že last click dává veškerou hodnotu na poslední zdroj návštěvy, bude drasticky nadhodnocovat zdroje na konci nákupního cyklu (produktové inzeráty, zbožové srovnávače, remarketing) a na druhou stranu podhodnocovat ty na jeho začátku (zájmově cílenou reklamu, obecné vyhledávací dotazy).

U každé kampaně musíme kriticky zhodnotit, v jaké fázi nákupního cyklu se nachází. Čím blíže ke konci, tím přísnější na ni máme last clickové ROAS požadavky. Například ve vyhledávání budou kampaně boty obecné mít cílové ROAS 200 % a vans authentic 600 %.

Jednou za čas (v závislosti na velikosti vzorku – rozpočtu) srovnáme last clickový popis výsledků s jinými atribučními modely. U kampaní, u kterých bude rozdíl větší, než jsme očekávali, by mělo být dalším krokem nastavení experimentu a případně korekce očekávání u dalších kampaní.

Největší přínos atribučních modelů vidím právě v tom, že otvírá oči. Nehledáme svatý grál – nástroj, který nám řekne, kolik přesně která kampaň vydělala, ale něco, co nám ukáže skrytý potenciál.

Co si o našem přístupu myslíte vy a jak k atribučnímu modelování, potažmo vyhodnocování přistupujete? Napište nám do diskuse.