MeasureCamp patří mezi naše nejoblíbenější konference. Letos jsme na jeho historicky druhé české mutaci uspořádali hned dvě diskuze. Honza Gol se věnoval algoritmům pro detekování problémů a Adam Šilhan zaměřil svoji pozornost na způsoby vyhodnocování retargetingu. Projděte si náš report!
MeasureCamp je nejspíš nejdůležitější akce pro lidi, kteří se pohybují kolem webové analytiky a obecně všechny, kterým není měření a vyhodnocování cizí. Původní formát pochází z Londýna a náš pražský se snaží, aby za ním v ničem nezaostával. Organizátoři letos zajistili rozsáhlé prostory Avastu na pražské Pankráci a dopřáli všem účastníkům komfortní zázemí včetně možnosti vyhřívat se na prosluněné terase.
Pod naším igloo se schovává hned několik analytických tučňáků, nemohli jsme proto 1. října chybět. Kromě možnosti obsadit část „sessionboardu“ a přihlásit si tím přednášku, či diskuzi, nás oba lákalo především vidět se opět s kolegy analytiky a vyměnit si s nimi zkušenosti.
Od algoritmů k alertům
Po otevření zápisu diskusí a přednášek jsme se s Adamem vrhli na přihlašovací kartičky a snažili se zabrat nejvýhodnější časy pro naše vlastní sessions. Mně se podařilo uzmout lukrativní čas v místnosti zasvěcené Avinashi Kaushikovi a Peterovi O’Neillovi.
Mým cílem bylo probrat s jinými datovými analytiky, jaké mají zkušenosti s algoritmy pro detekci extrémů v časových řadách (ideálně přímo v kampaních). Základním požadavkem přitom bylo, aby algoritmus odhaloval závažné problémy ideálně hned druhý den. Zároveň jsme však chtěli předejít příliš častému zasílání notifikačních e-mailů, protože jinak by naši milovaní marketéři ztratili chuť tyto e-maily sledovat.
Můj záměr věnovat se čistě algoritmům se mi ovšem nepovedl zrovna ideálně. Poměrně rychle jsme totiž přešli k alertům jako takovým, a strhla se diskuse o způsobu alertování a využití dashboardů v práci s hlídáním méně závažných problémů. Přesto to pro nás bylo přínosné a odnášíme si pár nápadů.
Roman Appeltauer se podělil o své zkušenosti s detekcí refferal spamu. Roman používá „scoring system“, který pomocí pevně daných metrik ohodnotí každý refferal a ty, co překročí určitou hranici, automaticky označí za spam. Když má skórující mechanismus navíc samoučící prvky, jeho přesnost se stále zvyšuje. Podobný mechanismus má samozřejmě širší použití a přemýšlíme, že bychom jej zakomponovali do další verze našeho systému „API výstrah“.
Hanka Kalivodová nám zase prozradila, jak v Etneteře pracují s detekcí výpadků měření. Staticky si nastaví počet spuštění, který je pro daný cíl obvyklý, a při jeho nedodržení se spouští automatické upozornění. Když počty spuštění moc neoscilují a je potřeba hlavně hlídat, aby nedošlo k výpadku, není dynamický přístup nejspíš potřeba. Navíc statický se výrazně jednodušeji nastavuje.
Vrhněte se na řízený experiment
Probírali jsme zejména situace, kdy přidáme novou retargetingovou platformu do celkového marketingového mixu a potřebujeme zjistit, zda se díky ní podařilo získat nové objednávky, či zda by vznikly tak jako tak. Ještě na předchozím pražském MeasureCampu jsem doporučoval řešit to čistě přes podíl na tržbách, které předtím celkově retargeting generoval a které přináší nyní.
Takový způsob ale řeší pouze parazitaci retargetingu mezi sebou a už ne to, jak může retargeting ovlivňovat ostatní marketingové kanály. Pokud je totiž agresivní, je velmi pravděpodobné, že větší množství uživatelů by objednávku dokončilo bez ohledu na retargeting, ovšem s atribucí předchozímu kanálu.
Extrémním příkladem je zobrazování retargetingové reklamy už v první čtvrt hodině po návštěvě stránky, kdy v jednom okně může mít zákazník otevřený nákup a v druhém současně probírat nákup na Facebooku.
S Pavlem Jaškem jsme se shodli na tom, že ideálním způsobem vyhodnocování je nejspíš řízený experiment, v němž se budeme dívat na vliv dané retargetingové platformy na celkové tržby. Napadl nás jak běžný geo experiment (rozdělit kraje nákupním chováním na poloviny a novou retargetingovou platformu spustit pouze pro jednu z nich), či produktový experiment (novou platformu spustit na polovinu kategorií, či rozdělit náhodně produkty do dvou skupin).
Experimenty nejsou bez vady a u každého z nich máme znesnadněné vyhodnocování. U geo experimentu jsou obtíže s nestejným vymezením lokality dle jednotlivých nástrojů a u produktového existuje větší problém se zobrazováním více produktů (jeden návštěvník si zobrazí produkty z A i B varianty testu). Nebudeme totiž vědět, do jaké míry jsou data ve skutečnosti párová. Je to však zatím nejlepší způsob, na který jsme narazili.
Z druhého ročníku pražského MeasureCampu si odvážíme spoustu postřehů z přednášek a rozhovorů, kterých jsme měli tu příležitost se účastnit. Já osobně potřebuji do příště zapracovat na vedení vlastní diskuse a získat z této skvělé akce ještě více praktických informací než letos.
Pokud jsme vás na MeasureCamp nalákali a zoufáte, že jste si nechali tak skvělou akci ujít, vězte, že není všem měřením konec. Nejbližší londýnský event bude již 25. března a proslýchá se, že toto nebyl poslední pražský ročník.
P.S.: Pokud vás napadne lepší způsob, jak vyhodnocovat retargeting, nebojte se nám ozvat (případně stačí i do diskuze ;-)).
