A/B testování a marketingová triangulace
Naturamed jsou skvělým a poměrně nezvyklým příkladem firmy, která se snaží být data-driven. AB testování pro ně není formalita (opravdu poctivě testují), ale zároveň nechtějí slepě věřit AB testing kalkulačkám. Zkrátka chtějí z marketingových dat vytěžit maximum. Proto jsme uspořádali workshop, kde jsme společně prošli jejich stávající postupy a na následném školení se zaměřili na statistické základy (důležitou, ale často opomíjenou část).
Získané poznatky jsme následně zahrnuli do celého procesu tak, aby byl srozumitelný. Začali jsme od základů v podobě předpokladů randomizovaného experimentu, a jak je omylem nerozbít, pokračovali přes sample ratio mismatch a guardrails, až po samotné vyhodnocení.
S igloonet jsme řešili pokročilé analýzy a statistiku, kdy jsme potřebovali partnera, který nám pomůže s tím, na co sami nestačíme. Začali jsme workshopem o A/B testech, díky kterému jsme upravili naše procesy a zrelevantnili naše výstupy. Dál jsme dělali další Marketing mix modeling, atribuční modelování a další věci, kterýma jsme se snažili najít další tajemství ukrytý v našich datech.
Aby v Naturamed využívali marketingová data efektivně, pracovali jsme spolu také na celé šíři marketingové triangulace. Stavěli jsme data-driven atribuci, testovali marketing mix modeling a větší kampaně vyhodnocovali pomocí geo experimentů.
Nicméně nejvíce s Naturamed řešíme již zmíněné AB testování. V poslední době zejména klasický problém, jak testovat v momentě, kdy není dostatek pozorování a AB test tak není vhodný. Připravili jsme proto metodologii k využití counterfactual přístupu (modelování kontrolní skupiny) u experimentů, kde nemají dostatek pozorování, aby mohli aplikovat klasický AB test.