This post is also available in:
Funkce automatického A/B testu umožňuje nastavit větší množství variant Flow kampaně, které budou automaticky po zvoleném čase vyhodnoceny a dle zvolené metriky se vybere vítězná varianta, která je nadále jako jediná ve Flow kampani používána.
Pokud chcete využít možnosti manuálního A/B testování v jakékoli jednorázové kampani, využijte zákaznický filtr A/B test rozdělení publika. Vice informací naleznete v tomto článku.
Jak lze Automatické A/B testování nastavit?
Nejdříve nastavte varianty, které budete testovat. Každý ze zákazníků spadající do testovací skupiny obdrží jednu z variant. Zbytek databáze obdrží automaticky po vyhodnocení testu vítěznou variantu.
V rámci A/B testování lze v tuto chvíli využít pouze akci Email.
Varianty
- Může obsahovat maximálně 10 variant
- Jednotlivé varianty by se měly lišit pouze v jednom konkrétním testovaném atributu (tedy například v předmětu emailu pro testování Open Rate), veškerá další nastavení akce „Email“ by měla být v rámci variant totožná. Budete díky tomu snadno zhodnotit, který testovaný atribut má skutečně na sledovanou metriku vliv.
Časový rámec:
-
- Jedná se o období, po které proběhne vyhodnocení vítěze dle zvolené metriky.
- Časový rámec se začíná počítat od okamžiku, kdy je nějaký zákazník přiřazen do hodnotících variant
V krajních případech nemusí před počátkem vyhodnocení A/B testování dojít k odeslání samotného emailu – těmito případy se myslí například nedostatek kupónů v kupónovém zásobníku. Zkontrolujte si tedy před nastavením, zda je po této stránce vše v pořádku.
Typy hodnotících metrik a příklady využití
- Delivery rate: Pro testování doručitelnosti emailů
- Open rate: Po testování předmětů emailů
- Click rate: Pro testování šablony a prokliků skrze ní
- Unsubscribe rate: Pro testování odhlašování z odběru newsletterů
- Conversion rate / AOV / Revenue per email: Testování konverzí v rámci emailu
Vyhodnocení automatického A/B testu
Jako výsledek se vybere vítězná varianta podle nastavené metriky v rámci uplynutí časového rámce testování. Pokud je hodnota sledované metriky mezi vícero variantami totožná, pak se vybere náhodně jedna z vybraných variant.
Jakmile je vyhodnocení dokončeno, vítězná varianta se okamžitě rozešle (na vítěznou audienci z předchozích cyklů/běhů Flow kampaně). Veškeré následující běhy dané Flow kampaně již zahrnou do vyhodnocení automatického A/B testování 100% audience pro tuto vítěznou variantu.
V rámci výsledků automatického A/B testu jsou data agregována za celé období automatického A/B testu (zde tedy není obecné nastavení časového rozmení v kalendáři bráno v potaz).
Odeslání proběhne i v den, kdy není nastaveno spuštění Flow kampaně v rámci nastavení „Aktivace Flow“.
Berte také, prosím, v potaz, že pouze zcela deaktivovaná Flow kampaň vypne i vyhodnocení AB testu – archivace kampaně nemá na běh Flow kampaně (a tedy ani na A/B testování) vliv.
Pokročilá práce s automatizací A/B testování
- Změny v nastavení automatického A/B testování v případě aktivního testu:
- Okamžité vyhodnocení
- Pokud je nastaven časový rámec, který již měl dle časového určení uplynout, budete na tuto skutečnost upozorněni. Pokud kampaň i přesto uložíte, dojde k okamžitému vyhodnocení automatického A/B testu.
- Reset testu
- Pokud chcete začít vyhodnocovat test od začátku (a zahodit dosavadní výsledky jednotlivých variant), můžete využít Resetu testu.
- Skrze tuto funkci se smaže informace o vítězných variantách, času vyhodnocení i času spuštění testu.
- Toto nastavení není třeba využívat, pokud chcete například pouze změnit hodnotící metriku, časový rámec testu či chcete přidat další variantu. V takovém případě se budou do vyhodnocení započítávat i dosud nasbírané statistiky.
- Ruční zamítnutí varianty
- Pro předčasné zamítnutí některé z variant je třeba příslušnou variantu úplně odstranit. Nestačí např. jen vypnout aktivní odesílání u Email boxu, protože vyhrát může i přesto.
- Okamžité vyhodnocení
Pokud se rozhodnete pro dlouhodobější A/B testování (například v rámci 60ti dnů), doporučujeme Vám spíše využít akce „Split“ (tedy manuální A/B test).
V rámci příkladu výše tedy zakomponujete akci „Split“ s rozdělením 50:50 a Flow kampaň necháte aktivní po dobu 60 dnů. Po uplynutí této doby ručně vyhodnotíte, která ze dvou verzí přinesla lepší výsledky a pokračování kampaně na jejich základě dále upravíte.
This post is also available in: