Automatické A/B testování

This post is also available in: Angličtina Polský

Funkce automatického A/B testu umožňuje nastavit větší množství variant Flow kampaně, které budou automaticky po zvoleném čase vyhodnoceny a dle zvolené metriky se vybere vítězná varianta, která je nadále jako jediná ve Flow kampani používána.

A/B testování

Pokud chcete využít možnosti manuálního A/B testování v jakékoli jednorázové kampani, využijte zákaznický filtr A/B test rozdělení publika. Vice informací naleznete v tomto článku.

Jak lze Automatické A/B testování nastavit?

Nejdříve nastavte varianty, které budete testovat. Každý ze zákazníků spadající do testovací skupiny obdrží jednu z variant. Zbytek databáze obdrží automaticky po vyhodnocení testu vítěznou variantu.

V rámci A/B testování lze v tuto chvíli využít pouze akci Email

Varianty

  • Může obsahovat maximálně 10 variant
  • Jednotlivé varianty by se měly lišit pouze v jednom konkrétním testovaném atributu (tedy například v předmětu emailu pro testování Open Rate), veškerá další nastavení akce „Email“ by měla být v rámci variant totožná. Budete díky tomu snadno zhodnotit, který testovaný atribut má skutečně na sledovanou metriku vliv.

Časový rámec:

    • Jedná se o období, po které proběhne vyhodnocení vítěze dle zvolené metriky.
    • Časový rámec se začíná počítat od okamžiku, kdy je nějaký zákazník přiřazen do hodnotících variant

Zkontrolujte obsah emailové šablony

V krajních případech nemusí před počátkem vyhodnocení A/B testování dojít k odeslání samotného emailu – těmito případy se myslí například nedostatek kupónů v kupónovém zásobníku. Zkontrolujte si tedy před nastavením, zda je po této stránce vše v pořádku.

Typy hodnotících metrik a příklady využití

  • Delivery rate: Pro testování doručitelnosti emailů
  • Open rate: Po testování předmětů emailů
  • Click rate: Pro testování šablony a prokliků skrze ní
  • Unsubscribe rate: Pro testování odhlašování z odběru newsletterů
  • Conversion rate / AOV / Revenue per email: Testování konverzí v rámci emailu

Vyhodnocení automatického A/B testu

Jako výsledek se vybere vítězná varianta podle nastavené metriky v rámci uplynutí časového rámce testování. Pokud je hodnota sledované metriky mezi vícero variantami totožná, pak se vybere náhodně jedna z vybraných variant.

Jakmile je vyhodnocení dokončeno, vítězná varianta se okamžitě rozešle (na vítěznou audienci z předchozích cyklů/běhů Flow kampaně). Veškeré následující běhy dané Flow kampaně již zahrnou do vyhodnocení automatického A/B testování 100% audience pro tuto vítěznou variantu.

V rámci výsledků automatického A/B testu jsou data agregována za celé období automatického A/B testu (zde tedy není obecné nastavení časového rozmení v kalendáři bráno v potaz).

Aktivace A/B testu

Odeslání proběhne i v den, kdy není nastaveno spuštění Flow kampaně v rámci nastavení „Aktivace Flow“.

Berte také, prosím, v potaz, že pouze zcela deaktivovaná Flow kampaň vypne i vyhodnocení AB testu – archivace kampaně nemá na běh Flow kampaně (a tedy ani na A/B testování) vliv.

 

Pokročilá práce s automatizací A/B testování

  • Změny v nastavení automatického A/B testování v případě aktivního testu:
    • Okamžité vyhodnocení
      • Pokud je nastaven časový rámec, který již měl dle časového určení uplynout, budete na tuto skutečnost upozorněni. Pokud kampaň i přesto uložíte, dojde k okamžitému vyhodnocení automatického A/B testu.
    • Reset testu
      • Pokud chcete začít vyhodnocovat test od začátku (a zahodit dosavadní výsledky jednotlivých variant), můžete využít Resetu testu.
      • Skrze tuto funkci se smaže informace o vítězných variantách, času vyhodnocení i času spuštění testu.
      • Toto nastavení není třeba využívat, pokud chcete například pouze změnit hodnotící metriku, časový rámec testu či chcete přidat další variantu. V takovém případě se budou do vyhodnocení započítávat i dosud nasbírané statistiky.
    • Ruční zamítnutí varianty
      • Pro předčasné zamítnutí některé z variant je třeba příslušnou variantu úplně odstranit. Nestačí např. jen vypnout aktivní odesílání u Email boxu, protože vyhrát může i přesto.
Dlouhodobé A/B testování

Pokud se rozhodnete pro dlouhodobější A/B testování (například v rámci 60ti dnů), doporučujeme Vám spíše využít akce „Split“ (tedy manuální A/B test).

V rámci příkladu výše tedy zakomponujete akci „Split“ s rozdělením 50:50 a Flow kampaň necháte aktivní po dobu 60 dnů. Po uplynutí této doby ručně vyhodnotíte, která ze dvou verzí přinesla lepší výsledky a pokračování kampaně na jejich základě dále upravíte.

This post is also available in: Angličtina Polský

Upraveno 7 března, 2022

Byl pro vás tento článek užitečný?

Mohlo by vás zajímat