This post is also available in:
Automatyczne testy A/B umożliwiają jednoczesne przetestowanie większej liczby wariantów wiadomości w tej samej kampanii, przed wysłaniem zwycięskiego wariantu do reszty odbiorców. Zwycięski wariant, który jest oceniany po określonym czasie, przy użyciu określonych danych, zostanie wykorzystany w kolejnych uruchomieniach kampanii Flow.
Jeśli chcesz skorzystać z ręcznego testowania wiadomości A/B w dowolnej kampanii jednorazowej, użyj filtra klientów z podziałem odbiorców testu A/B. Zobacz ten artykuł, aby uzyskać więcej informacji.
Jak skonfigurować automatyczne testy A/B?
W pierwszej kolejności utwórz warianty, które będziesz testować. Każdy z klientów należących do grupy testowej, otrzyma jeden z wariantów. Gdy będzie już dostępny wynik testu, reszta kontaktów automatycznie otrzyma zwycięski wariant.
Na ten moment jedyną akcją, której możesz użyć jako follow-upa, jest Email.
Warianty:
- Każdy test może zawierać maksymalnie 10 wariantów.
- Każdy wariant powinien różnić się tylko jednym konkretnym testowanym atrybutem (np. w temacie wiadomości do testowania Open Rate), wszystkie pozostałe ustawienia akcji „Email” powinny być takie same. Dzięki temu, łatwiej będzie Ci określić, który atrybut ma największy wpływ na testowane metryki.
Okres testowy:
- Okres, w którym wyłaniany jest zwycięzca (na podstawie określonych wskaźników).
- Okres testowy zaczyna liczyć się od momentu, gdy klient trafi do testowanej grupy.
Jeśli wystąpi problem z szablonem wiadomości e-mail, newsletter może nie zostać wysłany. Sprawdź na przykład kupony i inne elementy specyficzne dla wybranego szablonu.
Rodzaje mierników oceny i ich przykłady
- Współczynnik dostarczalności (Delivery Rate): do testowania dostarczalności wysłanych wiadomości.
- Współczynnik otwarć (Open Rate): do testowania tematów wiadomości e-mail.
- Współczynnik klikalności (Click Rate): do testowania szablonów i klikalności.
- Wskaźnik rezygnacji (Unsubscribe Rate): w przypadku testowania rezygnacji z subskrypcji.
- Współczynnik konwersji / AOV / Przychody z wiadomości e-mail: do testowania konwersji.
Ocena automatycznego testu A/B
Zwycięski wariant jest wybierany na podstawie określonej metryki w okresie testowym. Jeśli w różnych wariantach wartość testu jest równa, to zostanie wybrany wariant losowy.
Po dokonaniu oceny, zwycięski wariant zostanie wysłany natychmiast (do zwycięskiej grupy z poprzednich cykli/przebiegów kampanii Flow). Wszystkie kolejne przebiegi kampanii Flow tą ścieżką, obejmą 100% całej grupy odbiorców.
Wyniki pokazują dane dla całego okresu testowego – nie ma więc możliwości, by użyć selektora dat, aby ustawić konkretną datę.
Kampania zostanie wysłana nawet jeśli w akcji „Aktywacja flow” nie zostanie wybrana data.
Należy pamiętać, że tylko w pełni dezaktywowana kampania Flow wyłącza również automatyczne testy A/B – archiwizacja kampanii nie ma wpływu na (dez)aktywację kampanii Flow.
Zaawansowane ustawienia automatycznych testów A/B
Zmiany w ustawieniach automatycznego testu A/B, gdy test jest nadal aktywny:
- Natychmiastowa ocena:
-
- Jeśli ustawisz ramy czasowe, które już minęły, zostaniesz o tym powiadomiony. Jeśli jednak pomimo tego zapiszesz kampanię, przeprowadzona zostanie natychmiastowa ocena automatycznego testu A/B.
- Resetowanie testu
-
- Jeśli chcesz dokonać ponownej oceny całego testu (i usunąć wszystkie zebrane wyniki), możesz użyć opcji resetowanie testu.
- Przy dokonaniu resetu, informacje o zwycięskich wariantach, czasie oceny i czasie rozpoczęcia testu, zostaną usunięte.
- Nie musisz tego używać, jeśli próbujesz tylko zmienić metryki oceny, ramy czasowe lub po prostu chcesz dodać kolejny wariant do testu. W takim przypadku uwzględnione zostaną wszystkie wcześniej zebrane dane.
- Ręczne odrzucenie wariantu
- Jeśli chcesz przedwcześnie odrzucić wynik określonego wariantu, musisz go całkowicie usunąć. Samo wyłączenie akcji Email nie wystarczy, ponieważ taki wariant i tak może wygrać test.
Jeśli chcesz przeprowadzić długoterminowe testy A/B (na przykład przez 60 dni), zalecamy skorzystanie z akcji „Podziel” (ręczne testy A/B).
Na podstawie powyższego przykładu możesz użyć akcji „Podziel” z 50:50 i utrzymać kampanię Flow aktywną przez 60 dni. Po tym czasie ręcznie określ, która wersja przyniosła najlepsze rezultaty. Na tej podstawie możesz utworzyć kolejne działania.
This post is also available in: