Nie wiesz, czy klient szybciej zareaguje na „Serum znów dostępne”, czy na korzyść z jego użycia? Test A/B pozwala porównać wersje na rozdzielonych grupach odbiorców. Zmieniaj jedną rzecz, aby wynik dało się wyjaśnić.
Przygotuj porównanie
- W instalacji Web Push otwórz Testy A/B i utwórz test.
- Przygotuj wiadomość bazową oraz co najmniej dwa warianty. Nadaj im rozpoznawalne nazwy.
- Zmień tylko badany element, np. tytuł. Pozostaw tę samą ofertę i stronę docelową.
- Ustaw udział odbiorców w teście, wagi wariantów, kryterium wyboru i minimalną próbę.
- Sprawdź podsumowanie przed uruchomieniem. Start testu oznacza wysłanie wariantów do wybranej próby.
Daj testowi szansę coś pokazać
Odbiorcy próby otrzymują rozdzielone warianty. Wagi określają udział wariantów w próbie; równe wagi oznaczają równy podział. Mała liczba dostarczeń lub kliknięć może nie wystarczyć do wiarygodnej decyzji.
Nie ogłaszaj zwycięzcy po pierwszym kliknięciu. Sprawdź minimalną próbę i wymagany poziom pewności. Automatyczny wybór nie gwarantuje, że każdy test uzyska rozstrzygnięcie.
Przykład podziału odbiorców
Przy 1000 aktywnych zapisów i próbie 20% test obejmuje 200 zapisów. Dwa warianty z równymi wagami otrzymają po około 100. Pozostała grupa nie należy do tej pierwszej próby. To przykład podziału, nie gwarancja dostarczeń.
Minimalna liczba dostarczeń na wariant nie oznacza rozmiaru całej bazy. Jeśli próba jest mała albo część powiadomień nie dotrze, test może nie osiągnąć progu. Przy małej liście jedna zwykła kampania i jej ocena mogą być bardziej użyteczne niż wymuszanie zwycięzcy.
Po wyniku
Jeśli wysyłasz zwycięski wariant do pozostałych odbiorców, nie wysyłaj ponownie do całej listy osobnej kampanii. Osoby z próby nie powinny dostać drugiej wersji tylko dlatego, że test dobiegł końca.
Sprawdź wyniki i zapisz wniosek dotyczący testowanego elementu, nie ogólną obietnicę wyższej sprzedaży.
Jak odczytać pierwszy wynik
Wariant A ma jedno kliknięcie, lecz po trzy dostarczenia na wariant to za mało, aby uznać go za lepszy. W ustawieniach tego przykładu próg wynosi 100 dostarczeń na wariant, a automatyczny wybór jest wyłączony. Sprawdź próbę oraz kompletność danych, zanim zakończysz test i wybierzesz wersję.

