Przejdź do treści
Dokumentacja
Strona główna DropUI
Tematy

Porównaj dwie wersje Web Push w teście A/B

Nie wiesz, czy klient szybciej zareaguje na „Serum znów dostępne”, czy na korzyść z jego użycia? Test A/B pozwala porównać wersje na rozdzielonych grupach odbiorców. Zmieniaj jedną rzecz, aby wynik dało się wyjaśnić.

Przygotuj porównanie

  1. W instalacji Web Push otwórz Testy A/B i utwórz test.
  2. Przygotuj wiadomość bazową oraz co najmniej dwa warianty. Nadaj im rozpoznawalne nazwy.
  3. Zmień tylko badany element, np. tytuł. Pozostaw tę samą ofertę i stronę docelową.
  4. Ustaw udział odbiorców w teście, wagi wariantów, kryterium wyboru i minimalną próbę.
  5. Sprawdź podsumowanie przed uruchomieniem. Start testu oznacza wysłanie wariantów do wybranej próby.
Dwa warianty tytułu w szkicu testu A/B; przykład nie zawiera wyników kampanii.

Daj testowi szansę coś pokazać

Odbiorcy próby otrzymują rozdzielone warianty. Wagi określają udział wariantów w próbie; równe wagi oznaczają równy podział. Mała liczba dostarczeń lub kliknięć może nie wystarczyć do wiarygodnej decyzji.

Nie ogłaszaj zwycięzcy po pierwszym kliknięciu. Sprawdź minimalną próbę i wymagany poziom pewności. Automatyczny wybór nie gwarantuje, że każdy test uzyska rozstrzygnięcie.

Przykład podziału odbiorców

Przy 1000 aktywnych zapisów i próbie 20% test obejmuje 200 zapisów. Dwa warianty z równymi wagami otrzymają po około 100. Pozostała grupa nie należy do tej pierwszej próby. To przykład podziału, nie gwarancja dostarczeń.

Minimalna liczba dostarczeń na wariant nie oznacza rozmiaru całej bazy. Jeśli próba jest mała albo część powiadomień nie dotrze, test może nie osiągnąć progu. Przy małej liście jedna zwykła kampania i jej ocena mogą być bardziej użyteczne niż wymuszanie zwycięzcy.

Ustawienia próby, kryterium i minimalnej liczby dostarczeń testu A/B.

Po wyniku

Jeśli wysyłasz zwycięski wariant do pozostałych odbiorców, nie wysyłaj ponownie do całej listy osobnej kampanii. Osoby z próby nie powinny dostać drugiej wersji tylko dlatego, że test dobiegł końca.

Sprawdź wyniki i zapisz wniosek dotyczący testowanego elementu, nie ogólną obietnicę wyższej sprzedaży.

Jak odczytać pierwszy wynik

Przykładowy test w trakcie: po 3 dostarczenia na wariant, jedno kliknięcie A i brak kliknięć B. Minimalna próba wynosi 100; zwycięzcy jeszcze nie wybrano. Dane demonstracyjne.

Wariant A ma jedno kliknięcie, lecz po trzy dostarczenia na wariant to za mało, aby uznać go za lepszy. W ustawieniach tego przykładu próg wynosi 100 dostarczeń na wariant, a automatyczny wybór jest wyłączony. Sprawdź próbę oraz kompletność danych, zanim zakończysz test i wybierzesz wersję.

Masz pytania po przeczytaniu artykułu?

Napisz do nas. Odpowiemy na pytania i bezpłatnie pomożemy Ci z konfiguracją.

Patryk Surmacz

Przejdę z Tobą przez ustawienia krok po kroku.