Ir para o conteúdo
Documentação
Página inicial do DropUI
Tópicos

Compare duas versões de Web Push com um teste A/B

Não sabe se “Seu sérum voltou” ou um título baseado no benefício funciona melhor? O teste A/B compara versões em grupos separados. Mude uma coisa para conseguir explicar o resultado.

Prepare a comparação

  1. Abra Testes A/B na instalação Web Push e crie um teste.
  2. Prepare a mensagem base e pelo menos duas variantes com nomes reconhecíveis.
  3. Altere apenas o elemento testado, como o título. Mantenha oferta e destino iguais.
  4. Defina parcela do público, pesos das variantes, critério de escolha e amostra mínima.
  5. Confira o resumo antes de iniciar. Iniciar o teste envia as variantes à amostra escolhida.
Duas variantes de título num rascunho A/B; o exemplo não contém resultados de campanha.

Deixe o teste reunir dados suficientes

A amostra recebe variantes separadas. Os pesos definem a parcela de cada uma; pesos iguais significam divisão igual. Poucas entregas ou cliques podem não sustentar uma decisão confiável.

Não declare uma vencedora no primeiro clique. Confira amostra mínima e confiança exigida. A escolha automática não garante resultado conclusivo em todo teste.

Exemplo de divisão do público

Com 1000 assinaturas ativas e uma amostra de 20%, entram 200 assinaturas no teste. Duas versões com pesos iguais recebem cerca de 100 cada. O grupo restante fica fora da amostra inicial. Isso ilustra a divisão, não garante entregas.

Mínimo de entregas por variante não é o tamanho da base inteira. Uma amostra pequena ou entregas malsucedidas podem impedir que o teste alcance o limite. Com uma lista pequena, avaliar uma campanha comum pode ser mais útil do que forçar um vencedor.

Configurações de amostra, métrica e mínimo de entregas do teste A/B.

Depois do resultado

Se enviar a vencedora aos restantes, não envie também uma campanha separada para a lista inteira. Quem participou da amostra não deve receber outra versão apenas porque o teste terminou.

Confira os resultados e registre uma conclusão sobre o elemento testado, não uma promessa geral de mais vendas.

Leia os primeiros resultados

Teste de demonstração em andamento: 3 entregas por variante, um clique em A e nenhum em B. A amostra mínima é 100; ainda não há vencedora.

A variante A tem um clique, mas três entregas por variante não bastam para considerá-la melhor. Este exemplo exige 100 entregas por variante e está com a escolha automática desativada. Confira a amostra e se os dados estão completos antes de encerrar o teste e escolher uma versão.

Ficou com dúvidas depois de ler este guia?

Fale com a gente. Vamos responder às suas dúvidas e ajudar na configuração, gratuitamente.

Patryk Surmacz

Vou orientar você nas configurações, passo a passo.