Ferramenta
Amostra para Testes A/B
Antes de declarar que uma versão é melhor, garante que tens dados suficientes. Descobre quantos visitantes precisas para o resultado não ser sorte.
Dados do teste
A CVR da versão que já tens (o controlo)
Uplift relativo que queres conseguir provar. 20% = passar de 3% para 3,6%
Tráfego total diário nas duas versões, para estimar a duração
Resultado
Amostra por variante
13 911
visitantes em cada versão (A e B)
Total do teste
27 822
A + B somados
Duração estimada
·
adiciona visitas/dia
Precisas de 13 911 visitantes por versão para confiar que uma diferença é real e não sorte. Correr o teste antes disto é a forma mais comum de tirar conclusões erradas.
O erro que quase toda a gente comete
Correr um teste durante 3 dias, ver a versão B à frente e desligar a A. Na maioria das vezes, essa vantagem desaparece com mais dados, era ruído. Trocaste o que funcionava por nada.
A regra: define a amostra necessária antes de começar, deixa o teste correr até lá e só depois decides. Sem espreitar todos os dias à procura de um vencedor precoce.
Perguntas frequentes
+Porque é que preciso de calcular a amostra antes do teste?
Porque sem amostra suficiente qualquer diferença pode ser sorte. É a razão número um pela qual as pessoas mudam anúncios ou landing pages com base em ruído e depois pioram os resultados. Saber quantas conversões precisas evita decisões erradas.
+O que é o 'nível de confiança' e o 'poder'?
Confiança (tipicamente 95%) é a probabilidade de não gritares vitória por engano quando não há diferença nenhuma. Poder (tipicamente 80%) é a probabilidade de detetares uma diferença real quando ela existe. Quanto mais exigente, maior a amostra necessária.
+O que meto na 'melhoria mínima a detetar'?
O uplift relativo mais pequeno que faria valer a pena mudar. Se a tua CVR é 3% e só te interessa agir a partir de +20%, metes 20% (o alvo passa a ser 3,6%). Melhorias mais pequenas exigem amostras muito maiores para se provarem.
+Serve para testes de anúncios ou só de landing pages?
Serve para qualquer teste de conversão com duas variantes: criativos de anúncios, títulos, landing pages, botões, ofertas. A matemática é a mesma. Para testes dentro da Meta ou do Google, usa isto para saber quanto tempo deixar o teste correr antes de decidir.
Queres uma segunda opinião sobre os teus testes?
Faço auditorias gratuitas de contas Google Ads e Meta Ads em 24h.
Exemplo prático
O teste que ias fazer e não devias
Exemplo: página com conversão de 2%, queres detetar um uplift mínimo de 20% (de 2,0% para 2,4%) com 95% de significância e 80% de poder. A calculadora devolve ~8.000 visitantes por variante, 16.000 no total. Com 2.500 visitas/mês, são 6+ meses de teste: inviável, o mercado muda antes de teres resposta.
As saídas honestas: testar mudanças maiores (um uplift esperado de 50% precisa de muito menos amostra), testar mais acima no funil onde há volume (CTR de anúncios), ou aceitar decidir por julgamento informado em vez de fingir rigor estatístico que os dados não suportam.
Erros que vejo em contas reais
- • Parar o teste ao terceiro dia porque 'já há vencedor': com amostras pequenas, o vencedor troca de lugar.
- • Testar 5 coisas ao mesmo tempo e não saber o que causou a diferença.
- • Ignorar sazonalidade: um teste que apanha o dia de pagamento de um lado e não do outro está viciado.