Um teste pode revelar mais conversões e, ao mesmo tempo, aumentar os erros, os pedidos de apoio ou o tempo necessário para concluir uma tarefa. O indicador principal parece favorável, mas o custo para os utilizadores ou para a operação levanta uma dúvida legítima: deve lançar, alterar ou parar?
A decisão não consiste em escolher a métrica que melhor sustenta uma preferência prévia. Consiste em comparar o resultado com uma hipótese, considerar a qualidade da evidência e determinar quais os riscos aceitáveis. Este enquadramento ajuda a decidir como avaliar o resultado de uma experiência de produto sem o reduzir a um único número nem transformar cada divergência numa razão para prolongar indefinidamente o teste.
Porque não basta uma métrica principal favorável
A métrica principal representa o resultado que a intervenção pretende alterar: por exemplo, concluir uma compra, ativar uma conta ou marcar uma consulta. É importante porque torna explícito o objetivo. Mas um aumento nesse resultado não demonstra, por si só, que a alteração seja globalmente vantajosa.
Uma melhoria aparente pode vir acompanhada de mais cancelamentos, erros de pagamento, contactos com o apoio ao cliente ou desistências numa tarefa posterior. Também pode deslocar a atividade entre etapas sem melhorar o resultado final. Um novo ecrã, por exemplo, pode aumentar os cliques em «continuar», mas não necessariamente as compras concluídas.
Por isso, é útil separar três perguntas:
- O resultado pretendido mudou? A métrica principal responde à hipótese imediata.
- A alteração causou danos relevantes? As métricas de proteção revelam custos ou deteriorações importantes.
- A evidência permite atribuir a mudança à alteração? A qualidade da instrumentação, da distribuição e do período observado condiciona a interpretação.
Um resultado favorável à primeira pergunta não responde automaticamente às outras duas. Uma alteração só deve avançar se o benefício for suficientemente credível e os custos se mantiverem dentro de limites aceitáveis.
Antes do teste: definir a hipótese e os critérios de decisão
Antes de iniciar o teste, escreva o que vai mudar, para quem e por que razão se espera que isso produza um resultado. A hipótese deve descrever uma relação que possa ser testada, não uma solução que já se considera correta. Por exemplo: «Simplificar esta etapa reduzirá a desistência de novos utilizadores porque elimina um pedido de informação de que não precisam naquele momento».
Defina também a população elegível, o resultado principal e o período ou volume necessário para avaliar o teste. A duração não deve ser escolhida apenas porque surgiram números apelativos nos primeiros dias. Tenha em conta ciclos de utilização relevantes, sazonalidade conhecida e o tempo necessário para surgirem efeitos posteriores, como devoluções ou pedidos de apoio.
Antes de observar os resultados, acorde quais são as decisões possíveis e que sinais as desencadeariam. Não é necessário fingir que tudo pode ser resumido num único limiar estatístico. É necessário distinguir entre:
- Condições para avançar: benefício suficientemente convincente, sem deterioração inaceitável nas métricas de proteção.
- Condições para parar: dano claro, incumprimento operacional ou risco que a melhoria não justifica.
- Condições para investigar ou iterar: resultado incerto, problema corrigível ou dados insuficientes para uma conclusão fiável.
Defina os limites de acordo com o contexto. Uma pequena descida numa métrica secundária pode ser tolerável se o impacto for reversível e o benefício relevante; um aumento de erros que impeça a conclusão de uma tarefa essencial pode exigir uma pausa, mesmo que as conversões aumentem. Os limites devem refletir as consequências para os utilizadores e para a empresa, não apenas a conveniência estatística.
Que métricas de proteção observar e como definir alertas
As métricas de proteção, também chamadas métricas de salvaguarda, acompanham efeitos que a intervenção não deve piorar de forma significativa. A seleção depende da alteração. Um ajuste no registo pode exigir a observação de erros, da ativação posterior e dos contactos com o apoio. Uma alteração no processo de compra pode exigir a análise de pagamentos falhados, cancelamentos, devoluções e tempos de atendimento.
Escolha poucas métricas que representem riscos concretos e possam ser medidas com fiabilidade. Acrescentar dezenas de indicadores torna mais difícil distinguir um sinal importante de uma oscilação casual. Para cada métrica, documente:
- que dano ou custo procura detetar e a que população se aplica;
- qual é o nível habitual e como é calculado, incluindo o denominador e o intervalo temporal;
- que deterioração seria preocupante e que ação desencadearia;
- se os dados chegam com atraso ou podem ser afetados por falhas de instrumentação.
Um limiar de alerta não é necessariamente uma prova estatística definitiva. Pode ser uma regra operacional para pausar e analisar, sobretudo quando o possível dano é grave. Se um alerta for acionado, confirme primeiro se a medição funciona e se a comparação é válida; não ignore o risco enquanto espera por uma conclusão perfeita.
Interpretar sinais contraditórios sem escolher o número conveniente
Quando as métricas divergem, não as faça uma média nem escolha a posteriori aquela que favorece a opção preferida. Analise a cadeia causal esperada: a alteração mexeu na etapa prevista? O efeito mantém-se no resultado posterior? A métrica secundária representa um custo direto, uma consequência passageira ou um indicador que não traduz um dano real?
Verifique também a qualidade dos dados. Confirme se a distribuição pelas variantes funcionou, se os eventos foram registados de forma consistente e se as duas populações são comparáveis. Analise se houve alterações simultâneas, interrupções ou campanhas que tenham influenciado o comportamento. Se a medição estiver comprometida, o resultado não é «positivo» nem «negativo»: é inconclusivo até a limitação ser resolvida.
Distinga a dimensão do efeito do grau de certeza. Uma alteração pequena, mas consistente, pode ter valor se afetar muitas interações; uma alteração grande baseada em poucos dados pode ser frágil. Não confunda a falta de evidência de dano com evidência de que o dano não existe, sobretudo no caso de consequências tardias ou pouco frequentes.
Quando o resultado principal melhora e uma métrica de proteção piora, pergunte se a deterioração ultrapassa o limite definido, se é relevante para as pessoas afetadas e se existe uma explicação verificável. Se o custo for aceitável e estiver dentro do limite, pode fazer sentido avançar com acompanhamento. Se ultrapassar um limite importante, a melhoria principal não o compensa automaticamente.
Lançar, iterar, prolongar ou parar
Lançar é razoável quando a evidência sustenta o objetivo, não há sinais de dano fora dos limites acordados e a operação consegue manter a alteração. O lançamento pode ser gradual, com acompanhamento e capacidade para reverter; não tem de abranger imediatamente toda a população.
Iterar quando a hipótese continua a ser plausível, mas os resultados apontam para um problema concreto que pode ser corrigido. Por exemplo, o fluxo simplificado pode funcionar, enquanto uma instrução ambígua gera pedidos de apoio. Formule uma hipótese revista e, sempre que possível, teste a nova alteração separadamente para identificar o que produziu o resultado.
Prolongar apenas se faltarem informações relevantes e for possível obtê-las através de um teste válido. Antes disso, especifique que incerteza será resolvida, que dados adicionais poderiam mudar a decisão e quando a avaliação será retomada. Se nada do que vier a observar alterar a escolha, prolongar apenas acrescenta custos e oportunidades para uma seleção enviesada.
Parar se surgir um dano que ultrapasse o limite, se a alteração falhar numa tarefa essencial ou se a hipótese perder força sem existir uma forma razoável de a corrigir. Parar uma variante não invalida o que se aprendeu: pode revelar uma restrição de conceção ou uma necessidade operacional que convém abordar de outra forma.
Segmentos diferentes e decisões reversíveis
Um resultado médio pode ocultar diferenças entre grupos. No entanto, não transforme qualquer diferença observada numa política de segmentação: ao analisar muitos grupos, aumenta a probabilidade de encontrar variações casuais. Dê mais importância aos segmentos definidos antes do teste, com uma justificação clara e informação suficiente para os interpretar.
Antes de agir, confirme se a diferença é consistente, relevante e explicável. Se os novos utilizadores parecerem beneficiar e os utilizadores habituais piorarem, uma opção pode ser criar uma experiência diferente consoante o contexto, mas apenas se for possível implementá-la, medi-la e mantê-la sem gerar confusão ou custos desproporcionados. Quando a evidência é fraca, registe o sinal como hipótese para um teste futuro, não como conclusão.
Por fim, registe a decisão: hipótese, população, período, métricas, alertas, resultado, incertezas e responsável pelo acompanhamento. Especifique que novo sinal justificaria revê-la e como a alteração seria revertida. Uma decisão reversível e documentada não elimina o risco, mas permite agir com critério, aprender com os efeitos reais e corrigir o rumo sem confundir uma métrica favorável com uma aprovação automática.