Teste A/B e Multivariado: Diferenças, Vantagens e Limitações

Arthur Magalhães

Teste A/B é um método de otimização de websites no qual são comparadas duas versões de uma mesma página. Funciona da seguinte forma: para uma parte dos visitantes do site é exibida a página A, e aos outros, a variação B desta página.

A interação dos usuários com ambas as páginas é mensurada e aquela que apresentar o melhor desempenho é considerada a vencedora.

Testes Multivariados (MVT) utilizam basicamente o mesmo mecanismo dos Testes A/B, entretanto, comparam um número maior de variáveis e revelam mais informações sobre como essas variáveis influem umas às outras.

Assim como no Teste A/B, são exibidas aos visitantes do website as diferentes combinações da página testada, porém, ao invés de definir uma versão A e uma B a serem exibidas, testa-se, por exemplo, todas as combinações possíveis para o botão de compra em 3 cores diferentes, com 4 opções de calls to action, 2 títulos para a página e 5 opções de planos de fundo (nesse exemplo seriam, portanto, 3x3x2x5 versões a serem testadas, ou seja, 90 diferentes versões).

As Vantagens do Teste A/B

AB-Testing

  • Testes A/B são mais simples de serem realizados;
  • Como o número de variações testadas é pequeno, não necessita de um grande volume de tráfego;
  • O resultado é obtido mais rapidamente devido ao número de variações testadas ser menor.
  • Pode também contemplar mudanças radicais no layout de uma página, e não apenas variações em elementos específicos dela.

As Vantagens do Teste Multivariado

  • Avalia não apenas os elementos isolados da página, mas como a combinação de todas as variações influi no resultado final;
  • Permite descobrir a variação de qual dos elementos da página possui maior impacto, positivo ou negativo, na interação dos usuários.

Conclusão

Testes A/B e Multivariados são complementares, e, dependendo da situação, cada um deles pode ser o mais adequado.

Entretanto, é importante ressaltar que testes A/B conseguem determinar uma variação vencedora mais rapidamente, o que pode torná-los vantajosos mesmo em um cenário no qual se deseja testar diversas combinações de vários elementos em uma mesma página.

Vamos supor que, por exemplo, deseja-se testar o botão de compra em 3 cores diferentes, com 4 opções de calls to action, 2 títulos para a página e 5 opções de planos de fundo. Em um teste multivariado, seriam 3x3x2x5 versões a serem testadas, ou seja, 90 no total. Em um teste A/B, poderíamos estabelecer um cronograma e testar cada um dos elementos separadamente e em sequência. Neste caso, seriam 3+3+2+5 versões a serem testadas, ou seja 13 diferentes versões, quase 7 vezes menos do que no teste multivariado.

Multivariado

Nesse caso, obviamente, não teríamos como avaliar a performance das diferentes combinações de elementos, e sim cada um deles separadamente, o que é uma limitação caso se tenha razões para acreditar que haja uma combinação ideal dos elementos, e não uma cor de botão ideal, um call to action ideal, e assim por diante.

Entretanto, em seu livro “A/B Testing: The Most Powerful Way to Turn Clicks Into Customers”, Dan Siroker ressalta que este raramente é o caso, e que, na maioria das situações, é mais vantajoso realizar uma série de testes A/B em sequência do que um teste multivariado.

Por outro lado, o teste multivariado é mais útil quando se acredita que haja uma combinação ideal dos elementos, bem como quando se deseja descobrir qual dos elementos do layout de uma página possui o maior impacto na interação dos usuários.

Esperamos que, a partir das informações aqui contidas, você compreenda melhor as diferenças, vantagens e limitações dos testes A/B e multivariados. Caso necessite de ajuda para implementar, analisar ou definir qual tipo de teste é o mais adequado para o seu caso, entre em contato com a dp6!

 

Arthur Magalhães

Meu tempo é hoje! Área:Digital Analytics Local:Rio de Janeiro Especialidade:Conhecimento especializado, visão ampla.

Arthur Magalhães

Author Arthur Magalhães

Meu tempo é hoje! Área:Digital Analytics Local:Rio de Janeiro Especialidade:Conhecimento especializado, visão ampla.

More posts by Arthur Magalhães

Leave a Reply