Test A/B à 99 % de confiance et 90 % de puissance
Calculez le nombre de visiteurs pour un test très exigeant : confiance de 99 %, puissance de 90 %, gain de 30 % sur un taux de 8 %.
Par Jimenez Julien, éditeur de Petit Tirage · mis à jour le
- Taux visé avec la variante
- 10,4 %
- Visiteurs par variante
- 4 309
- Visiteurs au total (2 variantes)
- 8 618
- Budget d'achat de trafic
- 2 585,40 €
Formule classique de comparaison de deux proportions. Plus l'écart à détecter est petit, plus il faut de visiteurs : un petit site n'a parfois pas assez de trafic pour tester un détail.
Le cas en détail
Ce niveau d'exigence fait grimper l'échantillon : il faut presque deux fois plus de visiteurs que dans le cas standard à 95 % de confiance et 80 % de puissance. À réserver aux décisions importantes ou difficiles à défaire, car le trafic à acheter coûte d'autant plus cher.
À retenir : Ne choisissez le niveau le plus exigeant que si vous avez le trafic pour l'atteindre.
L'exemple chiffré
Valeurs utilisées dans ce cas (des exemples, pas des tarifs relevés) :
- Taux actuel de conversion (%) : 8
- Gain relatif à détecter (%) : 30
- Niveau de confiance : 99 %
- Puissance du test : 90 %
- Coût d'une visite en euros : 0,3
- Taux visé avec la variante
- 10,4 %
- Visiteurs par variante
- 4 309
- Visiteurs au total (2 variantes)
- 8 618
- Budget d'achat de trafic
- 2 585,40 €
Formule classique de comparaison de deux proportions. Plus l'écart à détecter est petit, plus il faut de visiteurs : un petit site n'a parfois pas assez de trafic pour tester un détail.
Modifiez les champs ci-dessus pour adapter le calcul à votre situation : le résultat se met à jour tout de suite.
Comment ça se calcule
On compare deux proportions : le taux actuel et le taux visé, qui est le taux actuel augmenté du gain relatif. Le nombre de visiteurs par variante est le carré de la somme des deux coefficients de confiance et de puissance, multiplié par la somme des variances des deux taux et divisé par le carré de leur écart. Le budget est le total de visiteurs multiplié par le coût d'une visite.
Les résultats sont fournis à titre indicatif, sans valeur de conseil juridique, fiscal ou financier.