Test A/B à 90 % de confiance
Calculez le nombre de visiteurs pour un gain de 30 % sur un taux de 8 % en acceptant une confiance de 90 % au lieu de 95 %.
Par Jimenez Julien, éditeur de Petit Tirage · mis à jour le
- Taux visé avec la variante
- 10,4 %
- Visiteurs par variante
- 1 791
- Visiteurs au total (2 variantes)
- 3 582
- Budget d'achat de trafic
- 1 074,60 €
Formule classique de comparaison de deux proportions. Plus l'écart à détecter est petit, plus il faut de visiteurs : un petit site n'a parfois pas assez de trafic pour tester un détail.
Le cas en détail
Baisser le niveau de confiance réduit un peu le nombre de visiteurs, mais augmente le risque de croire à un écart qui n'existe pas. C'est un compromis que chacun peut décider selon l'enjeu de la décision à prendre.
À retenir : Pour une décision peu coûteuse et réversible, 90 % peut suffire ; pour un engagement de budget, restez à 95 % ou plus.
L'exemple chiffré
Valeurs utilisées dans ce cas (des exemples, pas des tarifs relevés) :
- Taux actuel de conversion (%) : 8
- Gain relatif à détecter (%) : 30
- Niveau de confiance : 90 %
- Puissance du test : 80 %
- Coût d'une visite en euros : 0,3
- Taux visé avec la variante
- 10,4 %
- Visiteurs par variante
- 1 791
- Visiteurs au total (2 variantes)
- 3 582
- Budget d'achat de trafic
- 1 074,60 €
Formule classique de comparaison de deux proportions. Plus l'écart à détecter est petit, plus il faut de visiteurs : un petit site n'a parfois pas assez de trafic pour tester un détail.
Modifiez les champs ci-dessus pour adapter le calcul à votre situation : le résultat se met à jour tout de suite.
Comment ça se calcule
On compare deux proportions : le taux actuel et le taux visé, qui est le taux actuel augmenté du gain relatif. Le nombre de visiteurs par variante est le carré de la somme des deux coefficients de confiance et de puissance, multiplié par la somme des variances des deux taux et divisé par le carré de leur écart. Le budget est le total de visiteurs multiplié par le coût d'une visite.
Les résultats sont fournis à titre indicatif, sans valeur de conseil juridique, fiscal ou financier.