Test A/B bayésien vs fréquentiste
Ces deux cadres statistiques répondent à des questions différentes sur votre test A/B. Ni l'un ni l'autre n'est universellement meilleur — le bon choix dépend de vos objectifs et contraintes.
L'approche fréquentiste
Le test fréquentiste est l'approche traditionnelle. Vous formulez une hypothèse nulle (« pas de différence »), collectez des données et calculez une valeur p.
La question posée :
« S'il n'y avait pas de différence réelle, quelle serait la probabilité d'observer des données aussi extrêmes ? »
Points forts
- Théorie bien établie avec des décennies de recherche
- Taux de faux positifs fixe (α) garanti si vous suivez le protocole
- Facile à pré-enregistrer : fixer la taille d'échantillon, lancer le test, analyser une seule fois
Limites
- Ne peut pas dire « il y a X % de chances que B soit meilleur » — seulement « nous rejetons/ne rejetons pas l'hypothèse nulle »
- La consultation des résultats invalide les garanties sans correction
- Nécessite une taille d'échantillon fixe déterminée à l'avance
L'approche bayésienne
Le test bayésien part d'une croyance a priori et la met à jour avec les données observées pour produire une distribution a posteriori.
La question posée :
« Étant donné les données observées, quelle est la probabilité que B soit meilleur que A ? »
Points forts
- Fournit des énoncés de probabilité directs (« 92 % de chances que B soit meilleur »)
- Gère naturellement la consultation des résultats — vous pouvez vérifier à tout moment
- Interprétation intuitive qui correspond à la façon dont les gens raisonnent
- Peut intégrer des connaissances préalables issues d'expériences antérieures
Limites
- Les résultats dépendent du prior — des priors différents donnent des réponses différentes
- Pas de garantie de taux de faux positifs fixe
- Peut être trop confiant avec de petits échantillons si le prior est trop fort
Comparaison côte à côte
| Aspect | Fréquentiste | Bayésien |
|---|---|---|
| Question centrale | La différence est-elle réelle ou du bruit aléatoire ? | Quelle est la probabilité que B batte A ? |
| Résultat principal | Valeur p et intervalle de confiance | Probabilité a posteriori et intervalle de crédibilité |
| Consultation des résultats | Gonfle les taux d'erreur sans correction | Sans risque — la probabilité se met à jour en continu |
| Taille d'échantillon | Doit être fixée avant le test | Flexible — on peut s'arrêter quand la probabilité est suffisante |
| Interprétation | « Nous rejetons l'hypothèse nulle à α = 0,05 » | « Il y a 96 % de chances que B soit meilleur que A » |
Quand utiliser lequel
Utilisez le fréquentiste quand :
- Vous avez besoin d'un contrôle garanti des faux positifs (par ex. contextes réglementaires)
- Vous pouvez vous engager sur une taille d'échantillon fixe et mener le test complet
- Vous souhaitez un cadre de décision simple oui/non
Utilisez le bayésien quand :
- Vous voulez connaître la probabilité qu'une variante gagne
- Vous devez surveiller les résultats en continu et arrêter plus tôt
- Vous menez de nombreux tests et souhaitez des rapports intuitifs pour vos parties prenantes
Utilisez le test séquentiel quand :
- Vous souhaitez les garanties fréquentistes mais devez consulter les résultats
- Vous voulez un arrêt anticipé avec des taux d'erreur contrôlés
Essayez les deux approches
Passez vos données dans le Calculateur de conversions pour un résultat fréquentiste et dans le Calculateur bayésien pour un résultat bayésien. Comparer les deux peut vous donner une vision plus complète de ce que disent vos données.