Concepteur de tests A/B

Q: À partir de combien de clics ou de conversions un test A/B a-t-il vraiment un sens ?

Tout dépend de votre taux de conversion actuel et de l'amélioration minimale que vous voulez détecter (le fameux MDE). Avec un taux de conversion de 3 % et un MDE de 15 %, il faut environ 20 700 visiteurs par variante, soit plus de 41 000 au total. En dessous de ce seuil, arrêtez de conclure quoi que ce soit : vous lisez du bruit statistique, pas un signal.

Q: Combien de temps faut-il faire tourner un test avant de trancher ?

Jamais moins de 7 jours, même si le résultat semble déjà clair au bout de 2 jours : il faut couvrir une semaine complète pour lisser les écarts de comportement entre lundi et dimanche. La durée idéale se situe entre 14 et 28 jours selon le volume de trafic, et si votre calcul dépasse 60 jours, c'est le signe qu'il faut soit accepter un effet minimum détectable plus large, soit tester sur un emplacement à plus fort trafic.

Q: Quelle est l'erreur qui fausse le plus de tests A/B en PME ?

Regarder les résultats chaque jour et couper le test dès qu'une variante semble gagner : la significativité statistique fluctue en cours de route, et arrêter tôt multiplie les faux positifs. La deuxième erreur la plus fréquente est de changer plusieurs éléments en même temps (accroche, image et CTA), ce qui rend impossible d'identifier ce qui a réellement fait la différence.

Q: Quel gain de performance viser selon ce qu'on teste (annonce, page d'atterrissage, enchères) ?

Sur un texte d'annonce, visez un MDE de 10 à 20 % de CTR sur 7 à 14 jours. Sur une page d'atterrissage (titre, formulaire, CTA), comptez 15 à 25 % d'amélioration du taux de conversion sur 14 à 28 jours. Sur une stratégie d'enchères, c'est plus long (28 à 42 jours) car l'algorithme a besoin d'une période d'apprentissage, pour un gain typique de 10 à 15 % de CPA.

Q: Comment décider objectivement si une variante a « gagné » sans se mentir à soi-même ?

Fixez trois niveaux de métriques avant de lancer le test : une métrique principale avec un seuil de victoire clair (ex. CTR +15 % à 95 % de confiance), des métriques secondaires à surveiller sans seuil strict, et des métriques garde-fous qui ne doivent jamais se dégrader (ex. le CPA ne doit pas grimper de plus de 20 %). Si la métrique principale gagne mais qu'un garde-fou casse, la variante est rejetée, même si elle a l'air séduisante sur le papier.

Conçoit des tests A/B rigoureux pour Google Ads avec des hypothèses claires, des métriques de succès, des calculs de taille d'échantillon et des estimations de durée de test. Se déclenche quand l'utilisateur veut tester quelque chose, lancer une expérimentation, comparer des variantes d'annonces, ou demande « dois-je tester X contre Y ? ». Fournit un cadre de test scientifique qui évite les erreurs courantes et garantit des résultats statistiquement valides.

Concepteur de tests A/B

---
name: concepteur-de-tests-a-b
description: "Conçoit des tests A/B rigoureux pour Google Ads avec des hypothèses claires, des métriques de succès, des calculs de taille d'échantillon et des estimations de durée de test. Se déclenche quand l'utilisateur veut tester quelque chose, lancer une expérimentation, comparer des variantes d'annonces, ou demande « dois-je tester X contre Y ? ». Fournit un cadre de test scientifique qui évite les erreurs courantes et garantit des résultats statistiquement valides."
---
# Concepteur de tests A/B
Arrêtez de tester au hasard. Commencez à apprendre.
## Philosophie de base
**La plupart des « tests » PPC ne sont pas des tests : ce sont des suppositions avec des étapes en plus.**
**Ce qui fait un vrai test :**
1. Une hypothèse claire (pas juste « essayons un truc »)
2. L'isolation d'une seule variable (savoir ce qui a causé le changement)
3. Une taille d'échantillon suffisante (significativité statistique)
4. Des critères de succès prédéterminés (pas de règles du jeu qui changent en cours de route)
5. Des apprentissages documentés (construit une connaissance institutionnelle)
**L'objectif :** chaque test gagne, perd, ou vous apprend quelque chose d'utile.
---
## Contexte requis
### Indispensable
**1. Ce que vous voulez tester**
- Variable testée (accroche, CTA, page d'atterrissage, stratégie d'enchères, etc.)
- État actuel (contrôle)
- Changement proposé (variante)
**2. Référence de performance actuelle**
- Métrique concernée (CTR, taux de conversion, CPA, etc.)
- Valeur actuelle
- Taille d'échantillon disponible (clics mensuels, conversions)
### Fortement recommandé
**3. Contexte business**
- Pourquoi testez-vous cela ? Quel problème résolvez-vous ?
- Qu'est-ce qui rendrait ce test « rentable » ?
- Effet minimum détectable qui compte pour le business
**4. Contraintes**
- Limitations de budget
- Contraintes de temps
- Limitations techniques
### Appréciable
- Résultats de tests historiques (ce qui a marché ou échoué avant)
- Contexte concurrentiel
- Considérations de saisonnalité
---
## Cadre de test
### Étape 1 : formulation de l'hypothèse
**Format :** « Si nous [changeons X], alors [la métrique Y] va [s'améliorer/diminuer] parce que [raisonnement]. »
**Bonne hypothèse :**
« Si nous remplaçons l'accroche "Logiciel de gestion de projet" par "Livrez vos projets 2x plus vite", alors le CTR va s'améliorer d'au moins 15 % parce que les accroches orientées bénéfice surperforment les accroches orientées fonctionnalité dans notre secteur. »
**Mauvaise hypothèse :**
« Essayons une nouvelle accroche et voyons ce que ça donne. »
**Liste de contrôle qualité de l'hypothèse :**
- [ ] Changement spécifique identifié
- [ ] Résultat mesurable défini
- [ ] Ampleur du changement attendu précisée
- [ ] Raisonnement basé sur des preuves ou une logique
- [ ] Falsifiable (peut être prouvée fausse)
---
### Étape 2 : isolation de la variable
**Règle d'or :** testez UNE seule chose à la fois.
**Pourquoi c'est important :**
Si vous changez l'accroche ET le CTA ET l'image, et que la performance s'améliore, quel changement en est la cause ?
**Catégories de variables :**
| Type de variable | Exemples | Difficulté d'isolation |
|---------------|----------|---------------------|
| Texte publicitaire | Accroches, descriptions, CTA | Tester un seul élément par variante |
| Page d'atterrissage | Titre, formulaire, mise en page, images | Un changement par variante de page |
| Ciblage | Mots-clés, audiences, zones géographiques | Campagnes/groupes d'annonces séparés |
| Enchères | Stratégie, cibles, ajustements | Nécessite un split de campagne |
| Créa | Images, vidéos, formats | Un seul élément créatif par test |
**Test multivarié :**
Ne faites cela que si vous avez un très gros volume ET de vrais outils de test multivarié. Sinon, vous ne faites que générer du bruit.
---
### Étape 3 : calcul de la taille d'échantillon
**Données requises :**
- Taux de conversion de référence (performance actuelle)
- Effet minimum détectable (MDE) : plus petite amélioration qui vaut la peine d'être détectée
- Niveau de significativité statistique (généralement 95 %)
- Puissance statistique (généralement 80 %)
**Formule de taille d'échantillon (simplifiée) :**
Pour les tests de taux de conversion :
```
n = 16 × p × (1-p) / MDE²
Où :
n = taille d'échantillon par variante
p = taux de conversion de référence
MDE = effet minimum détectable (en décimal)
```
**Tableau de référence rapide :**
| Taux de conversion de référence | MDE 10 % | MDE 15 % | MDE 20 % | MDE 25 % |
|--------------|---------|---------|---------|---------|
| 1 % | 15 840 | 7 040 | 3 960 | 2 534 |
| 2 % | 31 360 | 13 938 | 7 840 | 5 018 |
| 3 % | 46 560 | 20 693 | 11 640 | 7 450 |
| 5 % | 76 000 | 33 778 | 19 000 | 12 160 |
| 10 % | 144 000 | 64 000 | 36 000 | 23 040 |
*Taille d'échantillon par variante. Multipliez par 2 pour le trafic de test total nécessaire.*
**Pour les tests de CTR :** utilisez la même formule avec le CTR comme taux de référence.
---
### Étape 4 : calcul de la durée du test
**Formule :**
```
Durée du test (jours) = Taille d'échantillon nécessaire / Trafic quotidien
Où :
Taille d'échantillon nécessaire = calcul ci-dessus (pour LES DEUX variantes)
Trafic quotidien = clics quotidiens moyens sur l'emplacement testé
```
**Règles de durée minimale :**
- Jamais moins de 7 jours (il faut une semaine complète pour couvrir la variation jour par jour)
- Idéalement 14 à 28 jours pour la fiabilité
- Éviter les grandes périodes de fêtes ou de promotions
- Prendre en compte le délai de conversion
**Contraintes de durée :**
```
Si la durée calculée < 7 jours → faire tourner 7 jours minimum
Si la durée calculée > 60 jours → envisager :
- Accepter un MDE plus grand
- Tester sur un emplacement à trafic plus élevé
- Se demander si le test est viable
```
---
### Étape 5 : définition des critères de succès
**À définir AVANT le début du test :**
**Métrique principale :**
- Quelle métrique détermine la victoire ou la défaite ?
- Quel seuil d'amélioration = « gagnant » ?
- Quel niveau de confiance requis ?
**Métriques secondaires :**
- Quelles autres métriques surveiller ?
- Qu'est-ce qui disqualifierait un « gagnant » ? (ex. : CTR en hausse mais taux de conversion en baisse)
**Métriques garde-fous :**
- Métriques qui ne doivent PAS se dégrader
- Variance acceptable sur les garde-fous
**Exemple de critères de succès :**
```
PRINCIPAL : le CTR doit s'améliorer d'au moins 15 % avec 95 % de confiance
SECONDAIRE : surveiller le taux de conversion (ne doit pas baisser de plus de 10 %)
GARDE-FOU : le CPA ne doit pas augmenter de plus de 20 %
GAGNANT : la variante bat le contrôle sur la métrique principale tout en respectant les garde-fous
```
---
### Étape 6 : plan d'exécution du test
**Liste de contrôle de mise en place :**
- [ ] Contrôle et variante créés
- [ ] Répartition du trafic configurée (50/50 recommandé)
- [ ] Tracking vérifié pour toutes les métriques
- [ ] Date de début fixée (éviter les jours atypiques)
- [ ] Date de fin fixée (basée sur le calcul de durée)
- [ ] Critères de succès documentés
- [ ] Notification programmée pour la fin du test
**Pendant le test :**
- [ ] Vérifier les erreurs d'implémentation (jour 1-2)
- [ ] Vérifier que la répartition du trafic fonctionne correctement
- [ ] NE PAS surveiller les résultats en continu pour trancher trop tôt
- [ ] Documenter tout facteur externe
**Après le test :**
- [ ] Attendre la significativité statistique
- [ ] Vérifier toutes les métriques (principale, secondaires, garde-fous)
- [ ] Documenter les résultats et les apprentissages
- [ ] Mettre en place le gagnant (ou documenter pourquoi pas)
- [ ] Planifier le prochain test à partir des apprentissages
---
## Format de sortie
### Document de conception du test
```
═══════════════════════════════════════════════════════
TEST : [Nom descriptif]
STATUT : Prêt à lancer / En revue
═══════════════════════════════════════════════════════
```
---
### 🎯 Hypothèse
**Énoncé :**
« Si nous [changement spécifique], alors [métrique] va [résultat attendu] parce que [raisonnement]. »
**Niveau de confiance :** Élevé / Moyen / Faible
**Fondement :** [Quelle preuve ou logique soutient cette hypothèse]
---
### 🔬 Conception du test
| Élément | Contrôle | Variante |
|---------|---------|-----------|
| [Variable] | [État actuel] | [Nouvel état] |
**Variable testée :** [Variable unique]
**Tout le reste maintenu constant :** [Confirmer l'isolation]
---
### 📊 Exigences statistiques
| Paramètre | Valeur | Notes |
|-----------|-------|-------|
| Métrique de référence | [X %] | [CTR/taux de conversion/etc.] actuel |
| Effet minimum détectable | [X %] | Plus petite amélioration significative |
| Taille d'échantillon requise | [X] par variante | [X] au total |
| Trafic quotidien estimé | [X] | Sur l'emplacement testé |
| Durée de test estimée | [X] jours | Minimum 7 jours |
| Niveau de confiance | 95 % | Standard |
| Puissance statistique | 80 % | Standard |
---
### ✅ Critères de succès
**Pour déclarer un gagnant :**
**Métrique principale :** [Nom de la métrique]
- Seuil de victoire : ≥ [X] % d'amélioration
- Confiance requise : 95 %
**Métriques secondaires :**
- [Métrique] : à surveiller, sans seuil
- [Métrique] : ne doit pas baisser de plus de X %
**Garde-fous :**
- [Métrique] : ne doit pas se dégrader de plus de X %
**Règles de décision :**
- Si la métrique principale gagne ET les garde-fous passent → mettre en place la variante
- Si la métrique principale gagne MAIS les garde-fous échouent → investiguer, rejet probable
- Si la métrique principale est inconcluante → prolonger le test ou accepter un résultat nul
- Si la métrique principale perd → documenter l'apprentissage, rejeter la variante
---
### 📅 Plan d'exécution
**Calendrier :**
- Mise en place terminée le : [Date]
- Début du test : [Date]
- Date de fin minimale : [Date]
- Date de décision : [Date]
**Répartition du trafic :** 50 % contrôle / 50 % variante
**Points de contrôle :**
- Jour 1-2 : vérifier l'implémentation
- Jour 7 : premier contrôle statistique (aucune décision)
- Jour [X] : fin du test, analyse finale
---
### ⚠️ Risques et considérations
- [Risque 1] : [Atténuation]
- [Risque 2] : [Atténuation]
**Facteurs externes à documenter :**
- Saisonnalité : [pertinente ?]
- Promotions : [des promotions pendant le test ?]
- Activité concurrentielle : [changements connus ?]
---
### 📝 Modèle de documentation
**Avant le test :**
```
Nom du test :
Hypothèse :
Date de début :
Date de fin prévue :
Critères de succès :
```
**Après le test :**
```
Date de fin réelle :
Résultat : Victoire / Défaite / Inconclusif
Métrique principale : Contrôle [X %] vs Variante [X %]
Significativité statistique : [X %]
Métriques secondaires : [Résultats]
Garde-fous : Respectés/Non respectés
Décision : Mettre en place / Rejeter / Prolonger
Apprentissage clé :
Prochain test :
```
---
## Types de tests courants
### Tests de texte publicitaire
**Quoi tester :**
- Accroches (une à la fois)
- Lignes de description
- Variantes de CTA
- Mise en avant de la proposition de valeur
**MDE typique :** amélioration de 10 à 20 % du CTR
**Durée :** généralement 7 à 14 jours
### Tests de page d'atterrissage
**Quoi tester :**
- Titre/proposition de valeur
- Bouton CTA (texte, couleur, emplacement)
- Longueur du formulaire
- Emplacement de la preuve sociale
- Image d'en-tête
**MDE typique :** amélioration de 15 à 25 % du taux de conversion
**Durée :** généralement 14 à 28 jours
### Tests de stratégie d'enchères
**Quoi tester :**
- Manuel vs automatisé
- Différentes valeurs cibles
- Ajustements d'enchères
**MDE typique :** amélioration de 10 à 15 % du CPA
**Durée :** 28 à 42 jours (nécessite une période d'apprentissage)
### Tests d'audience
**Quoi tester :**
- Données démographiques
- Segments d'intérêt
- Audiences personnalisées
- Sosies (lookalike)
**MDE typique :** amélioration de 20 à 30 % du taux de conversion
**Durée :** généralement 14 à 28 jours
---
## Erreurs courantes à éviter
### 1. Surveiller les résultats et arrêter trop tôt
**Problème :** vérifier les résultats chaque jour et arrêter dès qu'on voit un « gagnant »
**Pourquoi c'est faux :** la significativité statistique fluctue ; arrêter trop tôt = faux positifs
**Solution :** fixer la durée à l'avance et s'y tenir
### 2. Tester trop de choses à la fois
**Problème :** changer 5 choses et appeler ça un « test A/B »
**Pourquoi c'est faux :** impossible d'attribuer la causalité
**Solution :** une seule variable par test, point final
### 3. Taille d'échantillon insuffisante
**Problème :** faire tourner un test 3 jours avec 50 clics
**Pourquoi c'est faux :** les résultats sont du bruit aléatoire, pas un signal
**Solution :** calculer la taille d'échantillon nécessaire avant de commencer
### 4. Pas d'hypothèse claire
**Problème :** « essayons ça et on verra bien »
**Pourquoi c'est faux :** vous n'apprenez rien, même si ça « gagne »
**Solution :** écrire l'hypothèse d'abord, concevoir le test ensuite
### 5. Déplacer les objectifs en cours de route
**Problème :** changer les critères de succès après avoir vu les résultats
**Pourquoi c'est faux :** biais de confirmation, conclusions invalides
**Solution :** documenter les critères avant le début du test
### 6. Ignorer la significativité pratique
**Problème :** célébrer une amélioration de 0,5 % à 95 % de confiance
**Pourquoi c'est faux :** statistiquement significatif ne veut pas dire pertinent pour le business
**Solution :** fixer le MDE en fonction de l'impact business
---
## Limites
**Ce que je peux fournir :**
- Un cadre de conception de test rigoureux
- Des calculs de taille d'échantillon
- Des estimations de durée
- Des modèles de critères de succès
- Des alertes sur les pièges courants
**Ce que je ne peux pas fournir :**
- L'analyse statistique réelle des résultats (nécessite les données brutes)
- Le choix entre méthodologie bayésienne ou fréquentiste (dépend de votre configuration)
- L'implémentation spécifique à un outil (varie selon la plateforme)
- Des idées de test garanties gagnantes
**Pour une meilleure conception de test, fournissez aussi :**
- Les résultats de tests historiques
- Les données de tunnel de conversion
- Des exemples d'annonces concurrentes
- Des insights issus de la recherche utilisateur
---
## Liste de contrôle qualité
Avant de lancer le test :
- [ ] L'hypothèse est spécifique et falsifiable
- [ ] Une seule variable est isolée
- [ ] La taille d'échantillon est calculée
- [ ] La durée est fixée (minimum 7 jours)
- [ ] Les critères de succès sont documentés
- [ ] Les métriques garde-fous sont définies
- [ ] La répartition du trafic est configurée
- [ ] Le tracking est vérifié
- [ ] Les facteurs externes sont notés
- [ ] Le modèle de documentation est prêt
---
*Compétence adaptée en français depuis le dépôt open source [anthropics/skills](https://github.com/anthropics/skills) (licence Apache 2.0).*

---
name: concepteur-de-tests-a-b
description: "Conçoit des tests A/B rigoureux pour Google Ads avec des hypothèses claires, des métriques de succès, des calculs de taille d'échantillon et des estimations de durée de test. Se déclenche quand l'utilisateur veut tester quelque chose, lancer une expérimentation, comparer des variantes d'annonces, ou demande « dois-je tester X contre Y ? ». Fournit un cadre de test scientifique qui évite les erreurs courantes et garantit des résultats statistiquement valides."
---

# Concepteur de tests A/B

Arrêtez de tester au hasard. Commencez à apprendre.

## Philosophie de base

**La plupart des « tests » PPC ne sont pas des tests : ce sont des suppositions avec des étapes en plus.**

**Ce qui fait un vrai test :**
1. Une hypothèse claire (pas juste « essayons un truc »)
2. L'isolation d'une seule variable (savoir ce qui a causé le changement)
3. Une taille d'échantillon suffisante (significativité statistique)
4. Des critères de succès prédéterminés (pas de règles du jeu qui changent en cours de route)
5. Des apprentissages documentés (construit une connaissance institutionnelle)

**L'objectif :** chaque test gagne, perd, ou vous apprend quelque chose d'utile.

---

## Contexte requis

### Indispensable

**1. Ce que vous voulez tester**
- Variable testée (accroche, CTA, page d'atterrissage, stratégie d'enchères, etc.)
- État actuel (contrôle)
- Changement proposé (variante)

**2. Référence de performance actuelle**
- Métrique concernée (CTR, taux de conversion, CPA, etc.)
- Valeur actuelle
- Taille d'échantillon disponible (clics mensuels, conversions)

### Fortement recommandé

**3. Contexte business**
- Pourquoi testez-vous cela ? Quel problème résolvez-vous ?
- Qu'est-ce qui rendrait ce test « rentable » ?
- Effet minimum détectable qui compte pour le business

**4. Contraintes**
- Limitations de budget
- Contraintes de temps
- Limitations techniques

### Appréciable

- Résultats de tests historiques (ce qui a marché ou échoué avant)
- Contexte concurrentiel
- Considérations de saisonnalité

---

## Cadre de test

### Étape 1 : formulation de l'hypothèse

**Format :** « Si nous [changeons X], alors [la métrique Y] va [s'améliorer/diminuer] parce que [raisonnement]. »

**Bonne hypothèse :**
« Si nous remplaçons l'accroche "Logiciel de gestion de projet" par "Livrez vos projets 2x plus vite", alors le CTR va s'améliorer d'au moins 15 % parce que les accroches orientées bénéfice surperforment les accroches orientées fonctionnalité dans notre secteur. »

**Mauvaise hypothèse :**
« Essayons une nouvelle accroche et voyons ce que ça donne. »

**Liste de contrôle qualité de l'hypothèse :**
- [ ] Changement spécifique identifié
- [ ] Résultat mesurable défini
- [ ] Ampleur du changement attendu précisée
- [ ] Raisonnement basé sur des preuves ou une logique
- [ ] Falsifiable (peut être prouvée fausse)

---

### Étape 2 : isolation de la variable

**Règle d'or :** testez UNE seule chose à la fois.

**Pourquoi c'est important :**
Si vous changez l'accroche ET le CTA ET l'image, et que la performance s'améliore, quel changement en est la cause ?

**Catégories de variables :**

| Type de variable | Exemples | Difficulté d'isolation |
|---------------|----------|---------------------|
| Texte publicitaire | Accroches, descriptions, CTA | Tester un seul élément par variante |
| Page d'atterrissage | Titre, formulaire, mise en page, images | Un changement par variante de page |
| Ciblage | Mots-clés, audiences, zones géographiques | Campagnes/groupes d'annonces séparés |
| Enchères | Stratégie, cibles, ajustements | Nécessite un split de campagne |
| Créa | Images, vidéos, formats | Un seul élément créatif par test |

**Test multivarié :**
Ne faites cela que si vous avez un très gros volume ET de vrais outils de test multivarié. Sinon, vous ne faites que générer du bruit.

---

### Étape 3 : calcul de la taille d'échantillon

**Données requises :**
- Taux de conversion de référence (performance actuelle)
- Effet minimum détectable (MDE) : plus petite amélioration qui vaut la peine d'être détectée
- Niveau de significativité statistique (généralement 95 %)
- Puissance statistique (généralement 80 %)

**Formule de taille d'échantillon (simplifiée) :**

Pour les tests de taux de conversion :
```
n = 16 × p × (1-p) / MDE²

Où :
n = taille d'échantillon par variante
p = taux de conversion de référence
MDE = effet minimum détectable (en décimal)
```

**Tableau de référence rapide :**

| Taux de conversion de référence | MDE 10 % | MDE 15 % | MDE 20 % | MDE 25 % |
|--------------|---------|---------|---------|---------|
| 1 % | 15 840 | 7 040 | 3 960 | 2 534 |
| 2 % | 31 360 | 13 938 | 7 840 | 5 018 |
| 3 % | 46 560 | 20 693 | 11 640 | 7 450 |
| 5 % | 76 000 | 33 778 | 19 000 | 12 160 |
| 10 % | 144 000 | 64 000 | 36 000 | 23 040 |

*Taille d'échantillon par variante. Multipliez par 2 pour le trafic de test total nécessaire.*

**Pour les tests de CTR :** utilisez la même formule avec le CTR comme taux de référence.

---

### Étape 4 : calcul de la durée du test

**Formule :**
```
Durée du test (jours) = Taille d'échantillon nécessaire / Trafic quotidien

Où :
Taille d'échantillon nécessaire = calcul ci-dessus (pour LES DEUX variantes)
Trafic quotidien = clics quotidiens moyens sur l'emplacement testé
```

**Règles de durée minimale :**
- Jamais moins de 7 jours (il faut une semaine complète pour couvrir la variation jour par jour)
- Idéalement 14 à 28 jours pour la fiabilité
- Éviter les grandes périodes de fêtes ou de promotions
- Prendre en compte le délai de conversion

**Contraintes de durée :**
```
Si la durée calculée < 7 jours → faire tourner 7 jours minimum
Si la durée calculée > 60 jours → envisager :
  - Accepter un MDE plus grand
  - Tester sur un emplacement à trafic plus élevé
  - Se demander si le test est viable
```

---

### Étape 5 : définition des critères de succès

**À définir AVANT le début du test :**

**Métrique principale :**
- Quelle métrique détermine la victoire ou la défaite ?
- Quel seuil d'amélioration = « gagnant » ?
- Quel niveau de confiance requis ?

**Métriques secondaires :**
- Quelles autres métriques surveiller ?
- Qu'est-ce qui disqualifierait un « gagnant » ? (ex. : CTR en hausse mais taux de conversion en baisse)

**Métriques garde-fous :**
- Métriques qui ne doivent PAS se dégrader
- Variance acceptable sur les garde-fous

**Exemple de critères de succès :**
```
PRINCIPAL : le CTR doit s'améliorer d'au moins 15 % avec 95 % de confiance
SECONDAIRE : surveiller le taux de conversion (ne doit pas baisser de plus de 10 %)
GARDE-FOU : le CPA ne doit pas augmenter de plus de 20 %
GAGNANT : la variante bat le contrôle sur la métrique principale tout en respectant les garde-fous
```

---

### Étape 6 : plan d'exécution du test

**Liste de contrôle de mise en place :**
- [ ] Contrôle et variante créés
- [ ] Répartition du trafic configurée (50/50 recommandé)
- [ ] Tracking vérifié pour toutes les métriques
- [ ] Date de début fixée (éviter les jours atypiques)
- [ ] Date de fin fixée (basée sur le calcul de durée)
- [ ] Critères de succès documentés
- [ ] Notification programmée pour la fin du test

**Pendant le test :**
- [ ] Vérifier les erreurs d'implémentation (jour 1-2)
- [ ] Vérifier que la répartition du trafic fonctionne correctement
- [ ] NE PAS surveiller les résultats en continu pour trancher trop tôt
- [ ] Documenter tout facteur externe

**Après le test :**
- [ ] Attendre la significativité statistique
- [ ] Vérifier toutes les métriques (principale, secondaires, garde-fous)
- [ ] Documenter les résultats et les apprentissages
- [ ] Mettre en place le gagnant (ou documenter pourquoi pas)
- [ ] Planifier le prochain test à partir des apprentissages

---

## Format de sortie

### Document de conception du test

```
═══════════════════════════════════════════════════════
TEST : [Nom descriptif]
STATUT : Prêt à lancer / En revue
═══════════════════════════════════════════════════════
```

---

### 🎯 Hypothèse

**Énoncé :**
« Si nous [changement spécifique], alors [métrique] va [résultat attendu] parce que [raisonnement]. »

**Niveau de confiance :** Élevé / Moyen / Faible
**Fondement :** [Quelle preuve ou logique soutient cette hypothèse]

---

### 🔬 Conception du test

| Élément | Contrôle | Variante |
|---------|---------|-----------|
| [Variable] | [État actuel] | [Nouvel état] |

**Variable testée :** [Variable unique]
**Tout le reste maintenu constant :** [Confirmer l'isolation]

---

### 📊 Exigences statistiques

| Paramètre | Valeur | Notes |
|-----------|-------|-------|
| Métrique de référence | [X %] | [CTR/taux de conversion/etc.] actuel |
| Effet minimum détectable | [X %] | Plus petite amélioration significative |
| Taille d'échantillon requise | [X] par variante | [X] au total |
| Trafic quotidien estimé | [X] | Sur l'emplacement testé |
| Durée de test estimée | [X] jours | Minimum 7 jours |
| Niveau de confiance | 95 % | Standard |
| Puissance statistique | 80 % | Standard |

---

### ✅ Critères de succès

**Pour déclarer un gagnant :**

**Métrique principale :** [Nom de la métrique]
- Seuil de victoire : ≥ [X] % d'amélioration
- Confiance requise : 95 %

**Métriques secondaires :**
- [Métrique] : à surveiller, sans seuil
- [Métrique] : ne doit pas baisser de plus de X %

**Garde-fous :**
- [Métrique] : ne doit pas se dégrader de plus de X %

**Règles de décision :**
- Si la métrique principale gagne ET les garde-fous passent → mettre en place la variante
- Si la métrique principale gagne MAIS les garde-fous échouent → investiguer, rejet probable
- Si la métrique principale est inconcluante → prolonger le test ou accepter un résultat nul
- Si la métrique principale perd → documenter l'apprentissage, rejeter la variante

---

### 📅 Plan d'exécution

**Calendrier :**
- Mise en place terminée le : [Date]
- Début du test : [Date]
- Date de fin minimale : [Date]
- Date de décision : [Date]

**Répartition du trafic :** 50 % contrôle / 50 % variante

**Points de contrôle :**
- Jour 1-2 : vérifier l'implémentation
- Jour 7 : premier contrôle statistique (aucune décision)
- Jour [X] : fin du test, analyse finale

---

### ⚠️ Risques et considérations

- [Risque 1] : [Atténuation]
- [Risque 2] : [Atténuation]

**Facteurs externes à documenter :**
- Saisonnalité : [pertinente ?]
- Promotions : [des promotions pendant le test ?]
- Activité concurrentielle : [changements connus ?]

---

### 📝 Modèle de documentation

**Avant le test :**
```
Nom du test :
Hypothèse :
Date de début :
Date de fin prévue :
Critères de succès :
```

**Après le test :**
```
Date de fin réelle :
Résultat : Victoire / Défaite / Inconclusif
Métrique principale : Contrôle [X %] vs Variante [X %]
Significativité statistique : [X %]
Métriques secondaires : [Résultats]
Garde-fous : Respectés/Non respectés
Décision : Mettre en place / Rejeter / Prolonger
Apprentissage clé :
Prochain test :
```

---

## Types de tests courants

### Tests de texte publicitaire

**Quoi tester :**
- Accroches (une à la fois)
- Lignes de description
- Variantes de CTA
- Mise en avant de la proposition de valeur

**MDE typique :** amélioration de 10 à 20 % du CTR
**Durée :** généralement 7 à 14 jours

### Tests de page d'atterrissage

**Quoi tester :**
- Titre/proposition de valeur
- Bouton CTA (texte, couleur, emplacement)
- Longueur du formulaire
- Emplacement de la preuve sociale
- Image d'en-tête

**MDE typique :** amélioration de 15 à 25 % du taux de conversion
**Durée :** généralement 14 à 28 jours

### Tests de stratégie d'enchères

**Quoi tester :**
- Manuel vs automatisé
- Différentes valeurs cibles
- Ajustements d'enchères

**MDE typique :** amélioration de 10 à 15 % du CPA
**Durée :** 28 à 42 jours (nécessite une période d'apprentissage)

### Tests d'audience

**Quoi tester :**
- Données démographiques
- Segments d'intérêt
- Audiences personnalisées
- Sosies (lookalike)

**MDE typique :** amélioration de 20 à 30 % du taux de conversion
**Durée :** généralement 14 à 28 jours

---

## Erreurs courantes à éviter

### 1. Surveiller les résultats et arrêter trop tôt
**Problème :** vérifier les résultats chaque jour et arrêter dès qu'on voit un « gagnant »
**Pourquoi c'est faux :** la significativité statistique fluctue ; arrêter trop tôt = faux positifs
**Solution :** fixer la durée à l'avance et s'y tenir

### 2. Tester trop de choses à la fois
**Problème :** changer 5 choses et appeler ça un « test A/B »
**Pourquoi c'est faux :** impossible d'attribuer la causalité
**Solution :** une seule variable par test, point final

### 3. Taille d'échantillon insuffisante
**Problème :** faire tourner un test 3 jours avec 50 clics
**Pourquoi c'est faux :** les résultats sont du bruit aléatoire, pas un signal
**Solution :** calculer la taille d'échantillon nécessaire avant de commencer

### 4. Pas d'hypothèse claire
**Problème :** « essayons ça et on verra bien »
**Pourquoi c'est faux :** vous n'apprenez rien, même si ça « gagne »
**Solution :** écrire l'hypothèse d'abord, concevoir le test ensuite

### 5. Déplacer les objectifs en cours de route
**Problème :** changer les critères de succès après avoir vu les résultats
**Pourquoi c'est faux :** biais de confirmation, conclusions invalides
**Solution :** documenter les critères avant le début du test

### 6. Ignorer la significativité pratique
**Problème :** célébrer une amélioration de 0,5 % à 95 % de confiance
**Pourquoi c'est faux :** statistiquement significatif ne veut pas dire pertinent pour le business
**Solution :** fixer le MDE en fonction de l'impact business

---

## Limites

**Ce que je peux fournir :**
- Un cadre de conception de test rigoureux
- Des calculs de taille d'échantillon
- Des estimations de durée
- Des modèles de critères de succès
- Des alertes sur les pièges courants

**Ce que je ne peux pas fournir :**
- L'analyse statistique réelle des résultats (nécessite les données brutes)
- Le choix entre méthodologie bayésienne ou fréquentiste (dépend de votre configuration)
- L'implémentation spécifique à un outil (varie selon la plateforme)
- Des idées de test garanties gagnantes

**Pour une meilleure conception de test, fournissez aussi :**
- Les résultats de tests historiques
- Les données de tunnel de conversion
- Des exemples d'annonces concurrentes
- Des insights issus de la recherche utilisateur

---

## Liste de contrôle qualité

Avant de lancer le test :
- [ ] L'hypothèse est spécifique et falsifiable
- [ ] Une seule variable est isolée
- [ ] La taille d'échantillon est calculée
- [ ] La durée est fixée (minimum 7 jours)
- [ ] Les critères de succès sont documentés
- [ ] Les métriques garde-fous sont définies
- [ ] La répartition du trafic est configurée
- [ ] Le tracking est vérifié
- [ ] Les facteurs externes sont notés
- [ ] Le modèle de documentation est prêt

---

*Compétence adaptée en français depuis le dépôt open source [anthropics/skills](https://github.com/anthropics/skills) (licence Apache 2.0).*

SKILL.mdMarkdownUTF-8FR466 lignes

# Comment utiliser cette compétence
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Tu peux m'aider à concevoir un vrai test A/B pour ma nouvelle accroche publicitaire ?
## Exemples d'utilisation
**Exemple 1 : test de texte publicitaire**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Je veux tester une nouvelle accroche sur ma campagne principale. Le CTR actuel est de 4,2 %, j'ai environ 500 clics par jour. Aide-moi à concevoir un test rigoureux.
**Exemple 2 : test de page d'atterrissage**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Je pense qu'un formulaire plus court améliorerait mes conversions. Le taux de conversion actuel est de 3,5 % sur environ 200 visiteurs par jour. Conçois-moi un plan de test.
**Exemple 3 : test de stratégie d'enchères**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Je me demande si le CPA cible battrait mes enchères manuelles. Le CPA actuel est de 45 € avec 2-3 conversions par jour. Ce test est-il seulement viable ?
**Exemple 4 : valider une idée de test**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Mon équipe veut tester 4 accroches différentes en même temps. C'est une bonne idée ? Le CTR actuel est de 3,8 %.
**Exemple 5 : calculer une taille d'échantillon**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Combien de temps faudrait-il faire tourner un test pour détecter une amélioration de 15 % du taux de conversion ? Le taux de conversion actuel est de 2,5 %, avec 150 clics par jour.
## Quoi fournir
**Indispensable :**
- Ce que vous voulez tester (le changement)
- La performance actuelle (métrique de référence)
- Le volume de trafic (clics ou visiteurs quotidiens)
**Recommandé :**
- Pourquoi vous pensez que ce changement va fonctionner
- L'amélioration minimum qui compterait pour vous
- Les contraintes de temps ou de budget
**Optionnel :**
- Les résultats de tests précédents
- Le contexte concurrentiel
- Les enjeux de saisonnalité
## Ce que vous obtiendrez
1. **Hypothèse** : une hypothèse testable, correctement formulée
2. **Conception du test** : contrôle vs variante avec isolation de la variable
3. **Exigences statistiques** : taille d'échantillon, durée, niveaux de confiance
4. **Critères de succès** : définitions claires de victoire/défaite
5. **Plan d'exécution** : calendrier avec points de contrôle
6. **Évaluation des risques** : ce qui pourrait mal tourner et comment l'atténuer
7. **Modèle de documentation** : suivi avant et après le test
## Astuces pro
- Calculez toujours la taille d'échantillon AVANT de commencer : beaucoup de tests échouent faute de trafic suffisant
- Testez une seule chose à la fois : vraiment, une seule chose
- Ne surveillez pas les résultats en continu pour arrêter trop tôt : cela crée des faux positifs
- Documentez tout : construisez votre base de connaissances de tests
- « Inconcluant » est un résultat valide : cela signifie qu'il vous faut plus de trafic ou un changement plus marqué

# Comment utiliser cette compétence

J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Tu peux m'aider à concevoir un vrai test A/B pour ma nouvelle accroche publicitaire ?

## Exemples d'utilisation

**Exemple 1 : test de texte publicitaire**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Je veux tester une nouvelle accroche sur ma campagne principale. Le CTR actuel est de 4,2 %, j'ai environ 500 clics par jour. Aide-moi à concevoir un test rigoureux.

**Exemple 2 : test de page d'atterrissage**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Je pense qu'un formulaire plus court améliorerait mes conversions. Le taux de conversion actuel est de 3,5 % sur environ 200 visiteurs par jour. Conçois-moi un plan de test.

**Exemple 3 : test de stratégie d'enchères**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Je me demande si le CPA cible battrait mes enchères manuelles. Le CPA actuel est de 45 € avec 2-3 conversions par jour. Ce test est-il seulement viable ?

**Exemple 4 : valider une idée de test**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Mon équipe veut tester 4 accroches différentes en même temps. C'est une bonne idée ? Le CTR actuel est de 3,8 %.

**Exemple 5 : calculer une taille d'échantillon**
J'ai besoin d'utiliser la compétence « Concepteur de tests A/B ». Combien de temps faudrait-il faire tourner un test pour détecter une amélioration de 15 % du taux de conversion ? Le taux de conversion actuel est de 2,5 %, avec 150 clics par jour.

## Quoi fournir

**Indispensable :**
- Ce que vous voulez tester (le changement)
- La performance actuelle (métrique de référence)
- Le volume de trafic (clics ou visiteurs quotidiens)

**Recommandé :**
- Pourquoi vous pensez que ce changement va fonctionner
- L'amélioration minimum qui compterait pour vous
- Les contraintes de temps ou de budget

**Optionnel :**
- Les résultats de tests précédents
- Le contexte concurrentiel
- Les enjeux de saisonnalité

## Ce que vous obtiendrez

1. **Hypothèse** : une hypothèse testable, correctement formulée
2. **Conception du test** : contrôle vs variante avec isolation de la variable
3. **Exigences statistiques** : taille d'échantillon, durée, niveaux de confiance
4. **Critères de succès** : définitions claires de victoire/défaite
5. **Plan d'exécution** : calendrier avec points de contrôle
6. **Évaluation des risques** : ce qui pourrait mal tourner et comment l'atténuer
7. **Modèle de documentation** : suivi avant et après le test

## Astuces pro

- Calculez toujours la taille d'échantillon AVANT de commencer : beaucoup de tests échouent faute de trafic suffisant
- Testez une seule chose à la fois : vraiment, une seule chose
- Ne surveillez pas les résultats en continu pour arrêter trop tôt : cela crée des faux positifs
- Documentez tout : construisez votre base de connaissances de tests
- « Inconcluant » est un résultat valide : cela signifie qu'il vous faut plus de trafic ou un changement plus marqué

UTILISATION.mdMarkdownUTF-8FR55 lignes

{
"test_name": "Test de titre : fonctionnalité vs bénéfice",
"status": "Prêt pour le lancement",
"hypothesis": {
"statement": "Si nous remplaçons le titre « Logiciel de gestion de projet pour équipes » par « Livrez vos projets 2 fois plus vite », alors le CTR s'améliorera d'au moins 10 % car les titres axés sur les bénéfices qui adressent un résultat (la rapidité) surperforment les titres axés sur les fonctionnalités (le type de logiciel), selon l'analyse concurrentielle et les principes du copywriting direct response.",
"confidence_level": "Moyenne à élevée",
"basis": "Observation de la concurrence, bonnes pratiques établies en copywriting, en phase avec l'intention utilisateur (les gens veulent des résultats, pas des outils)"
},
"test_design": {
"variable_tested": "Titre RSA",
"control": {
"headline": "Logiciel de gestion de projet pour équipes",
"description": "Axé fonctionnalités, décrit ce qu'est le produit"
},
"variation": {
"headline": "Livrez vos projets 2 fois plus vite",
"description": "Axé bénéfices, décrit le résultat obtenu par l'utilisateur"
},
"isolation_confirmed": "Seul le titre 1 diffère entre les variations. Tous les autres titres, descriptions et paramètres d'annonce restent identiques."
},
"statistical_requirements": {
"baseline_metric": {
"name": "CTR",
"value": "4,2 %"
},
"minimum_detectable_effect": {
"relative": "10 %",
"absolute": "0,42 point de pourcentage (4,2 % → 4,62 %)"
},
"sample_size_calculation": {
"formula": "n = 16 × p × (1-p) / MDE²",
"calculation": "n = 16 × 0,042 × 0,958 / 0,10² = 6 441 par variation",
"total_needed": 12882
},
"duration_calculation": {
"daily_traffic": 450,
"traffic_per_variation": 225,
"days_needed": "6 441 / 225 = 29 jours",
"recommended_duration": "21 jours (votre contrainte), voir remarque"
},
"confidence_level": "95 %",
"statistical_power": "80 %",
"note": "Avec la contrainte de 21 jours, vous obtiendrez environ 4 725 clics par variation. Cela donne une puissance d'environ 75 % pour détecter une amélioration de 10 %, ou une pleine puissance pour détecter une amélioration de 12 %. Compromis acceptable au vu de la contrainte business."
},
"success_criteria": {
"primary_metric": {
"metric": "Taux de clic (CTR)",
"winner_threshold": "≥10 % d'amélioration relative",
"confidence_required": "95 %"
},
"secondary_metrics": [
{
"metric": "Taux de conversion",
"threshold": "À surveiller, ne doit pas baisser de plus de 15 %",
"reason": "Un CTR plus élevé ne sert à rien s'il attire la mauvaise audience"
}
],
"guardrails": [
{
"metric": "CPA",
"threshold": "Ne doit pas augmenter de plus de 20 %",
"reason": "Garantit qu'on ne sacrifie pas l'efficacité pour des clics de vanité"
}
],
"decision_rules": {
"winner": "CTR de la variation ≥10 % supérieur avec 95 % de confiance ET garde-fous respectés",
"loser": "CTR de la variation inférieur OU garde-fous non respectés",
"inconclusive": "Amélioration du CTR <10 % ou confiance <95 %, prolonger le test ou accepter le résultat nul"
}
},
"execution_plan": {
"timeline": {
"setup_complete": "Jour 0",
"test_start": "Jour 1",
"implementation_check": "Jour 2",
"first_checkpoint": "Jour 7 (aucune décision, vérifier le tracking)",
"second_checkpoint": "Jour 14 (contrôle statistique, pas d'arrêt anticipé)",
"test_end": "Jour 21",
"analysis_complete": "Jour 22",
"decision_date": "Jour 23"
},
"traffic_split": "50 % Contrôle / 50 % Variation",
"implementation_notes": [
"Créer une nouvelle RSA avec le titre de la variation épinglé en position 1",
"Garder tous les autres titres identiques au contrôle",
"Activer l'expérience dans Google Ads (fonctionnalité d'expérience de campagne)",
"Définir une répartition de trafic 50/50",
"Vérifier que les deux annonces diffusent bien au jour 1"
],
"monitoring_checkpoints": [
"Jour 1-2 : vérifier que les deux variations reçoivent du trafic",
"Jour 7 : contrôler la répartition des impressions (doit être ~50/50)",
"Jour 14 : revoir la qualité des données, noter toute anomalie",
"Jour 21 : terminer le test, commencer l'analyse"
],
"do_not": [
"Consulter les résultats chaque jour en espérant un gagnant précoce",
"Arrêter le test prématurément même si une variation semble meilleure",
"Modifier autre chose dans la campagne pendant le test"
]
},
"risks_and_considerations": [
{
"risk": "Le message axé bénéfice peut attirer des curieux plutôt que des acheteurs",
"mitigation": "Le garde-fou sur le taux de conversion permettra de le détecter",
"likelihood": "Faible à moyenne"
},
{
"risk": "La fenêtre de 21 jours est légèrement sous-dimensionnée",
"mitigation": "On accepte un MDE de 12 % à pleine puissance, ou de 10 % à 75 % de puissance",
"likelihood": "Compromis acceptable"
},
{
"risk": "Facteurs externes pendant la période de test",
"mitigation": "Documenter tout événement, promotion ou changement concurrentiel connu",
"likelihood": "Inconnu"
}
],
"documentation_template": {
"pre_test": {
"test_name": "Test de titre : fonctionnalité vs bénéfice",
"hypothesis": "Le titre axé bénéfice améliorera le CTR d'au moins 10 %",
"start_date": "[Date]",
"expected_end_date": "[Date + 21 jours]",
"success_criteria": "≥10 % d'amélioration du CTR à 95 % de confiance",
"guardrails": "Le CPA ne doit pas augmenter de plus de 20 %"
},
"post_test": {
"actual_end_date": "[Date]",
"result": "[Gagné / Perdu / Non concluant]",
"control_ctr": "[X %]",
"variation_ctr": "[X %]",
"improvement": "[X %]",
"statistical_significance": "[X %]",
"guardrails_status": "[Respecté / Non respecté]",
"decision": "[Implémenter / Rejeter / Prolonger]",
"key_learning": "[Ce qu'on a appris, quel que soit le résultat]",
"next_test": "[Le prochain test à mener en fonction des résultats]"
}
}
}

{
  "test_name": "Test de titre : fonctionnalité vs bénéfice",
  "status": "Prêt pour le lancement",

  "hypothesis": {
    "statement": "Si nous remplaçons le titre « Logiciel de gestion de projet pour équipes » par « Livrez vos projets 2 fois plus vite », alors le CTR s'améliorera d'au moins 10 % car les titres axés sur les bénéfices qui adressent un résultat (la rapidité) surperforment les titres axés sur les fonctionnalités (le type de logiciel), selon l'analyse concurrentielle et les principes du copywriting direct response.",
    "confidence_level": "Moyenne à élevée",
    "basis": "Observation de la concurrence, bonnes pratiques établies en copywriting, en phase avec l'intention utilisateur (les gens veulent des résultats, pas des outils)"
  },

  "test_design": {
    "variable_tested": "Titre RSA",
    "control": {
      "headline": "Logiciel de gestion de projet pour équipes",
      "description": "Axé fonctionnalités, décrit ce qu'est le produit"
    },
    "variation": {
      "headline": "Livrez vos projets 2 fois plus vite",
      "description": "Axé bénéfices, décrit le résultat obtenu par l'utilisateur"
    },
    "isolation_confirmed": "Seul le titre 1 diffère entre les variations. Tous les autres titres, descriptions et paramètres d'annonce restent identiques."
  },

  "statistical_requirements": {
    "baseline_metric": {
      "name": "CTR",
      "value": "4,2 %"
    },
    "minimum_detectable_effect": {
      "relative": "10 %",
      "absolute": "0,42 point de pourcentage (4,2 % → 4,62 %)"
    },
    "sample_size_calculation": {
      "formula": "n = 16 × p × (1-p) / MDE²",
      "calculation": "n = 16 × 0,042 × 0,958 / 0,10² = 6 441 par variation",
      "total_needed": 12882
    },
    "duration_calculation": {
      "daily_traffic": 450,
      "traffic_per_variation": 225,
      "days_needed": "6 441 / 225 = 29 jours",
      "recommended_duration": "21 jours (votre contrainte), voir remarque"
    },
    "confidence_level": "95 %",
    "statistical_power": "80 %",
    "note": "Avec la contrainte de 21 jours, vous obtiendrez environ 4 725 clics par variation. Cela donne une puissance d'environ 75 % pour détecter une amélioration de 10 %, ou une pleine puissance pour détecter une amélioration de 12 %. Compromis acceptable au vu de la contrainte business."
  },

  "success_criteria": {
    "primary_metric": {
      "metric": "Taux de clic (CTR)",
      "winner_threshold": "≥10 % d'amélioration relative",
      "confidence_required": "95 %"
    },
    "secondary_metrics": [
      {
        "metric": "Taux de conversion",
        "threshold": "À surveiller, ne doit pas baisser de plus de 15 %",
        "reason": "Un CTR plus élevé ne sert à rien s'il attire la mauvaise audience"
      }
    ],
    "guardrails": [
      {
        "metric": "CPA",
        "threshold": "Ne doit pas augmenter de plus de 20 %",
        "reason": "Garantit qu'on ne sacrifie pas l'efficacité pour des clics de vanité"
      }
    ],
    "decision_rules": {
      "winner": "CTR de la variation ≥10 % supérieur avec 95 % de confiance ET garde-fous respectés",
      "loser": "CTR de la variation inférieur OU garde-fous non respectés",
      "inconclusive": "Amélioration du CTR <10 % ou confiance <95 %, prolonger le test ou accepter le résultat nul"
    }
  },

  "execution_plan": {
    "timeline": {
      "setup_complete": "Jour 0",
      "test_start": "Jour 1",
      "implementation_check": "Jour 2",
      "first_checkpoint": "Jour 7 (aucune décision, vérifier le tracking)",
      "second_checkpoint": "Jour 14 (contrôle statistique, pas d'arrêt anticipé)",
      "test_end": "Jour 21",
      "analysis_complete": "Jour 22",
      "decision_date": "Jour 23"
    },
    "traffic_split": "50 % Contrôle / 50 % Variation",
    "implementation_notes": [
      "Créer une nouvelle RSA avec le titre de la variation épinglé en position 1",
      "Garder tous les autres titres identiques au contrôle",
      "Activer l'expérience dans Google Ads (fonctionnalité d'expérience de campagne)",
      "Définir une répartition de trafic 50/50",
      "Vérifier que les deux annonces diffusent bien au jour 1"
    ],
    "monitoring_checkpoints": [
      "Jour 1-2 : vérifier que les deux variations reçoivent du trafic",
      "Jour 7 : contrôler la répartition des impressions (doit être ~50/50)",
      "Jour 14 : revoir la qualité des données, noter toute anomalie",
      "Jour 21 : terminer le test, commencer l'analyse"
    ],
    "do_not": [
      "Consulter les résultats chaque jour en espérant un gagnant précoce",
      "Arrêter le test prématurément même si une variation semble meilleure",
      "Modifier autre chose dans la campagne pendant le test"
    ]
  },

  "risks_and_considerations": [
    {
      "risk": "Le message axé bénéfice peut attirer des curieux plutôt que des acheteurs",
      "mitigation": "Le garde-fou sur le taux de conversion permettra de le détecter",
      "likelihood": "Faible à moyenne"
    },
    {
      "risk": "La fenêtre de 21 jours est légèrement sous-dimensionnée",
      "mitigation": "On accepte un MDE de 12 % à pleine puissance, ou de 10 % à 75 % de puissance",
      "likelihood": "Compromis acceptable"
    },
    {
      "risk": "Facteurs externes pendant la période de test",
      "mitigation": "Documenter tout événement, promotion ou changement concurrentiel connu",
      "likelihood": "Inconnu"
    }
  ],

  "documentation_template": {
    "pre_test": {
      "test_name": "Test de titre : fonctionnalité vs bénéfice",
      "hypothesis": "Le titre axé bénéfice améliorera le CTR d'au moins 10 %",
      "start_date": "[Date]",
      "expected_end_date": "[Date + 21 jours]",
      "success_criteria": "≥10 % d'amélioration du CTR à 95 % de confiance",
      "guardrails": "Le CPA ne doit pas augmenter de plus de 20 %"
    },
    "post_test": {
      "actual_end_date": "[Date]",
      "result": "[Gagné / Perdu / Non concluant]",
      "control_ctr": "[X %]",
      "variation_ctr": "[X %]",
      "improvement": "[X %]",
      "statistical_significance": "[X %]",
      "guardrails_status": "[Respecté / Non respecté]",
      "decision": "[Implémenter / Rejeter / Prolonger]",
      "key_learning": "[Ce qu'on a appris, quel que soit le résultat]",
      "next_test": "[Le prochain test à mener en fonction des résultats]"
    }
  }
}

expected_output.jsonJSONUTF-8FR148 lignes

Questions

Questions fréquentes

À partir de combien de clics ou de conversions un test A/B a-t-il vraiment un sens ?

Tout dépend de votre taux de conversion actuel et de l'amélioration minimale que vous voulez détecter (le fameux MDE). Avec un taux de conversion de 3 % et un MDE de 15 %, il faut environ 20 700 visiteurs par variante, soit plus de 41 000 au total. En dessous de ce seuil, arrêtez de conclure quoi que ce soit : vous lisez du bruit statistique, pas un signal.

Combien de temps faut-il faire tourner un test avant de trancher ?

Jamais moins de 7 jours, même si le résultat semble déjà clair au bout de 2 jours : il faut couvrir une semaine complète pour lisser les écarts de comportement entre lundi et dimanche. La durée idéale se situe entre 14 et 28 jours selon le volume de trafic, et si votre calcul dépasse 60 jours, c'est le signe qu'il faut soit accepter un effet minimum détectable plus large, soit tester sur un emplacement à plus fort trafic.

Quelle est l'erreur qui fausse le plus de tests A/B en PME ?

Regarder les résultats chaque jour et couper le test dès qu'une variante semble gagner : la significativité statistique fluctue en cours de route, et arrêter tôt multiplie les faux positifs. La deuxième erreur la plus fréquente est de changer plusieurs éléments en même temps (accroche, image et CTA), ce qui rend impossible d'identifier ce qui a réellement fait la différence.

Quel gain de performance viser selon ce qu'on teste (annonce, page d'atterrissage, enchères) ?

Sur un texte d'annonce, visez un MDE de 10 à 20 % de CTR sur 7 à 14 jours. Sur une page d'atterrissage (titre, formulaire, CTA), comptez 15 à 25 % d'amélioration du taux de conversion sur 14 à 28 jours. Sur une stratégie d'enchères, c'est plus long (28 à 42 jours) car l'algorithme a besoin d'une période d'apprentissage, pour un gain typique de 10 à 15 % de CPA.

Comment décider objectivement si une variante a « gagné » sans se mentir à soi-même ?

Fixez trois niveaux de métriques avant de lancer le test : une métrique principale avec un seuil de victoire clair (ex. CTR +15 % à 95 % de confiance), des métriques secondaires à surveiller sans seuil strict, et des métriques garde-fous qui ne doivent jamais se dégrader (ex. le CPA ne doit pas grimper de plus de 20 %). Si la métrique principale gagne mais qu'un garde-fou casse, la variante est rejetée, même si elle a l'air séduisante sur le papier.

Classement de performance des textes d'annonces

Détecteur d'usure créative

Détecteur de fatigue créative publicitaire