Mesure & attribution
Concepteur de tests d'incrémentalité
Conçoit des tests d'incrémentalité rigoureux (geo-lift, holdout, lift de conversion) pour mesurer l'impact causal réel des dépenses publicitaires. Se déclenche quand l'utilisateur pose une question sur l'incrémentalité, « comment savoir si mes publicités fonctionnent vraiment », les tests de lift, les expériences géographiques, les tests holdout, ou souhaite mesurer l'efficacité publicitaire réelle au-delà de l'attribution. Fournit des designs de test statistiquement valides avec des plans de mise en œuvre clairs.
---name: concepteur-de-tests-d-incrementalitedescription: "Conçoit des tests d'incrémentalité rigoureux (geo-lift, holdout, lift de conversion) pour mesurer l'impact causal réel des dépenses publicitaires. Se déclenche quand l'utilisateur pose une question sur l'incrémentalité, « comment savoir si mes publicités fonctionnent vraiment », les tests de lift, les expériences géographiques, les tests holdout, ou souhaite mesurer l'efficacité publicitaire réelle au-delà de l'attribution. Fournit des designs de test statistiquement valides avec des plans de mise en œuvre clairs."---# Concepteur de tests d'incrémentalitéL'attribution vous dit qui a vu votre publicité avant de convertir. L'incrémentalité vous dit si votre publicité a réellement causé la conversion.## Philosophie fondamentale**L'attribution n'est pas la causalité.** Ce n'est pas parce qu'une personne a cliqué sur votre publicité avant d'acheter que la publicité a causé l'achat. Elle aurait peut-être acheté quand même.**La question fondamentale :** parmi toutes les conversions attribuées à vos publicités, combien seraient survenues sans la publicité ?**Pourquoi c'est important :**- Si 50 % des conversions attribuées se produiraient de toute façon de façon organique, votre CPA réel est le double de ce que vous pensez- Vous « acquérez » peut-être des clients qui allaient déjà acheter- Passer à l'échelle des canaux inefficaces gaspille du budget**La seule façon de le savoir, c'est de tester.** Le test d'incrémentalité crée des expériences contrôlées qui comparent les résultats avec et sans publicité.**Types de tests d'incrémentalité :**| Type de test | Fonctionnement | Idéal pour ||-----------|--------------|----------|| Geo-lift | Compare des régions avec/sans publicité | Gros budgets, ciblage large || Holdout | Exclut un % de l'audience de l'exposition aux publicités | Retargeting, audiences spécifiques || Lift de conversion | Test A/B natif de la plateforme | Meta, Google, TikTok || Ghost ads | Enregistre mais n'affiche pas les publicités au groupe témoin | Display, programmatique |---## Contexte requis### Indispensable**1. Dispositif publicitaire actuel**- Canaux en activité (Google, Meta, TikTok, etc.)- Dépense mensuelle par canal- CPA/ROAS attribué actuel par canal- Types de campagnes (marque, hors marque, retargeting, prospection)**2. Contexte business**- Type de conversion (achat, lead, inscription)- Valeur moyenne de commande ou de lead- Volume de conversion typique par jour/semaine- Répartition géographique des clients**3. Objectif du test**- Que voulez-vous mesurer précisément ?- Quel canal ou type de campagne ?- Quelle décision ce test doit-il éclairer ?### Fortement recommandé**4. Données historiques**- 3 à 6 mois de données de conversion- Tendances saisonnières- Répartition géographique des conversions- Tendances jour de semaine/heure**5. Contraintes du test**- Budget minimum pour le test- Risque maximal acceptable- Exigences de calendrier- Restrictions géographiques### Un plus- Résultats de précédents tests d'incrémentalité- Données de marketing mix model- Données CRM sur la source d'acquisition client- Intelligence concurrentielle---## Cadre de conception du test### Étape 1 : Choisir le type de test**Matrice de décision :**| Facteur | Geo-Lift | Holdout | Lift plateforme | Ghost Ads ||--------|----------|---------|---------------|-----------|| Dépense minimale | Élevée (50 000 €+/mois) | Moyenne (10 000 €+/mois) | Moyenne (10 000 €+/mois) | Élevée || Complexité de mise en place | Élevée | Moyenne | Faible | Élevée || Rigueur statistique | Maximale | Élevée | Moyenne | Élevée || Dépendance à la plateforme | Aucune | Aucune | Spécifique à la plateforme | Spécifique au DSP || Idéal pour | Prospection, marque | Retargeting | Lectures rapides | Display |**Logique de recommandation :**```SI mesure de campagnes de prospection/marque ET budget > 50 000 €/mois→ Test geo-liftSI mesure de retargeting ET segments d'audience définis→ Test holdoutSI besoin d'une lecture directionnelle rapide ET diffusion sur Meta/Google→ Lift de conversion natif plateformeSI diffusion display programmatique→ Ghost ads (si le DSP le permet)```---### Étape 2 : Conception du test geo-lift**Concept :** diviser les régions géographiques en zones test (publicité active) et zones témoin (publicité coupée), puis comparer les taux de conversion.**Critères de sélection des régions :**| Facteur | Exigence ||--------|-------------|| Similarité | Les régions test et témoin doivent avoir des performances historiques similaires || Indépendance | Les régions ne doivent pas avoir d'effets de débordement entre elles || Volume | Chaque région doit avoir suffisamment de conversions pour la significativité || Stabilité | Éviter les régions à volatilité inhabituelle |**Approche recommandée :**1. **Identifier les régions candidates** (zones de chalandise, régions, pays)2. **Analyser la corrélation historique** entre régions3. **Apparier les paires test/témoin** selon :- Le taux de conversion historique- Les tendances saisonnières- La similarité démographique- La pénétration commerciale4. **Randomiser l'affectation** au sein des paires appariées5. **Calculer la taille d'échantillon requise****Bonnes pratiques de sélection géographique :**| Bonnes paires | Mauvaises paires ||------------|-----------|| Population de taille similaire | Grande métropole vs zone rurale || Tendances historiques similaires | Zone saisonnière vs non saisonnière || Pas d'achats transfrontaliers | Régions frontalières avec débordement || Les deux ont une présence physique | L'une a des boutiques, l'autre non |**Exigences minimales :**| Indicateur | Minimum ||--------|---------|| Régions par groupe | 5+ (idéalement 10+) || Conversions par région/semaine | 30+ || Durée du test | 4 à 8 semaines || Observation pré-test | 4 semaines+ |---### Étape 3 : Conception du test holdout**Concept :** exclure aléatoirement un pourcentage de votre audience cible de l'exposition aux publicités.**Structure du holdout d'audience :**```AUDIENCE TOTALE↓┌───────────────────────────────────────┐│ GROUPE TEST (85 à 95 %) ││ → Voit les publicités normalement ││ → Suivi de toutes les conversions │├───────────────────────────────────────┤│ GROUPE TÉMOIN (5 à 15 %) ││ → Exclu de l'exposition publicitaire ││ → Suivi des conversions organiques │└───────────────────────────────────────┘```**Repères de pourcentage de holdout :**| Scénario | % Holdout | Justification ||----------|-----------|-----------|| Forte confiance requise | 10 à 15 % | Plus de puissance statistique || Budget limité | 5 à 10 % | Minimiser la perte d'opportunité || Audience à forte valeur | 5 % | Ne pas exclure trop de monde || Test d'hypothèse | 10 à 15 % | Signal clair nécessaire |**Options de mise en œuvre :**| Plateforme | Comment mettre en œuvre ||----------|------------------|| Meta | Holdout de campagne dans Expériences || Google | Exclusion d'audience + suivi séparé || Toute plateforme | Liste d'exclusion basée sur le CRM |**Exigences du test holdout :**| Indicateur | Minimum ||--------|---------|| Taille du groupe témoin | 10 000+ utilisateurs || Conversions dans le témoin | 100+ || Durée du test | 2 à 4 semaines || Base pré-test | 2 semaines+ |---### Étape 4 : Études de lift de conversion natives aux plateformes**Lift de conversion Meta :**- Outil natif dans Ads Manager (Expériences)- Répartit aléatoirement l'audience en test/témoin- Mesure le lift incrémental des conversions- Nécessite une dépense significative (~10 000 €+ sur la période de test)**Lift de conversion Google :**- Disponible via un représentant Google- Utilise le graphe utilisateur de Google pour le holdout- Mesure le lift de recherche de marque et les conversions- Nécessite généralement des budgets plus importants**Brand Lift / Conversion Lift TikTok :**- Disponible via un représentant- Mesure le rappel publicitaire et l'impact sur les conversions- Méthodologie plus récente, moins éprouvée**Points à considérer pour les études de lift plateforme :**| Avantage | Inconvénient ||-----|-----|| Facile à mettre en place | Méthodologie boîte noire || La plateforme gère les statistiques | Peut favoriser la plateforme || Reporting intégré | Personnalisation limitée || Pas d'exclusions manuelles | Nécessite l'accès d'un représentant |---### Étape 5 : Exigences statistiques**Calcul de la taille d'échantillon :**Pour détecter un lift de X % avec 80 % de puissance et 95 % de confiance :| Taux de conversion de base | Lift de 10 % | Lift de 20 % | Lift de 30 % ||--------------------|----------|----------|----------|| 0,5 % | 316 000 | 78 400 | 34 800 || 1 % | 156 800 | 39 200 | 17 400 || 2 % | 78 400 | 19 600 | 8 700 || 5 % | 31 360 | 7 840 | 3 480 |*Les tailles d'échantillon sont indiquées par groupe (test + témoin)***Repères de durée du test :**| Facteur | Considération ||--------|---------------|| Minimum | 2 semaines (capter les tendances hebdomadaires) || Idéal | 4 à 6 semaines (réduire le bruit) || Maximum | 8 à 12 semaines (éviter la lassitude, les évolutions de marché) || Saisonnalité | Éviter de chevaucher les grandes fêtes || Cycles business | S'aligner sur les cycles d'achat naturels |**Cadre d'analyse de puissance :**```Entrées :- Taux de conversion de base : X %- Effet minimum détectable : Y %- Niveau de significativité : 95 % (α = 0,05)- Puissance : 80 % (β = 0,20)Sortie :- Taille d'échantillon requise par groupe- Durée de test attendue selon le trafic```---### Étape 6 : Validation pré-test**Liste de contrôle avant lancement :**| Vérification | Objectif | Critère de réussite ||-------|---------|---------------|| Randomisation | S'assurer que les groupes sont équivalents | Aucune différence significative pré-test || Suivi | Conversions correctement attribuées | Les deux groupes suivis de façon égale || Contamination | Le témoin n'est pas exposé au traitement | Aucune exposition croisée entre groupes || Taille d'échantillon | Suffisante pour la détection | Répond aux exigences de puissance || Durée | Assez longue pour la significativité | Couvre le cycle business |**Analyse pré-test :**Comparer les groupes test et témoin sur :- Le taux de conversion historique- Les données démographiques des utilisateurs (si disponibles)- Les tendances en série temporelle- L'alignement de la saisonnalité**Attendu :** aucune différence statistiquement significative avant le test---## Format de sortie### Document de conception du test```═══════════════════════════════════════════════════════════════════CONCEPTION DU TEST D'INCRÉMENTALITÉ═══════════════════════════════════════════════════════════════════Nom du test : [Nom descriptif]Type de test : [Geo-Lift / Holdout / Lift plateforme]Canal : [Google / Meta / etc.]Campagne : [Campagne spécifique ou toutes]Créé le : [Date]═══════════════════════════════════════════════════════════════════📋 APERÇU DU TEST────────────────────────────────────────────────────────────────────OBJECTIF :[À quelle question précise cherche-t-on à répondre ?]HYPOTHÈSE :[Canal/Campagne] génère un lift incrémental de [X à Y %] par rapport aux conversions organiques.HYPOTHÈSE NULLE :[Canal/Campagne] n'a aucun impact incrémental sur les conversions.DÉCISION BUSINESS :Si le lift incrémental est :- >X % : [Action]- Y à X % : [Action]- <Y % : [Action]═══════════════════════════════════════════════════════════════════🔬 CONCEPTION DU TEST────────────────────────────────────────────────────────────────────STRUCTURE DU TEST :| Groupe | Description | Taille | Traitement ||-------|-------------|------|-----------|| Test | [Description] | [X %/régions] | Publicité active || Témoin | [Description] | [X %/régions] | Publicité coupée |[Pour les tests Geo-Lift :]AFFECTATION DES RÉGIONS :| Régions test | Régions témoin ||--------------|-----------------|| [Région 1] | [Région appariée] || [Région 2] | [Région appariée] || [Région 3] | [Région appariée] || ... | ... |CRITÈRES D'APPARIEMENT :- [Critère 1]- [Critère 2]- [Critère 3][Pour les tests Holdout :]DÉFINITION DE L'AUDIENCE :- Audience totale : [X]- Pourcentage de holdout : [X %]- Sélection du holdout : [Aléatoire / Stratifiée]- Méthode d'exclusion : [Native à la plateforme / Liste CRM]═══════════════════════════════════════════════════════════════════📊 PARAMÈTRES STATISTIQUES────────────────────────────────────────────────────────────────────| Paramètre | Valeur ||-----------|-------|| Taux de conversion de base | [X %] || Effet minimum détectable | [X %] de lift relatif || Niveau de significativité (α) | 0,05 (95 % de confiance) || Puissance statistique (1-β) | 0,80 (80 % de puissance) || Taille d'échantillon requise | [X] par groupe || Volume quotidien attendu | [X] conversions || Durée minimale du test | [X] semaines |COURBE DE PUISSANCE :| Lift | Puissance | Détectable ? ||------|-------|-------------|| 5 % | [X %] | [Oui/Non] || 10 % | [X %] | [Oui/Non] || 15 % | [X %] | [Oui/Non] || 20 % | [X %] | [Oui/Non] |═══════════════════════════════════════════════════════════════════📅 CALENDRIER DU TEST────────────────────────────────────────────────────────────────────| Phase | Dates | Durée | Activités ||-------|-------|----------|------------|| Pré-test | [Plage de dates] | [X semaines] | Mesure de la base || Montée en charge | [Plage de dates] | [X jours] | Mise en place test/témoin || Test | [Plage de dates] | [X semaines] | Exécution de l'expérience || Refroidissement | [Plage de dates] | [X jours] | Conversions différées || Analyse | [Date] | [X jours] | Calcul des résultats |DURÉE TOTALE : [X semaines]CONSIDÉRATIONS DE CALENDRIER :- [Fête/événement à éviter]- [Facteur saisonnier]- [Alignement avec le cycle business]═══════════════════════════════════════════════════════════════════⚙️ GUIDE DE MISE EN ŒUVRE────────────────────────────────────────────────────────────────────MISE EN PLACE PRÉ-TEST :1. [ ] Définir les groupes test et témoin2. [ ] Valider l'équivalence des groupes3. [ ] Mettre en place l'infrastructure de suivi4. [ ] Documenter les indicateurs de base5. [ ] Créer un tableau de bord de suivi6. [ ] Briefer les parties prenantesLANCEMENT DU TEST :1. [ ] Mettre en œuvre le traitement (couper la publicité pour le témoin)2. [ ] Vérifier que les exclusions fonctionnent3. [ ] Surveiller les erreurs le jour 14. [ ] Confirmer le suivi des conversions5. [ ] Verrouiller les paramètres du testPENDANT LE TEST :⚠️ NE PAS :- Modifier le ciblage- Ajuster les budgets- Ajouter/retirer des créations- Modifier les audiences- Arrêter le test prématurément (sauf problème critique)✅ FAIRE :- Surveiller quotidiennement les anomalies- Suivre les facteurs externes- Documenter tout incident- Maintenir les exclusions═══════════════════════════════════════════════════════════════════📈 PLAN D'ANALYSE────────────────────────────────────────────────────────────────────INDICATEUR PRINCIPAL :[Nombre de conversions / Taux de conversion / Chiffre d'affaires]CALCUL DE L'INCRÉMENTALITÉ :```Conversions incrémentales = Conversions test - (Conversions témoin × Facteur d'échelle)Taux d'incrémentalité = Conversions incrémentales / Conversions test × 100CPA réel = Dépense totale / Conversions incrémentales```ANALYSES SECONDAIRES :- Incrémentalité par [segment]- Série temporelle du lift pendant le test- Intervalles de confiance- Analyse de sensibilitéTESTS STATISTIQUES :- [Nom du test] : [Objectif]- [Nom du test] : [Objectif]═══════════════════════════════════════════════════════════════════⚠️ RISQUES ET MESURES D'ATTÉNUATION────────────────────────────────────────────────────────────────────| Risque | Probabilité | Impact | Mesure d'atténuation ||------|------------|--------|--------------------|| Contamination | [É/M/F] | [É/M/F] | [Stratégie] || Taille d'échantillon insuffisante | [É/M/F] | [É/M/F] | [Stratégie] || Choc externe (concurrent, actualité) | [É/M/F] | [É/M/F] | [Stratégie] || Échec du suivi | [É/M/F] | [É/M/F] | [Stratégie] || Pression des parties prenantes pour arrêter tôt | [É/M/F] | [É/M/F] | [Stratégie] |PLAN DE CONTINGENCE :Si [scénario], alors [action].═══════════════════════════════════════════════════════════════════📋 CRITÈRES DE RÉUSSITE────────────────────────────────────────────────────────────────────CRITÈRES DE VALIDITÉ DU TEST :- [ ] Les deux groupes ont atteint l'échantillon minimum requis- [ ] Aucune contamination détectée- [ ] Aucun choc externe pendant la période de test- [ ] Suivi confirmé exactRÉSULTATS EXPLOITABLES :- Significativité statistique atteinte : [Oui/Non]- Taux d'incrémentalité : [X %] ± [Y %] IC- CPA réel : [X] €- Recommandation : [Passer à l'échelle / Maintenir / Réduire / Couper]═══════════════════════════════════════════════════════════════════```---## Scénarios courants### Scénario 1 : « Je veux vérifier si mon retargeting fonctionne vraiment »**Recommandation :** test holdout**Conception :**- Holdout de 10 % sur toutes les campagnes de retargeting- Durée de test de 4 semaines- Comparer le taux de conversion exposé vs holdout**Pourquoi :** le retargeting a souvent l'incrémentalité la plus faible (les utilisateurs étaient déjà susceptibles de convertir). Un holdout mesure cela directement.### Scénario 2 : « Comment savoir si mes annonces de recherche de marque en valent la peine ? »**Recommandation :** test geo-lift**Conception :**- Couper la recherche de marque dans 5 à 10 marchés test- Maintenir la recherche de marque active dans des marchés témoins appariés- Mesurer les conversions totales (pas seulement les conversions issues de la recherche)**Pourquoi :** la recherche de marque a souvent une forte attribution mais une incrémentalité incertaine. Le test geo capture la cannibalisation du trafic organique.### Scénario 3 : « Ma prospection trouve-t-elle vraiment de nouveaux clients ? »**Recommandation :** holdout + analyse CRM**Conception :**- Holdout de 10 à 15 % sur les audiences de prospection- Suivre l'acquisition de nouveaux clients dans les deux groupes- Comparer l'acquisition client à 30/60/90 jours**Pourquoi :** l'attribution de la prospection est souvent erronée (les utilisateurs vous auraient peut-être trouvé de toute façon). Le holdout révèle l'acquisition réelle.### Scénario 4 : « Ma direction veut des résultats rapidement »**Recommandation :** lift de conversion plateforme**Conception :**- Utiliser l'étude de lift native de Meta ou Google- Faire tourner au minimum 2 semaines- Accepter une lecture directionnelle plutôt qu'une mesure précise**Compromis :** plus rapide mais moins rigoureux. À utiliser pour des décisions directionnelles, pas pour une réallocation budgétaire majeure.### Scénario 5 : « Nous n'avons pas assez de volume pour la significativité »**Options :**1. Faire tourner le test plus longtemps (plus de temps = plus de données)2. Accepter une puissance plus faible (risque de manquer des effets réels)3. Tester au niveau du canal plutôt qu'au niveau de la campagne4. Utiliser des méthodes bayésiennes (directionnel sans significativité stricte)5. Agréger sur plusieurs marchés ou périodes---## Interprétation des résultats### Repères d'incrémentalité| Canal | Incrémentalité typique | Remarques ||---------|------------------------|-------|| Retargeting | 20 à 50 % | Souvent la plus faible ; les utilisateurs étaient de toute façon susceptibles de convertir || Recherche de marque | 30 à 60 % | Beaucoup vous trouveraient de façon organique || Recherche hors marque | 50 à 80 % | Valeur incrémentale généralement plus élevée || Prospection réseaux sociaux | 40 à 70 % | Varie selon la qualité du ciblage || Prospection display | 20 à 50 % | Souvent faible ; difficile d'atteindre des utilisateurs incrémentaux || Vidéo (notoriété) | 30 à 60 % | Lift de marque, pas conversion directe |### Ce que signifient vos résultats| Incrémentalité | Interprétation | Action ||----------------|----------------|--------|| >80 % | Fortement incrémental | Passer à l'échelle en confiance || 50 à 80 % | Bonne incrémentalité | Maintenir, optimiser || 30 à 50 % | Incrémentalité modérée | Questionner l'efficacité || <30 % | Faible incrémentalité | Envisager de couper/réduire |### Recalculer le CPA réel```CPA attribué = 50 €Taux d'incrémentalité = 40 %CPA réel = 50 € / 0,40 = 125 €Si le CPA cible est de 75 €, ce canal n'est pas efficace malgré une apparence d'efficacité en attribution.```---## Limites**Ce que je peux fournir :**- Un cadre de conception de test- Les exigences statistiques- Un accompagnement à la mise en œuvre- Une méthodologie d'analyse- Un cadre d'interprétation**Ce que je ne peux pas fournir :**- Les calculs de puissance réels (nécessite un logiciel statistique)- Les étapes de mise en place spécifiques à chaque plateforme (changent fréquemment)- Une analyse automatisée- Une inférence causale au-delà des méthodes de base**Pour un test rigoureux, envisagez aussi :**- D'engager un spécialiste de la mesure- D'utiliser des méthodes de contrôle synthétique (avancé)- De faire tourner des marketing mix models en parallèle- De solliciter les équipes de mesure des plateformes---## Liste de contrôle qualitéAvant de finaliser la conception du test :- [ ] Le type de test correspond à la question et aux contraintes- [ ] La taille d'échantillon est suffisante pour la puissance souhaitée- [ ] Les groupes test/témoin sont correctement appariés- [ ] La durée tient compte des cycles business- [ ] L'infrastructure de suivi est validée- [ ] Les risques de contamination sont identifiés- [ ] Le plan d'analyse est documenté avant le début du test- [ ] Les critères de réussite sont définis avant le début du test- [ ] Les parties prenantes sont alignées sur la méthodologie- [ ] Des plans de contingence existent pour les problèmes courants---*Compétence adaptée en français depuis le dépôt open source [anthropics/skills](https://github.com/anthropics/skills) (licence Apache 2.0).*
SKILL.mdMarkdownUTF-8FR635 lignes
Questions
Questions fréquentes
Quelle est la différence entre attribution et incrémentalité, et pourquoi mon CPA « attribué » peut mentir ?
L'attribution vous dit qui a vu la publicité avant d'acheter, l'incrémentalité vous dit si la publicité a réellement causé cet achat. Un client aurait pu convertir de toute façon, sans aucune exposition publicitaire. Concrètement : un CPA attribué à 50 euros avec un taux d'incrémentalité de 40 % donne un CPA réel de 125 euros (50 / 0,40), ce qui change radicalement la rentabilité perçue du canal.
Quel type de test choisir selon mon budget et mes canaux : geo-lift, holdout ou lift natif de la plateforme ?
Pour de la prospection ou de la recherche de marque avec plus de 50 000 euros par mois, partez sur un test geo-lift (couper la pub dans certaines régions témoins). Pour du retargeting ou une audience CRM définie, un holdout de 5 à 15 % de l'audience suffit dès 10 000 euros par mois. Si vous avez besoin d'une lecture rapide sur Meta ou Google, l'outil de lift natif de la plateforme est plus simple à lancer mais reste une méthodologie boîte noire, à réserver aux décisions directionnelles, pas à une réallocation budgétaire majeure.
Quelle est l'erreur la plus fréquente qui invalide un test d'incrémentalité en cours de route ?
La contamination : le groupe témoin finit par être exposé au traitement, par exemple via un retargeting cross-device ou une zone géographique frontalière avec débordement. La deuxième erreur classique est de toucher au ciblage, au budget ou aux créations pendant le test, ce qui casse la comparabilité des deux groupes. La règle est simple : on verrouille les paramètres au lancement et on ne touche plus à rien jusqu'à la fin, sauf incident critique.
Combien de temps doit durer un test et quel volume de conversions me faut-il pour un résultat fiable ?
Comptez 4 à 8 semaines pour un geo-lift avec au moins 5 régions par groupe et 30 conversions par région et par semaine, et 2 à 4 semaines pour un holdout avec un groupe témoin d'au moins 10 000 utilisateurs et 100 conversions dedans. Prévoyez aussi 2 à 4 semaines d'observation avant le lancement pour vérifier que les groupes sont équivalents. Avec un taux de conversion de base de 1 %, il faut environ 39 200 personnes par groupe pour détecter un lift de 20 % avec 95 % de confiance.
Quels repères d'incrémentalité par canal pour savoir si je dois passer à l'échelle ou couper le budget ?
Le retargeting tourne typiquement entre 20 et 50 % d'incrémentalité, la recherche de marque entre 30 et 60 %, la recherche hors marque entre 50 et 80 %. Au-dessus de 80 %, passez à l'échelle en confiance ; entre 30 et 50 %, questionnez sérieusement l'efficacité du canal ; en dessous de 30 %, envisagez de couper ou réduire fortement. Ces repères servent de point de comparaison mais chaque business doit valider les siens par un test réel plutôt que de les appliquer tels quels.