Segments dynamiques et groupe témoin : garder une comparaison CRM interprétable

Un segment dynamique sert à repérer les clients qui répondent aujourd’hui à des critères. Il ne constitue pas automatiquement une population stable pour mesurer l’effet d’une campagne. Si les personnes qui rachètent quittent la liste, comparer uniquement les membres restants fait disparaître une partie du résultat recherché.

La méthode proposée sépare trois éléments : le segment opérationnel, l’éligibilité à recevoir le message et l’affectation au test. Elle prépare une comparaison avec groupe témoin ; aucun segment, envoi ou résultat marchand n’a été observé pour cet article.

Comprendre pourquoi la liste change

Shopify définit les segments clients comme des listes dynamiques fondées sur des règles. Un profil entre lorsqu’il répond aux critères et sort lorsqu’il n’y répond plus. Deux extractions à des dates différentes peuvent donc contenir des personnes différentes sans modification de la règle.

L’effectif affiché mérite aussi une vérification. Shopify explique quand le comptage de l’index est actualisé. Un nombre vu dans une liste de segments ne suffit pas à reconstruire la composition utilisée lors d’un envoi antérieur.

Les mécanismes diffèrent selon les services. Klaviyo distingue les mises à jour liées à un événement et certaines conditions de temps relatif. L’absence d’un nouvel achat ne produit pas le même événement qu’un achat ; certaines entrées ou sorties sont recalculées périodiquement. Ne pas supposer une actualisation instantanée pour toute règle.

Écrire la question avant le segment

Prenons un cas fictif : l’équipe veut savoir si une relance aide des clients inactifs à revenir. Définir ce que signifie inactif dans le périmètre connu, la date de référence, les commandes retenues et l’historique disponible. Aucun délai idéal d’inactivité n’est valable pour tous les catalogues.

La question proposée porte sur l’effet de l’affectation à une stratégie de relance, par rapport à l’affectation au groupe sans cette relance, pendant une fenêtre définie. Elle ne vise pas seulement les personnes qui auront effectivement reçu ou ouvert le message. Elle diffère d’un test comparant deux objets d’email et d’un suivi descriptif des membres actuels du segment.

Vérifier aussi les champs manquants, les commandes importées et les changements d’identité. Une absence de date n’est pas nécessairement une absence d’achat. Le dossier sur le réachat à temps d’observation égal fixe la question du recul ; ici, le problème supplémentaire est de préserver l’affectation comparée.

Distinguer appartenance, contact et affectation

Un profil peut appartenir au segment sans être autorisé ou techniquement capable de recevoir le message. Shopify précise que seuls les abonnés email concernés reçoivent les messages de Shopify Messaging et qu’une adresse valide est nécessaire. L’effectif du segment peut donc dépasser les destinataires effectivement servis. Source : gestion des segments.

La préparation doit vérifier les autorisations de contact, les oppositions, les suppressions et les contraintes propres au canal. Un tag ou une condition d’achat ne crée pas, à lui seul, un droit de prospecter.

L’affectation au test répond à une troisième question : dans quel groupe la personne a-t-elle été placée ? Conserver cette information ne donne pas une permission permanente de la contacter. Si son éligibilité change, respecter cette évolution et en garder la trace dans le cadre de conservation applicable.

Préserver les groupes du test défini

Pour le cas fictif, une option est de définir une population d’entrée fermée à une date donnée, puis d’affecter les unités éligibles entre traitement et témoin selon une méthode aléatoire documentée. Le NIST décrit le principe général de randomisation ; sa page ne constitue pas une recette complète de campagne CRM.

Conserver ensuite l’affectation initiale pour la comparaison prévue. Si un client rachète après la relance, sa sortie du segment d’inactivité ne doit pas l’effacer de l’analyse des résultats du groupe auquel il avait été affecté. Sinon, le comportement que l’on cherche à mesurer modifierait lui-même la population analysée.

Ne pas réaffecter chaque jour les personnes entre traitement et témoin en relançant simplement la requête dynamique. Prévoir également le traitement des nouveaux entrants : hors de ce test fermé, ou dans une procédure d’entrée continue définie à l’avance avec affectation et recul traçables.

Cette recommandation ne signifie pas que tous les outils imposent un groupe fermé. Les groupes témoins globaux de Klaviyo peuvent grandir avec les profils. Le dispositif documenté exige au moins 400 000 profils ; il ne doit pas être présenté comme une fonction disponible pour toute petite boutique. Son périmètre global diffère d’une seule campagne.

Définir l’analyse selon l’affectation initiale

La proposition suit une analyse selon l’affectation initiale : chaque personne reste analysée dans le groupe prévu au départ, même si le message n’a finalement pas été envoyé ou reçu. Le manuel méthodologique Cochrane, sections 8.2.2 et 8.5, distingue cet effet d’affectation de celui d’une intervention effectivement reçue et explique les biais liés aux résultats manquants. Ces principes d’essais randomisés sont ici adaptés au protocole CRM, sans emprunter de résultat clinique.

Pour chaque groupe, fixer avant le test un indicateur : proportion des personnes initialement affectées qui passent au moins une commande payée répondant à la définition, dans la fenêtre commune après l’affectation. Le dénominateur est le nombre de personnes initialement affectées au groupe ; une personne qui commande plusieurs fois ne compte qu’une fois au numérateur. La règle sur les annulations et remboursements doit être choisie avant l’analyse et identique entre groupes.

Un non-envoi est un état d’exposition, pas automatiquement une donnée de résultat manquante : son réachat peut rester connu dans le système métier. Inversement, si l’historique d’achat d’une personne n’est pas observable dans le périmètre défini, ne pas la classer comme n’ayant pas racheté. Rapporter séparément, par groupe, les effectifs affectés, les résultats connus et les résultats manquants. Le ratio recherché sur tous les affectés n’est pas complètement mesurable par simple division si des résultats manquent.

Ne pas retirer silencieusement ces personnes du dénominateur ni les remplacer par zéro. Faire examiner les causes, les hypothèses et les analyses de sensibilité prévues par le protocole avant une conclusion causale. Une comparaison limitée aux seuls destinataires joints répondrait à une autre question et ne conserve pas automatiquement le bénéfice de l’affectation aléatoire.

Prévoir les changements d’identifiants

Avant l’affectation, définir une unité client et traiter les doublons connus selon des règles documentées. Pendant le test, conserver la correspondance entre identifiants d’origine et nouveaux identifiants ; une fusion ne doit pas effacer l’appartenance historique.

Si deux profils affectés à des groupes différents se révèlent appartenir à la même personne, suspendre le rapprochement automatique et saisir le responsable du protocole. Celui-ci doit appliquer la règle de collision prévue avant lecture des résultats, avec une décision prise sans choisir le groupe au résultat le plus favorable. Conserver les affectations et expositions d’origine pour documenter le problème ; ne pas compter automatiquement la même personne deux fois.

Si aucune règle préalable ne permet de résoudre la collision, l’unité de comparaison initiale peut être invalide. Documenter l’écart et faire réexaminer l’analyse ; ne pas annoncer un effet client exact en sélectionnant après coup une affectation ou une exclusion. La correction de l’identité et la validité statistique sont deux décisions distinctes.

Empêcher les autres envois de brouiller la question

Le protocole doit préciser ce que le groupe témoin ne reçoit pas et ce qu’il continue de recevoir. Une confirmation de commande ou un message nécessaire au service ne doit pas être supprimé par facilité de mesure. Klaviyo documente notamment les exceptions transactionnelles et les dérogations de son mécanisme global.

Une autre campagne, un SMS ou une remise accordée par le support peuvent modifier l’exposition. Recenser ces situations et les exclusions décidées avant de lire le résultat. Ne pas supprimer après coup les cas gênants pour rendre l’écart plus favorable.

La taille des groupes, la durée et la précision nécessaire relèvent du protocole statistique adapté à la question. L’article ne propose aucun pourcentage universel de témoin, aucune durée magique et aucune hausse attendue.

Relire la comparaison avec ses limites

Avant l’analyse, rapprocher les affectations, les messages réellement envoyés et les résultats métier. Garder la même définition de commande, de remboursement et de fenêtre pour les deux groupes. Les personnes non jointes ou devenues inéligibles ne doivent pas disparaître silencieusement du suivi.

Conserver les effectifs et les écarts de données avec les résultats, puis faire examiner l’incertitude et les différences d’exposition. Un écart brut n’est pas à lui seul une preuve d’efficacité ou de rentabilité. Le plan de mesure e-commerce accueille ces définitions et les contrôles de qualité.

Si les affectations historiques ou les changements de population ne peuvent pas être retrouvés, le constat reste descriptif. La décision utile est alors de préparer un test plus traçable, pas d’attribuer à la campagne ce que le fichier ne permet pas d’isoler.

Sources consultées le 23 octobre 2026. Aucun compte CRM ni donnée personnelle n’a été consulté ; les procédures proposées ne valent pas test exécuté ni validation juridique du contact.