Probance One vous permet de mettre en place des tests A/B rapidement et simplement. Vous pouvez créer jusqu’à quatre versions d’une campagne automatisée ou d’une newsletter afin de tester différents éléments, tels que le modèle, la personnalisation du contenu, l’heure d’envoi, l’objet ou encore le nom de l’expéditeur. Ces tests A/B peuvent être simples ou optimisés.
Un test A/B optimisé est entièrement automatisé : plusieurs variantes d’une même campagne sont envoyées sur une période définie — quelques heures pour une newsletter, plusieurs jours ou semaines pour une campagne automatisée. À l’issue de cette période, P-ONE sélectionne automatiquement la version la plus performante, qui est alors envoyée au reste de la cible et à tous les futurs destinataires de la campagne.
Ce tutoriel vous expliquera comment créer un test A/B optimisé pour une campagne automatisée ou une newsletter.
1. Avant de commencer
Voici quelques informations à savoir et à considérer avant de créer votre A/B test.
- Les A/B tests sont configurés sur des campagnes et newsletters existantes.
- Lors de la création d’un A/B test, les versions sont générées en reprenant tous les éléments de la campagne de base.
- Si l’A/B test est créé à partir d’une campagne vierge, vous devrez configurer manuellement chaque élément pour chacune des versions. Pour gagner du temps, il est donc recommandé de configurer l’A/B test après avoir défini les éléments communs à toutes les versions de la campagne.
- L’option Heure d’envoi personnalisée n’est pas disponible pour les campagnes avec A/B test. Inversement, si l’option est activée sur une campagne, vous ne pourrez pas configurer d’A/B test sur celle-ci.
- Vous ne pouvez pas créer d’A/B test sur les repasses, ni sur les campagnes avec repasse.
2. Créer un A/B test
2.1. Sur une campagne automatisée
- Dans la page de configuration de votre campagne, accédez au bloc A/B test (au pied de la page) et cliquez sur Créer.
- Une fois le bloc mis à jour, cliquez sur Editer.
- Cochez l’option Optimisé.
- Dans la liste déroulante Nombre de versions, sélectionnez la configuration de votre A/B test. Par exemple, pour définir 3 versions, sélectionnez A/B/C.
- Dans Meilleure version envoyée, sélectionnez le délai de sélection de la version la plus performant, et au bout duquel l’A/B test se terminera. Deux options sont disponibles :
- Dès que possible : la version la plus performance sera automatiquement sélectionnée par PONE lorsque suffisamment de données auront été récoltées pour que les résultats soient considérés probants.
- Au plus tard le : la version la plus performante sera automatiquement sélectionnée par PONE au plus tard à la date que vous définissez.
- Dans la liste déroulante Critère d’optimisation, sélectionnez la donnée à utiliser pour déterminer la version la plus performante.
- Cliquez sur Enregistrer pour confirmer.
2.2. Sur une newsletter
- Dans la page de configuration de votre campagne, accédez au bloc A/B test (au pied de la page) et cliquez sur Créer.
- Une fois le bloc mis à jour, cliquez sur Editer.
- Cochez l’option Optimisé.
- Dans la liste déroulante Volume de test total, sélectionnez quelle part de la cible devra recevoir les versions testées. Deux options sont disponibles :
- 5% par test signifie que chaque version sera envoyée à 5% de la cible de la newsletter (5% recevra la version A, un autre 5% de la cible recevra la version B et ainsi de suite s’il y a plus de deux versions). Le reste de la cible recevra la meilleure version, sélectionnée automatiquement par Probance one.
- 10% par test signifie que chaque version testée sera envoyée à 10% de la cible (10% recevra la version A, un autre 10% de la cible recevra la version B et ainsi de suite s’il y a plus de deux versions). Le reste de la cible recevra la meilleure version, sélectionnée automatiquement par Probance One.
- Dans la liste déroulante Nombre de versions, sélectionnez la configuration de votre A/B test. Par exemple, pour définir 3 versions, sélectionnez A/B/C.
- Dans Meilleure version envoyée, sélectionnez le délai d’envoi de la version la plus performante au reliquat de la cible. Deux options sont disponibles :
- Dès que possible : dès que la version la plus performante est déterminée (résultats analysés deux heures après l’envoi de l’A/B test), elle est envoyée au reste de la cible.
- Le lendemain à la même heure
- Dans la liste déroulante Critère d’optimisation, sélectionnez la donnée à utiliser pour déterminer la version la plus performante.
- Cliquez sur Enregistrer pour confirmer.
3. Définir les variantes
La section Changer vous permet de définir vos variantes, en modifiant le ou les éléments que vous souhaitez tester pour chaque version. Vous pouvez faire varier le template, le sujet, l’offre personnalisée et l‘heure d’envoi.
Pour créer une variante, procédez comme suit.
- Ouvrez l’onglet correspondant à la caractéristique que vous souhaitez tester.
- Ces onglets permettent de configurer individuellement chaque version du test : cliquez sur Editer au niveau de Campagne A pour modifier le contenu de la version A.
- Saisissez les paramètres à tester dans les champs correspondants, puis cliquez sur Enregistrer pour valider.
- Répétez ces étapes pour chacune des autres versions de votre A/B test.
Pour tirer des conclusions fiables d’un A/B test, il est conseillé de ne faire varier qu’un élément à la fois. Consultez notre guide dédié aux bonnes pratiques de l’A/B test pour optimiser votre usage de la feature.
4. Tester les versions
Nous vous recommandons vivement de tester chaque version avant d’activer votre A/B test, afin de vérifier le contenu et l’affichage de votre email dans toutes les configurations possibles.
- Accédez à l’onglet Template.
- Testez la version A : Pour tester la version A, cliquez sur le bouton Envoyer un test situé sous l’aperçu de la Campagne A.
- Ajoutez les destinataires du test : dans le champ Liste des destinataires, saisissez les adresses email qui recevront le test, en les séparant par un retour à la ligne.
- Personnalisez le test (si nécessaire) :
- Si le template ou l’objet de la version A contient des champs de personnalisation, utilisez la section Personnalisation du profil pour définir les valeurs à appliquer.
- Si l’email inclut des offres, définissez le nombre d’offres à intégrer et le mode de sélection pour tester différentes configurations d’affichage.
Note : pour un test fidèle aux conditions réelles d’envoi, activez l’option Restreindre aux filtres de campagne. Cette option applique les contraintes définies dans la section Offre personnalisée de la version testée pour la sélection des produits.
- Envoyez le test : cliquez sur Envoyer pour expédier l’email de test.
- Répétez ces étapes pour chaque version de votre A/B test.
5. Annoter l’A/B test
Vous pouvez ajouter des notes à votre A/B test. Cela vous permet notamment de garder une trace écrire des modifications apportées à votre test, et de décrire les différentes variantes testées.
Dans le bloc de configuration de l’A/B test, cliquez sur Notes.
Saisissez vos notes et cliquez sur Enregistrer et fermer pour valider.
Ces notes pourront être modifiées à tout moment, y compris pendant l’exécution de l’A/B test, et lorsque celui-ci sera terminé.
6. Démarrer les envois
6.1. Sur une campagne automatisée
Une fois vos variantes configurées, vous pouvez activer votre campagne pour démarrer les envois.
Chaque destinataire de la campagne recevra l’une des versions testée, sélectionnée de façon aléatoire, jusqu’à ce P-ONE sélectionne la meilleure version.
Note : Pour pouvez interrompre votre A/B test à tout moment désactivant la campagne.
6.2. Sur une newsletter
- Dans la section Timing, cliquez sur Editer.
- Renseigner la Date et l’Heure d’envoi souhaitées.
- Cliquez sur Enregistrer pour valider.
- Passez ensuite votre newsletter à l’état Active.
Votre A/B test sera envoyé au Timing défini.
7. Consulter les résultats de l’A/B test
Si votre A/B test est encore en cours, ou porte sur une newsletter, vous pouvez consulter ses résultats en cliquant sur l’icône Performances de la campagne.
Si l’A/B test est terminé, vous pouvez y accéder via le menu Performances > A/B tests, en recherchant votre campagne dans la liste.
Par défaut, la page des performances de l’A/B test vous affiche les résultats au global de la campagne. Vous pouvez consulter les résultats détaillés de chaque version en la sélectionnant dans le carrousel.
