Probance One vous permet de mettre en place des A/B tests rapidement et simplement. Vous pouvez créer jusqu’à quatre versions d’un SMS afin de tester différents éléments, tels que le contenu du message, les offres personnalisées l’heure d’envoi ou encore le nom de l’expéditeur. Ces A/B tests peuvent être simples ou optimisés.
Un A/B test simple est envoyé à l’ensemble de la cible et ne sélectionne pas de version finale automatiquement :
- Sur une campagne automatisée, vous pouvez suivre les résultats du test et interrompre manuellement pour choisir la version à conserver.
- Sur une campagne SMS ad-hoc, toutes les versions testées sont envoyées à l’ensemble de la cible sans sélection automatique.
Ce tutoriel vous expliquera comment créer un A/B test simple pour une campagne SMS.
1. Avant de commencer
Voici quelques informations à savoir et à considérer avant de créer votre A/B test.
- Les A/B tests sont configurés sur des campagnes existantes.
- Lors de la création d’un A/B test, les versions sont générées en reprenant tous les éléments de la campagne de base.
- Si l’A/B test est créé à partir d’une campagne vierge, vous devrez configurer manuellement chaque élément pour chacune des versions. Pour gagner du temps, il est donc recommandé de configurer l’A/B test après avoir défini les éléments communs à toutes les versions de la campagne.
- Vous ne pouvez pas créer d’A/B test sur les repasses, ni sur les campagnes avec repasse.
2. Créer l’A/B test
- Dans la page de configuration de votre campagne, accédez au bloc A/B test (au pied de la page) et cliquez sur Créer.
- Une fois le bloc mis à jour, cliquez sur Editer.
- Cochez l’option Simple.
- Dans la liste déroulante Nombre de versions, sélectionnez la configuration de votre A/B test. Par exemple, pour définir 3 versions, sélectionnez A/B/C.
- Cliquez sur Enregistrer pour confirmer.
3. Définir les variantes
La section Changer vous permet de définir vos variantes, en modifiant le ou les éléments que vous souhaitez tester pour chaque version. Vous pouvez faire varier le template, le sujet, l’offre personnalisée et l‘heure d’envoi.
Pour créer une variante, procédez comme suit.
- Ouvrez l’onglet correspondant à la caractéristique que vous souhaitez tester.
- Ces onglets permettent de configurer individuellement chaque version du test : cliquez sur Editer au niveau de Campagne A pour modifier le contenu de la version A.
- Saisissez les paramètres à tester dans les champs correspondants, puis cliquez sur Enregistrer pour valider.
- Répétez ces étapes pour chacune des autres versions de votre A/B test.
4. Tester les versions
Nous vous recommandons vivement de tester chaque version avant d’activer votre A/B test, afin de vérifier votre SMS dans toutes les configurations possibles.
- Accédez à l’onglet Template.
- Testez la version A : Pour tester la version A, cliquez sur le bouton Envoyer un test situé sous l’aperçu de la Campagne A.
- Ajoutez les destinataires du test : dans le champ Liste des destinataires, saisissez les numéros de téléphone qui recevront le test, en les séparant par un retour à la ligne.
- Personnalisez le test (si nécessaire) :
- Si le message contient des champs de personnalisation, utilisez la section Personnalisation du profil pour définir les valeurs à appliquer.
- Si le message inclut des offres, définissez le nombre d’offres à intégrer et le mode de sélection pour tester différentes configurations d’affichage.
Note : pour un test fidèle aux conditions réelles d’envoi, activez l’option Restreindre aux filtres de campagne. Cette option applique les contraintes définies dans la section Offre personnalisée de la version testée pour la sélection des produits.
- Envoyez le test : cliquez sur Envoyer pour expédier le SMS de test.
- Répétez ces étapes pour chaque version de votre A/B test.
5. Annoter l’A/B test
Vous pouvez ajouter des notes à votre A/B test. Cela vous permet notamment de garder une trace écrire des modifications apportées à votre test, et de décrire les différentes variantes testées.
Dans le bloc de configuration de l’A/B test, cliquez sur Notes.
Saisissez vos notes et cliquez sur Enregistrer et fermer pour valider.
Ces notes pourront être modifiées à tout moment, y compris pendant l’exécution de l’A/B test, et lorsque celui-ci sera terminé.
6. Démarrer les envois
5.1. Sur une campagne automatisée
Pour démarrer les envois de votre A/B test, il vous suffit d’activer votre campagne.
Chaque destinataire de la campagne recevra l’une des versions testée, sélectionnée de façon aléatoire, jusqu’à ce que vous décidiez d’arrêter le test..
Note : Pour pouvez interrompre votre A/B test à tout moment désactivant la campagne.
6.2. Sur une campagne ad-hoc
- Dans la section Timing, cliquez sur Editer.
- Renseigner la Date et l‘Heure d’envoi souhaitées.
- Cliquez sur Enregistrer pour valider.
- Passez ensuite votre newsletter à l’état Active.
Votre A/B test sera envoyé au timing défini. Chaque destinataire de la newsletter recevra l’une des versions testée, sélectionnée de façon aléatoire.
7. Consulter les résultats
Vous pouvez suivre les résultats de votre A/B test en cliquant sur l’icone Performances dans le détail de la campagne concernée.
Vous pouvez également y accéder via le menu Performances > A/B tests, en recherchant votre campagne dans la liste.
Par défaut, la page des performances de l’A/B test vous affiche les résultats au global de la campagne. Vous pouvez consulter les résultats détaillés de chaque version en la sélectionnant dans le carrousel.
8. Arrêter le test et sélectionner la meilleure version
Cette étape ne concerne que les campagnes automatisées.
Pour arrêter votre A/B test, procédez comme suit.
- Dans la page de configuration de votre campagne, accédez au bloc A/B test (au pied de la page) et cliquez sur Supprimer.
- Cochez la version à conserver.
- Cliquez sur Appliquer.
L’A/B test sera alors supprimé de votre campagne, qui reprendra le message, le nom d’expéditeur et l’offre personnalisée de la version sélectionnée.
Les résultats de l’A/B test resteront consultables via le menu Performances > A/B test.