Expérimentations

Les Expérimentations sont un type d’Expérience qui vous permet de tester différentes variantes de votre contenu pour déterminer ce qui résonne le mieux avec vos visiteurs. Vous pouvez configurer une ou plusieurs variantes par Expérimentation, les montrer à tous les utilisateurs ou à des Audiences spécifiques, et analyser les performances avec vos propres outils ou avec les Experience Insights.

Pour créer une Expérimentation :

1. Connectez-vous à l’application web Contentful.

2. Accédez à l’onglet « Contenu ».

3. Cliquez sur Ajouter une entrée, puis créez un nouveau type d’entrée d’Expérience Ninetailed.

4. Choisissez Créer une expérimentation dans le champ de configuration.

5. Saisissez un titre.

6. Facultatif : saisissez une description.

7. Définissez les options de votre expérimentation : métrique principale, mode de distribution, répartition du trafic, audience et composants.
   

Métrique principale

La métrique principale sert à mesurer le succès d’une expérimentation et à définir ce qui constitue une réussite. La sélection d’une métrique principale :

• Aide votre équipe à comprendre l’objectif de votre expérimentation.

• Sélectionne automatiquement cette métrique dans la section Insights.

• Active le type de répartition multi-armed bandit (répartition multi-bras bandit manchot).

Répartition

La répartition d’une expérimentation définit quel pourcentage d’utilisateurs est envoyé vers chaque variante. Vous pouvez également ajouter ou supprimer des variantes, ce qui vous permet d'exécuter des tests A/B/n. Chaque Expérimentation se compose d’un contrôle et d’au moins une variante. Le contrôle représente votre contenu de référence.

REMARQUE : chaque utilisateur garde la même variante, tant que la répartition des variantes de l’Expérimentation n’est pas modifiée. Cela signifie que chaque utilisateur verra toujours la même variante d’une expérimentation. Si la répartition des variantes est modifiée, certains utilisateurs peuvent être réaffectés à une autre variante.

Vous pouvez choisir parmi les modèles de répartition suivants :

• répartition manuelle

• répartition égale

• répartition multi-bras bandit manchot.

Répartition manuelle

Sélectionnez manuellement le pourcentage de trafic à répartir entre chaque variante. La somme de toutes les valeurs doit être égale à 100 %. Si vous ne souhaitez pas allouer tout votre trafic à l’expérience en général, vous pouvez utiliser l’allocation de trafic.

Répartition égale

Le trafic sera réparti uniformément entre toutes les variantes.

Répartition multi-bras bandit manchot

Contentful Personalization peut automatiquement et progressivement allouer plus de trafic à la variante gagnante. Cette fonctionnalité, appelée approche bandit manchot multi-bras, permet de répartir le trafic entre les variantes de façon théoriquement optimale. Le principe est simple : dès qu’une variante montre de meilleurs résultats, une plus grande part du trafic lui est attribuée. Grâce à l’approche bandit manchot multi-bras, la répartition des variantes est mise à jour en fonction des Experience Insights dérivés de la métrique principale que vous avez sélectionnée.

REMARQUE : pour choisir la répartition multi-bras bandit manchot, vous devez d’abord sélectionner une métrique principale.

En pratique, la répartition suit la Probabilité d’être le meilleur (PTBB) pour la métrique principale sélectionnée, par exemple, une variante avec 80 % de PTBB recevra 80 % du trafic.

Important : la répartition des variantes est évaluée et mise à jour une fois par jour.

Pondération

La pondération est basée sur la Probabilité d’être le meilleur (PTBB). Dès que la PTBB pour les variantes est calculé, la repondération commence. Le processus de calcul commence immédiatement.

Le seuil minimum pour la PTBB est de 5 % par variante.

Pour tester votre configuration, nous vous recommandons de créer un environnement de développement distinct et d'y exécuter vos expériences. À noter : les tableaux de bord ne s’actualisent pas en temps réel. Ils sont mis à jour une fois par heure et affichent les conversions, les vues, le taux de conversion, l’augmentation par variante et la PTBB.

Allocation du trafic

L’allocation du trafic vous permet d’allouer uniquement une partie de tous les visiteurs qui seraient éligibles à cet Expérimentation.

REMARQUE : par défaut, 100 % de votre trafic éligible est alloué à votre Expérimentation.

Exemple

Supposons qu’une expérimentation soit diffusée uniquement auprès d’une audience « Visiteurs récurrents », avec une répartition égale (50/50) entre deux variantes et 30 % du trafic qui lui est attribué.

Nous avons maintenant 1 000 utilisateurs qui visitent votre site Web, et 200 d'entre eux sont des visiteurs récurrents. L’allocation de trafic attribuera 30 %*200 utilisateurs = 60 utilisateurs. Chaque variante sera affichée à 50 % de ces utilisateurs (30 utilisateurs pour chaque variante).

REMARQUE : à l’image de la répartition des variantes, un utilisateur est toujours soit affecté à une Expérimentation, soit non. Ce n’est que si l’allocation de trafic change que certains utilisateurs sont réaffectés. Si l’allocation de trafic est augmentée, tous les utilisateurs qui ont déjà vu l'Expérimentation seront conservés dans cette Expérimentation.

Différence entre l’allocation de trafic et le groupe de contrôle

Les visiteurs qui ne participent pas à une Expérimentation et ceux qui participent au groupe de contrôle d’une Expérimentation peuvent voir le même contenu. Ce cas se produit lorsque certains de vos visiteurs ne sont pas affectés à une expérience. Ces utilisateurs doivent être considérés comme statistiquement distincts les uns des autres. Si vous regroupiez ces utilisateurs et compariez leur taux de conversion à celui des utilisateurs voyant une variante d’expérimentation, vous risqueriez d’introduire des biais de base dans votre analyse.

• Le groupe de contrôle vous aide à comprendre le gain relatif lié aux performances de vos variantes. Dans les outils d’analyse comme Experience Insights, seuls les visiteurs explicitement affectés au groupe de contrôle sont pris en compte dans ce groupe.

• Si vous exécutez plusieurs Expériences sur le même composant, le fait d’être dans le groupe de contrôle exclura le visiteur de toute autre expérience qui a une priorité inférieure à ce moment-là. En revanche, le fait d’être exclu d’une Expérience (en raison de l’allocation du trafic ou de l’éligibilité de l’audience) évaluera toujours toutes les autres expériences qui ont une priorité inférieure et pourra montrer une variante pour celles-ci.

Audience

Le choix d’une Audience définira une condition d’éligibilité pour cette expérimentation. Autrement dit, à ce moment précis, seuls les utilisateurs correspondant à cette audience verront l’expérimentation.

Composants

Les composants de mappage permettent de choisir quelle entrée doit être remplacée par une autre. En fonction du nombre de variantes que vous avez définies dans votre configuration de répartition, vous pouvez mapper une ou plusieurs variantes.