Je regardais l’autre jour la très bonne émission Start Up de Décideurs.tv où un intervenant conseillait aux startups de commencer le testing le plus tôt possible. La question me semble un peu plus complexe que ça. Bien sûr, instiller une culture de l’optimisation et du testing est toujours bon à prendre, mais il faut quand même prendre quelques précautions, et choisir ce qu’on fait en connaissance de cause.

Aujourd’hui, l’optimisation des taux de conversion (conversion rate optimisation ou CRO pour les fans d'acronymes) est en passe de devenir le maître mot dans la bouche de tous les marketeurs.

Article rédigé par David Oudiette

Et l’outil phare de l’optimisation, c’est l’A/B testing. Problème : l’A/B testing, ça requiert des conditions bien précises, notamment en termes de trafic.

Même si tout le monde parle de big data, la plupart des startups débutent et vivent dans un monde de small data. Et quand vous avez peu de trafic et donc peu de données, comment faire pour mener des A/B tests qui gardent un sens d’un point de vue scientifique ? Souvent, les startups qui entendent parler d’A/B testing se jettent sur tous les outils à leur disposition pour tester tout et n’importe quoi, sans approche méthodique, en espérant des résultats mirobolants. Puis ils sont déçus et se désabonnent. Pour éviter ce parcours bien inutile, voyons comment aborder la question du testing pour les jeunes startups.

Pourquoi il faut du trafic pour tester

Pour faire simple, rappelons que le but de l’A/B testing est avant tout d’apporter une rigueur scientifique aux décisions qui n’étaient jusqu’à présent prises qu’au feeling ou parce qu’elles venaient d’un décideur haut placé. Il permet de couper court à des discussions inutiles, en tirant profit de données concrètes.

L’interrogation à laquelle on essaie de répondre est la suivante : Combien de fois je dois montrer chaque version à mes visiteurs pour pouvoir affirmer avec un certain degré de certitude que l’une des deux versions est meilleure que l’autre ? Le seul moyen de répondre à cette question, c’est d’accumuler des données.

Plus vous avez de données, plus votre certitude sera grande. Si vous n’avez pas assez de données, vous ne pourrez pas conclure, et vous retombez dans la décision au doigt mouillé. Pour récolter ces données, il faut du trafic. La question est alors de savoir précisément quelle quantité de données et donc de trafic est nécessaire.

Est-ce que vous avez assez de trafic pour optimiser votre site ?

Lorsqu’on la traite dans l’absolu, la question du trafic est une mauvaise question. Quelle quantité de trafic faut-il pour commencer à A/B tester ? Un trafic suffisant (pour atteindre une certitude statistique). De la même façon que la longueur idéale pour une landing page est… la longueur suffisante (pour donner envie d’acheter).

"Sans déconner ?", me direz-vous. Mais qu’est-ce qu’un trafic suffisant ? Là encore, la réponse va être décevante : ça dépend. Si vous comprenez bien le fonctionnement d’un test, vous pouvez faire de l’A/B testing avec un trafic relativement faible.

Par ailleurs, le facteur qui va vous limiter avant tout ce n’est pas le trafic, mais le temps qu’il faudra pour que le test parvienne à son terme. L’A/B testing souffre d’un certain problème d’adoption parce qu’il repose sur des fondements statistiques souvent méconnus de ceux qui ont à utiliser ces outils. Heureusement, on peut résumer les grands principes sans trop s’embourber dans les détails mathématiques.

Vous avez peu de trafic, ne le divisez davantage

Souvent, l'idée qui jaillit dans l’esprit de l’A/B testeur novice, c’est : pourquoi pas faire du A/B/C testing ? Et pourquoi pas tester plus de 3 variantes ? Pourquoi pas 4 ou 25 ? C’est simple : parce que pour les tester il va falloir diviser votre trafic en 3, 4, 25. Et que vous n’avez déjà pas assez de trafic pour tester 2 variantes.

Donc non, vous n’avez pas besoin d’un outil qui permet de faire du testing A/B/n et encore moins du testing multivarié (qui revient à tester des dizaines de combinaisons). Continuons un peu avec les évidences : si vous avez peu de trafic, ne vous amusez pas à tester les pages de votre site qui ont... le moins de trafic.

Pensez à optimiser la page d’accueil avant d’optimiser la page qui présente votre équipe.

[Outils] Landing page longue ou brève ? 12 astuces pour trouver un juste milieu

Choisissez des tests qui ont un grand impact potentiel

Notez bien ce principe : plus le gain entre deux versions est petit, plus il faudra de temps pour le vérifier, mais moins la vérification sera importante

Autrement dit, si une version a un taux de conversion de 5 % et l’autre de 5,2 %, vous allez mettre des plombes à le prouver statistiquement, et ça ne servira à peu près à rien.

Conclusion : si vous avez peu de trafic, et donc peu de temps, il faut que vous visiez des tests qui auront l’impact le plus profond. Ici, il convient de rappeler quelque chose. Il ne faut pas confondre l’A/B testing, avec la tarte à la crème de l’A/B testing : le test de couleur de bouton.

Est-ce qu’un bouton vert peut convertir mieux qu’un bouton rouge ? Oui. (L’inverse aussi d’ailleurs). Est-ce que c’est ce qu’il faut tester en priorité ? Surtout pas.

Dans l'immense majorité des cas, ce test n’aura aucune influence. Quand il aura de l’influence, elle sera minime, et vous n’aurez pas assez de trafic ou de temps pour prouver qu’il y a vraiment une différence du point de vue statistique. Eh oui, plus la différence de taux de conversion est petite, plus il faut longtemps pour atteindre un seuil de confiance satisfaisant. Une autre chose tellement évidente qu’on l’oublierait presque : plus la différence est petite, moins elle a d’importance.

A relire :[Outils] La méthodologie illustrée à adopter pour réaliser des tests A/B sur son site

Ne passez pas votre à temps à chercher des gains de conversion de 0,1 % quand il y a un potentiel d’amélioration supérieur ailleurs. Il faut donc viser des tests qui vont avoir le plus grand impact possible. Fini les tests de couleur de bouton. Changez toute la page. Essayez quelque chose de complètement différent.

Repensez votre positionnement, utilisez une page beaucoup plus longue (ou beaucoup plus courte), changez le titre de votre page, changez le texte du bouton principal. Bref, choisissez des éléments susceptibles de peser, pas des détails. Même si vous perdez l’information précise sur la valeur exacte de chacun des petits changements que vous avez effectués, vous pourrez affiner par la suite.

Ne vous focalisez pas (que) sur les macro-conversions

Pour continuer dans cette logique, vous pouvez aussi choisir de vous intéresser dans un premier temps à des objectifs moins ambitieux : au lieu d’essayer d’augmenter votre taux de conversion final (une vente sur un site ecommerce, un abonnement payant pour une SaaS), essayez d’améliorer les étapes qui mènent à cet objectif.

Eh oui, seule une petite part des visiteurs vont jusqu’à cette macro-conversion, et là, nous essayons de grappiller toutes les données à notre disposition. En fait, améliorer de 20 % votre taux final (en passant de 1 % à 1,2 %) va prendre 7 fois plus de temps (ou de visiteurs) à vérifier qu’une amélioration identique qui ferait passer votre newsletter de 5 % à 6 % d’abonnements.

Le chemin qui mène à cette "macro-conversion" est fait d’une série d’étapes, de « micro-conversions », bien souvent plus nombreuses et moins exigeantes, et qui permettent ainsi de faire des tests plus rapidement car elles arrivent plus fréquemment. En vous intéressant au parcours de vos visiteurs depuis le début, et pas seulement à la fin, vous allez découvrir où ils décrochent, et vous pourrez travailler à partir de là.

Au lieu d’optimiser vos macro-conversions, jetez un oeil à ces micro-conversions :

  • Regarder une page produit
  • Mettre un produit dans le panier
  • Commencer le processus de passage d’une commande
  • Télécharger une brochure PDF
  • Regarder une vidéo promotionnelle
  • S’inscrire à une newsletter
  • S’inscrire à un flux RSS
  • Faire une action sur un réseau social
  • Rester sur le site plus de x minutes
  • Regarder plus de x pages
  • Visiter le site plus de x fois par mois

Ce ne sont que des exemples, à vous de trouver les micro-conversions qui sont le plus à même de mener à une macro-conversion.

Une limitation de cette méthode : améliorer une micro-conversion peut ne pas entraîner d’amélioration sur les macro-conversions. Il faut donc essayer de rester le plus près possible des variables qui sont liées à votre source de revenu (achat, abonnement, taille moyenne du panier), et garder un oeil sur leur évolution.

Deuxième problème à avoir en tête : il ne faut pas perdre de vue la variable précise que vous essayez d’optimiser.

Si enlever des champs dans un formulaire de lead gen peut facilement augmenter le nombre d’inscriptions, vous pouvez vous retrouver plus loin dans votre entonnoir avec des leads de moins bonne qualité, et donc plus de travail pour séparer le grain de l’ivraie. Dans le livre sur l’A/B testing de Dan Siroker, PDG d’Optimizely, il décrit ce phénomène en parlant de "pushing failure down the funnel".  Attention donc aux effets pervers.

A relire: [Outils] Les 3 étapes à suivre pour optimiser sa landing page et augmenter les conversions

Abandonnez temporairement le testing en attendant d’avoir le trafic suffisant

Si vous n’avez que très peu de visites, la meilleure chose à faire pourrait bien être d’abandonner l’idée de tester quoi que ce soit en attendant d’avoir un trafic suffisant.

Ici, la question n’est même plus de savoir si vous allez atteindre le seuil de confiance pour vos tests, c’est simplement que votre temps, qui est très limité dans une startup, sera sans doute mieux employé à acquérir plus de trafic. Vous allez gâcher du temps et de l’énergie à tirer le maximum de vos 5 visiteurs hebdomadaire, mais même si vous les convertissez à 100%, ça ne suffira pas.

Je prêche ici contre ma paroisse, mais l’optimisation ne doit pas toujours être le focus n°1 pour tout le monde. Trop souvent, les articles qui traitent de l'optimisation sont écrit par des vendeurs de solutions de testing qui ont un parti pris évident. Peut-être qu’il vaut mieux se focaliser sur l’acquisition d’un trafic suffisant dans un premier temps, surtout si vous n’avez encore rien fait du tout au niveau SEO. Le on-page SEO peut à lui seul produire des gains non négligeables pour un investissement très modéré.

Profitez-en pour améliorer d’autres facteurs plus techniques, comme le temps de chargement de votre site, sa stabilité, sa compatibilité avec tous les navigateurs et les tailles d’écrans. Mettez en place une stratégie de marketing de contenu, essayez de nouveaux canaux d'acquisition, réglez vos outils d'analytics comme il faut, évaluez votre product/market fit, bref, il y a beaucoup de choses que vous pouvez essayer avant d'optimiser. L'optimisation prématurée peut être une perte de temps.

Acheter du trafic pour optimiser : une bonne idée ?

Une solution si vous n’avez pas assez de trafic, c’est bien sûr d’en acheter chez Google ou Facebook par exemple, en passant des annonces. Problème principal : ça coûte cher, et le trafic ne sera sans doute pas représentatif du trafic que vous aurez en temps « normal » (c’est à dire, si vous arrêtez d’acheter du trafic et que vous croissez organiquement).

Les efforts d’optimisation pourraient s’avérer inutiles, sinon néfastes. En résumé, je déconseillerais cette voie si vous ne comptez pas conserver le trafic payant parmi vos canaux d'acquisition.

Une autre technique apparentée qui peut fonctionner consiste à tester le titre de votre page ou votre call to action non pas directement sur votre site, mais par l’intermédiaire d’AdWords en mesurant le taux de conversion de différentes formulations.

Une astuce que j’utilise pour faire des A/B tests moins chers et plus rapides au lancement d’une startup, c’est de tester mes messages en passant des annonces plutôt qu’en créant des landing pages. […] Quand je teste les messages sur des landing pages par la suite, les résultats obtenus avec les annonces sont très précis pour ce qui est d’estimer la performance des landing pages, que ce soit pour générer des clicks ou réduire le taux de rebond. Sean Ellis, PDG de Qualaroo, créateur de GrowthHackers.com

Ici aussi, le contexte n’étant pas le même, il est difficile de transposer à 100% le résultat d’une pub AdWords sur votre page principale, mais c’est une heuristique qui peut tout de même vous permettre de distinguer une bonne formulation d’une formulation mauvaise quand le taux de conversion est très différent.

Le testing séquentiel

Avant l’avènement des méthodes rigoureuses de l’A/B testing, on utilisait une méthode séquentielle : on teste d’abord une version, puis l’autre, et on compare le résultat en observant directement l’évolution des ventes ou des inscriptions.

L’avantage : vous aurez deux fois plus de trafic sur chaque version et vous pourrez parvenir à un résultat plus rapidement. Le problème : ce n’est plus aussi scientifique que l’A/B testing.

Il se peut très bien que vous observiez une augmentation de vos ventes, mais qu’elle soit due à un phénomène cyclique (les gens sont en vacances, vous avez commencé le deuxième test un week-end, etc.) ou à un autre facteur externe (vous avez lancé une campagne sur les réseaux sociaux entre temps). Il est possible de mitiger ces phénomènes, mais on peut difficilement les contrôler complètement.

Après tout rien ne vous indique qu’une de vos vieilles interviews ne va pas refaire surface pendant le deuxième test et chambouler vos sources de trafic habituelles.

Misez sur le qualitatif

Lorsque vous avez encore peu de trafic, c’est le moment idéal pour faire des tests vraiment qualitatifs sans être submergé par le feedback de vos utilisateurs.

Testez l’utilisabilité de votre site : avec seulement quelques tests approfondis, vous allez pouvoir réparer les plus gros problèmes dont vous ne vous êtes peut-être pas aperçu. Faites des sondages pour en apprendre plus sur vos clients, que ce soit directement sur votre site, ou par email : demandez à vos visiteurs s’ils comprennent bien votre produit, s'ils trouvent la page des tarifs assez claire, quels sont les points qui semblent particulièrement intéressants pour eux, ceux qui sont secondaires, bref, tout est bon à prendre.

Ne les assommez pas non plus avec des questionnaires de 100 pages. Une ou deux questions à la fois suffisent. Même s’il y a des outils exprès pour ça, l’avantage c’est que vous pouvez faire ces tests avec très peu de moyens. Demandez à une personne prise au hasard (je dis bien prise au hasard, pas votre maman) sa première impression, ce qu’elle ressent dans les toutes premières secondes lorsqu’ils arrivent sur votre site.

C’est le temps qu’accordent en général les internautes à un site pour se faire un jugement, et le temps qui vous est imparti pour faire passer votre proposition de valeur.

Soyez patients

Je lisais récemment que 6 A/B tests sur 7 ne produisent pas d’amélioration des taux de conversion. À première vue, ça peut paraître un peu décourageant.

Mais c’est mal comprendre le but du testing : le but d’un test, ce n’est pas d’augmenter votre taux de conversion tout de suite, c’est avant tout d’apprendre quelque chose sur votre client. Et c’est en approfondissant cette connaissance que vous développerez des hypothèses de tests de plus en plus fines et pertinentes, et de plus en plus efficaces.

Et vous, quelles stratégies avez-vous utilisées pour optimiser votre site quand vous aviez peu de trafic ?