Univers à forte intensité concurrentielle, l'A/B testing est sujet à de nombreuses interrogations pour tous ceux qui souhaitent se lancer sans difficulté dans l'optimisation du contenu et de l'ergonomie de leur site. Cartelis, agence spécialisée en stratégie numérique, a comparé quatre solutions majeures.
Si vous souhaitez en apprendre plus sur l'A/B testing et que vous recherchez l'outil idéal adapté à vos besoins, cet article est fait pour vous. Il compare sur le plan fonctionnel et technique les quatre solutions majeures de l'A/B testing en France : Kameleoon, A/B Tasty, Optimizely et VWO (pour Visual Website Optimizer) au travers de quatre cas d'usage.
Deux acteurs français, le leader américain et un outsider indien
A/B Tasty, Kameleoon, Optimizely et VWO sont des solutions qui sont toutes disponibles en mode SaaS, faciles d'utilisation et ne nécessitant pas de bagage technique particulier. Leur interface est la plupart du temps très intuitive et ces solutions fonctionnent toutes côté client.
A/B Tasty et Kameleoon sont toutes deux des entreprises françaises, et la concurrence fait rage entre ces deux solutions. La première a été créée en 2010 et a procédé à une levée de fonds de 5 millions d'euros en 2016 afin de renforcer sa technologie, tandis que la seconde, créée en 2009, propose régulièrement des innovations technologiques telles que la solution "anti-flickering" il y a peu.
Optimizely, géant américain lancé en 2010, s'impose comme le leader mondial de l'A/B testing, l’acteur détenant le plus de part de marchés au monde. Enfin, VWO, d'origine indienne, a été créée par Wingify.
Changement de couleur, de forme et de place
Les quatre cas d'usage sur lesquels s'appuie cette comparaison ont été choisis pour leur simplicité, le fait qu'ils se déroulent dans des espaces clients et ne nécessitent pas de tag transactionnel. Nous avons choisi de les réaliser sur un site indépendant générant un gros trafic : lesmobiles.com.
Le premier test consistait à modifier la couleur du bouton "Forum" présent sur toutes les pages du site en haut à droite, tandis que le second consistait à modifier le texte de ce bouton. Le test 3 visait à inverser les emplacement de deux blocs sur la page "actualités téléphone". Enfin, le dernier consistait à insérer un nouveau bloc sur les pages "test téléphone".
Kameleoon et VWO proposent de réguler la durée du test
Commençons par les points communs entre les solutions. Nous avons noté que chacune propose :
- un éditeur visuel simplifié permettant de faire de l'A/B test sans connaissance technique et de tracker les clics
- un mode de prévisualisation
- un historique des changements
- des possibilités de ciblage de l'audience, avec critères multiples
- la possibilité de restreindre la part du trafic alloué à l'A/B test
- une fonctionnalité de planification et un accès à l'historique des résultats
Pour ce qui est des différences, retenons surtout que :
- Kameleoon est le seul à proposer une optique "visit-based" (centrée sur les visites) lors du test, en plus du "visitor-based" (centrée sur les visiteurs).
- Optimizely ne propose pas la fonctionnalité de capping
- La fonctionnalité visant à réguler la durée du test n’existe pas chez A/B Tasty et Optimizely
- Optimizely ne permet pas de créer des rapports avec résultats filtrés.
- A/B Tasty et Optimizely ne proposent pas la ventilation des résultats
- Le tracking de l’élément nouveau créé lors du test est possible sur toutes les solutions, à l’exception d’Optimizely (ou très difficilement...)
VWO plus rapide et moins lourd (sauf que...)
Afin de comparer la performance technique de ces solutions, nous avons délibérément pris le poids du script et le temps de chargement du script de testing en compte. Concernant le poids du script, c'est Optimizely qui est le plus lourd (91 kb), suivi d'A/B Tasty (82,3 kb), de Kameleoon (51,7 kb) et de VWO (40kb).
Concernant la vitesse de chargement du script, le moins bon élève est A/B Tasty (59 ms), suivi de Kameleoon (46 ms), Optimizely (45 ms) et VWO (29 ms). VWO dont le résultat est cependant à nuancer, puisqu’il charge à part les variantes, ce qui ralentit fortement la performance technique.
Kameleoon, meilleur compromis, A/B Tasty meilleur sur le tracking
Le premier élément qu'il est nécessaire de rappeler est que chacune de ces solutions présente de nombreux avantages, et toutes sont des solutions matures ayant de nombreuses fonctionnalités. Alors, laquelle choisir ?
Plusieurs éléments sont à prendre en compte pour faire le choix optimal :
- Premièrement, la langue. Si vous ne maniez que la langue de Molière, oubliez VWO et Optimizely, disponibles uniquement en anglais.
- Ensuite, si vous n'avez vraiment aucun bagage technique, Optimizely et VWO ne sont pas faites pour vous puisque vous aurez à créer manuellement les sélecteurs CSS pour la majorité de vos tests.
- Autre élément, non négligeable, les fonctionnalités premium disponibles pour chacune de ces solutions, non testées dans le cadre de cette étude. N’oublions pas qu’A/B Tasty présente des fonctionnalités intéressantes au niveau du tracking, tandis que Kameleoon repose plutôt sur ses acquis techniques (simplicité de mise en place de tests MVT, technologie anti-flickering, etc.) permettant de réaliser des A/B tests plus poussés. C'est donc cette solution que nous vous recommandons dans le cadre d'A/B tests plus complexes, même si nous vous invitons à tester vous-même ces technologies.
