Benchmark : tous les Cloud ne se valent pas

Le Cloud, on en parle beaucoup, mais il reste encore bien mystérieux. Parmi les nombreuses questions que soulèvent les services en ligne, celle de la performance est rarement abordée. Toutes les plateformes sont-elles aussi rapides ? Fiables ? Pour la première fois, nous pouvons donner un début de réponse.

Une société française - ip-label newtest - s'est en effet penchée sur le problème et a mis au point un benchmark des services de Cloud Computing. Ce benchmark crée un petit site web hébergé sur les plateformes telles que Amazon EC2, Windows Azure ou Google Apps Engine et mesure le temps d'accès à ce site de test ainsi que sa disponibilité. L'infrastructure comprend deux serveurs web frontaux, un autre pour une base de données SQL et un pour le stockage. Une application php tourne sur les serveurs web et renvoie une valeur lue dans la base de données, ce qui permet de tester le bon fonctionnement interne du site.

Ce site est alors accédé fréquemment par un ensemble de robots situés dans 12 villes européennes. Ces robots mesurent le temps d'accès à la page du site, qui comprend l’émission de la requête http depuis les robots (résolution DNS incluse), le temps de traitement par l’application (requête SGBD/data store, accès au stockage) ainsi que le temps de réception de la réponse. Enfin, ip-label teste également l'accès aux interfaces d'administration du site offerte par chaque prestataire. Voyons les premiers résultats enregistrés depuis octobre 2011 sur les trois principales plateformes de Cloud public :

Les différences de qualité de service sont saisissantes. Google parvient à offrir à la fois la meilleure disponibilité globale et le service le plus rapide. À l'opposé, Azure pêche par une disponibilité inférieure à ses engagements (99,95 %). La plateforme de Microsoft est particulièrement pénalisée par l'accessibilité de son interface de gestion, nettement inférieure aux attentes pour ce type de service. Précisons que ce mauvais chiffre n'est pas le fait d'un incident ponctuel mais bien d'un défaut récurrent.

Azure possède une autre spécificité : le temps de résolution DNS est d'un ordre de grandeur plus élevé que chez Google ou Amazon. Ip-label newtest l'explique par le fait qu'Azure n'attribue pas une adresse IP fixe au site du client. Microsoft utilise un DNS interne qui rajoute une étape de résolution. Autrement dit, un premier DNS traduit le nom public en un nom en cloudapp.net, qui est ensuite lui-même traduit en interne vers l'adresse du serveur physique. Le temps total de résolution peut alors atteindre entre 150 ms et 300 ms (contre en 15 et 30 ms chez Amazon et Google) ce qui explique en partie le temps d'accès total d'Azure, bien supérieur.

Malgré des promesses identiques, les fournisseurs d'offres Cloud sont donc loin d'être aussi performants les uns que les autres. Google sort grand gagnant des premiers tests mis en place par ip-label newtest. Microsoft, au contraire, se révèle à la fois moins rapide et moins fiable.