Le réseau Data Center « Hadoop-ready » by Julien SIMON Vice President, Engineering j.simon@criteo.com @julsimon

PERSONNES +700 CONTINENTS 4 PAYS +30 EDITEURS +5,000 CLIENTS +3,000

L’Affichage a la performance 2 GO Powered by 1 ...puis surfe sur Internet 3 4 Un internaute voit des produits sur un site web… … et voit des bannières personnalisées En cliquant sur une bannière, l’internaute revient sur une page produit. Copyright © 2013 Criteo. Confidential

PERSONNALISATION EN TEMPS REEL Fond Disposition Couleurs Lien opt-out Slogans WARM MEETS LIGHT SWEET NOTHING ADDIDAS IS ALL IN ALL ORIGINALS #REPRESENT “Call to action” JOIN NOW JOIN NOW SEE MORE CLICK HERE SHOP NOW JOIN NOW SEE MORE CLICK HERE all original #represent SHOP NOW SHOP NOW JOIN NOW Boutons SEE MORE Copyright © 2013 Criteo. Confidential.

UNE infrastructure INTERNATIONALE TRAFIC QUOTIDIEN - 30 MILLIARDS DE REQUÊTES HTTP - 1 MILLIARD DE BANNIÈRES UNIQUES TRAFIC PIC (PAR SECONDE) - 500,000 REQUÊTES HTTP - 25,000 BANNIÈRES 7 DATA CENTERS CONÇUS, MIS EN ŒUVRE ET OPÉRÉS EN INTERNE DISPONIBILITÉ >99.95% Copyright © 2013 Criteo. Confidential.

Refonte réseau Data Center Challenges IT liés à la forte croissance de Criteo: Scalabilité Interne: augmenter le nombre de baies par site sans augmenter la complexité Scalabilité Externe: augmenter le nombre de sites en gardant une gestion globale faite par l’équipe parisienne Performance: l’affichage à la performance nécessite les latences réseau les plus faibles possibles Haute disponibilité: notre métier dépend du réseau. Notre production ne peut pas connaitre de coupures Ajout de nouvelles briques technologiques: Analyse des données utilisateur grâce à la technologie Hadoop

ARCHITECTURE RESEAU Conception des salles identique partout dans le monde Cisco 7600 / 4900 / 2960 Limite de 26 baies par salle (sauf à tout dupliquer…) Difficile de mettre un serveur « n’importe où » dans la salle Problématique pour une architecture scale-out comme celle de Criteo Mise à jour globale lancée Q1 2012 Refonte de toute la couche d’accès : Nexus 7000 / 5448 / 2248TP-E Routeurs ASR 9k Avantages de la nouvelle architecture Pas de limite théorique au nombre de baies (24 baies par 5548) Câblage optimisé (plus de lien bloquant) Failover plus rapide (plus de spanning tree) Plus de dépendance entre l’emplacement physique d’un serveur et son rôle … mais l’histoire ne s’arrête pas là 

Copyright © 2013 Criteo. Confidential. HADOOP @ CRITEO 1er cluster lancé en juin 2011 (2 Petaoctets) 20 To de données additionnelles … chaque jour Utilisation à la fois en production et pour la Business Intelligence Architecture de calcul distribué (« MapReduce ») TRES gourmande en ressources réseau Liens et switchs 2960 saturés (perte de paquets importante) Test de différents constructeurs... pour finalement constater que tout marchait bien sur Nexus  2ème cluster lancé en avril 2013 (6 Petaoctets  X?) Copyright © 2013 Criteo. Confidential.

BILAN Tous les objectifs ont été atteints… même ceux que nous ne nous étions pas fixés :D Scalabilité des datacenters Architecture unique, plus simple et plus fiable Performances compatibles avec le HPC Administration centralisée Préservation de l’expérience acquise sur Cisco Case study publié sur le site de Cisco : http://www.cisco.com/en/US/solutions/collateral/ns340/ns517/ns224/criteo_external_casestudy_fnl_05_07_13.pdf

Merci de votre attention ! http://www.istockphoto.com/stock-photo-15438323-taxes-due.php http://www.shutterstock.com/pic.mhtml?id=106229987 http://www.istockphoto.com/stock-photo-11925038-nerdy-office-worker-drinking-coffee.php www.criteo.com labs.criteo.com engineering.criteo.com