Gravelines, le plus grand centre de données d’Europe

Sur le littoral de la mer du Nord, OVH.com a pris possession fin 2012 d’un site industriel comportant 20 000 m² de bâtiments, posés sur un terrain de 9 hectares, afin d’établir un nouveau datacentre. D’une capacité record, comprise entre 350 et 500 000* serveurs, le centre de données de Gravelines accueille depuis quelques jours les premières machines commandées par les clients de l’hébergeur. Retour sur la genèse d’un projet pharaonique, qui constitue un investissement de 180 millions d’euros sur six ans et conduira à la création d’une centaine d’emplois.

Le datacentre de Gravelines, ce sont 20 000 m² de bâtiments sur un terrain de 9 hectares.

Gravelines, une extension de Roubaix

OVH.com connaît une croissance exponentielle. Qui conduit l’hébergeur à grignoter progressivement le quartier roubaisien du Sartel, au gré des opportunités immobilières. Mais la capacité électrique de la « Roubaix valley », qui comporte aujourd’hui six datacentres dont un en cours d’aménagement (RBX6), atteindra bientôt ses limites. « Avant d’envisager l’édification de nouveaux bâtiments, il faut attendre que la capacité soit doublée. Et ces travaux, programmés avec ERDF, vont durer au moins un an et demi », assure Lionel Deny, responsable d’exploitation chez OVH. « Le site du siège social, qui connaît actuellement un remplissage de l’ordre de 95 %, sera arrivé à saturation avant la fin de ce chantier, poursuit Henryk Klaba, président du groupe. Il était donc indispensable d’envisager une autre implantation dans la région. » Après plusieurs mois de prospection, OVH jette son dévolu mi-2012 sur l’ancienne usine REXAM à Gravelines. La présence d’une alimentation électrique de dix mégawatts, facilement extensible grâce au voisinage de la plus grande centrale d’Europe de l’ouest, et la proximité d’un nœud réseau de l’un des fournisseurs de fibre d’OVH sont des arguments de poids. Mais surtout, la configuration des bâtiments se prête bien à la reconversion envisagée : « L’usine qui hébergera bientôt des serveurs informatiques par dizaine de milliers fabriquait auparavant des boîtes en acier étamé », explique Erwan Guével, responsable du site. Des canettes plus exactement, que les géants du soda remplissaient ensuite de leurs breuvages sucrés avant d’en sertir le couvercle. « Le travail de l’acier posait déjà la problématique d’évacuer la chaleur de machines qui en dégageaient énormément. Si bien que le bâtiment a été conçu pour favoriser une ventilation naturelle », souligne-t-il.
« Gravelines est le jumeau français du datacentre nord-américain d'OVH : capacité identique, présence d’une source d’énergie à proximité immédiate et situation idéale par rapport au réseau fibré d’OVH », résume Henryk. Qui évoque également le passé commun des bâtiments de GRA et BHS (le nom de code de ces deux centres de données, dont le second est installé au sein d’une ex-aluminerie) : « Hier, l’industrie métallurgique ; aujourd’hui l’industrie numérique ! » Ces datacentres jumeaux accueilleront d’ailleurs d’ici peu les serveurs du premier cloud transatlantique au monde…

Le site de Gravelines héberge aujourd'hui des serveurs informatiques au sein de containers en tôle galvanisée...

Sécurisation du site et innovations électriques

C’est en janvier 2013 qu’OVH investit réellement les lieux. Si le site est en bon état général – il a été maintenu et gardienné durant ses trois années d’inoccupation – il fut nécessaire de rapproprier les entrepôts avant d’y installer les premiers équipements. Et de renforcer la sécurité : ceinturé par une clôture, le datacentre est désormais sous l’œil de 20 caméras reliées à un PC sécurité où se relaient jour et nuit plusieurs agents. « De plus, les nombreuses portes du bâtiment ont été munies de lecteurs de badges électromagnétiques ou définitivement condamnées », ajoute Erwan. Puis, rapidement, les électriciens entrèrent en action, chargés d’une mission particulièrement excitante : créer une installation électrique de nouvelle génération. En déployant les matériels les plus récents bien sûr, mais surtout en appliquant de tout nouveaux principes de distribution électrique, qui bousculent ceux jusque-là en vigueur chez OVH. « L’idée était de déconcentrer l’installation électrique, rapporte Lionel. Pour disposer d’une installation plus facile à maintenir, à faire évoluer, et en définitive encore plus tolérante aux pannes. » Concrètement, l’ancienne salle haute tension de la REXAM a été réexploitée pour installer les cellules électriques haute tension qui reçoivent les 20 000 volts en provenance d’ERDF, le transformateur qui convertit cette charge en 410 V, son spare puis le TGBT (tableau général basse tension) qui vient en aval. La suite de l’installation est quant à elle morcelée et déportée au sein de multiples containers électriques dans lesquels se trouvent un TGBT secondaire et deux onduleurs Eaton 550 kVA nourris par une double alimentation électrique 410 volts, chacun offrant une autonomie d’environ 10 minutes, largement suffisante pour basculer d’une source électrique à l’autre. « Un container électrique de ce type alimente quatre à cinq salles de serveurs, soit jusqu’à 30 000 serveurs », précise Erwan. Avec son arrivée électrique de 10 mégawatts, héritée du précédent occupant des lieux, le site de Gravelines est théoriquement déjà capable de supporter l’alimentation de 100 000 serveurs. Néanmoins, la charge est élevée progressivement : 3 mégawatts d’ici fin 2013 et un objectif de 50 mégawatts à terme. Prochainement, une seconde arrivée électrique en provenance de la centrale sera opérationnelle, et d’autres groupes électrogènes rejoindront les deux premiers – des Caterpillar – déjà installés. Dotés d’une réserve commune de fioul de 60 000 litres, ceux-ci seront capables de secourir l’alimentation du site durant 48 heures.

Les cellules haute tension reçoivent l’énergie électrique en provenance directe de la centrale voisine.

Une installation réseau exceptionnelle

Ces premiers mois de « grands travaux » ont également été marqués par un conséquent chantier de génie civil. Un chantier qui visait à raccorder le site de Gravelines au réseau fibré de l’hébergeur, et représente une grande partie des 15 millions d’euros déjà investis par OVH, selon Henryk. En début d’année, deux tranchées distinctes furent ainsi creusées pour y enterrer deux fourreaux de fibres optiques entre le datacentre et le nœud de réseau le plus proche. « Depuis ce nœud partent un chemin optique vers Paris et un autre vers Londres, soit deux nouveaux liens qui s’ajoutent à ceux précédemment exploités par OVH entre Paris et Londres, via Roubaix, et participent à sécuriser l’ensemble du réseau », détaille Florian Valette, de l’équipe réseau. Un troisième raccordement sur une fibre rejoignant Bruxelles est en cours. Il sera effectif début 2014 et dotera ainsi GRA de trois pénétrations de fibre optique distinctes (trois « boucles »), qui entrent dans le bâtiment à trois endroits différents pour plus de sécurité. Soit la possibilité de survivre à la perte de deux des trois liens sans impact majeur pour les clients… Mais ce n’est pas tout : le onzième centre de données français de l’hébergeur bénéficie en son sein d’une installation réseau inédite. GRA est pourvu de deux salles réseau distinctes, en tous points identiques, équipées de composants de dernière génération. « Les salles 0A et 0B accueillent notamment chacune un routeur Cisco 6509-E sup2t muni de 2 cartes de 8 x 10 G, capable de gérer entre 12 et 15 000 serveurs, ainsi que le fameux Cisco ASR 9922… qu’OVH est l’une des premières entreprises mondiales à déployer », explique Florian. Surnommé le « mégatron », cet imposant routeur muni de 16 alimentations (!) permet de disposer de 550 G par slot (et encore davantage à l’avenir), et peut accueillir 20 line-cards. « En clair, il peut à lui seul gérer la connectivité des 400 000 serveurs que GRA prévoit d’accueillir à terme », se réjouit Florian. Enfin, l’installation réseau comprend également les équipements longue distance d’Infinera, qui offrent un « super channel optique » de 5 x 100 G cohérents vers Londres. Ayant nécessité de tirer pas moins de 35 kilomètres de fibres au sein du datacentre et déjà riche d’une centaine de switches, cette installation hors normes est opérationnelle depuis le 3 mai dernier à 17 h 08 et 58 secondes, heure à laquelle le premier ping de serveur fut enregistré.

L’une des deux tranchées creusées pour relier le datacentre au réseau fibré mondial d’OVH.com. Début 2014, le datacentre bénéficiera d’une troisième pénétration optique distincte pour plus de sécurité.

Des serveurs en containers

Dans le bureau d’Erwan, un plan s’étale sur plusieurs tables et fourmille de détails sur l’implantation à venir des serveurs au sein du datacentre. Une précision qui contraste avec le gigantisme des lieux : « Les volumes sont énormes, et nous n’en utilisons pour l’instant qu’une partie, concède le responsable du site. Mais nous pensons déjà à l’avenir, aux façons d’optimiser l’espace, à la circulation des hommes et des machines, ceci pour faciliter le fonctionnement et la maintenance du datacentre. » Le site a ainsi été divisé en différents secteurs de plusieurs milliers de mètres carrés chacun, qui seront successivement investis. Et au sein de chacun de ces secteurs, les serveurs sont logés à l’intérieur de multiples containers. En fait, des grandes boîtes faites de tôles galvanisées, dotées de panneaux latéraux perméables à l’air en partie basse pour permettre une ventilation naturelle des serveurs, l’air chaud étant extrait par le plafond à l’aide de quatre ventilateurs à déclenchement automatique. Une technique qui, conjuguée à celle du refroidissement liquide des serveurs (watercooling) développée par OVH en 2004, permet d’éviter la climatisation du datacentre et lui assure des performances énergétiques équivalentes à celles de Roubaix 4 – la référence en la matière, avec un PUE de 1,09. « Modulables et assemblés sur place en quelques heures, ces containers ont été testés avec succès au sein de RBX 5, le dernier datacentre mis en service par OVH à Roubaix », assure Erwan. Mesurant jusqu’à 16 mètres de long par 4,60 de large et 3 de haut, ils peuvent contenir environ 6 000 serveurs chacun. Le secteur 001 accueillera à terme 24 containers, dont 3 à 4 dédiés au service électrique. Soit plus de 100 000 serveurs, fabriqués à Roubaix et livrés à un rythme de 420 à 600 par jour.

À l’intérieur d’un container de serveurs, l’un des trois clusters hubiC.

Du Big Data, du HPC et des serveurs dédiés à partir de 2,99 € HT !

Fin juillet, plusieurs milliers de serveurs étaient d’ores et déjà rackés à Gravelines. « Depuis plusieurs mois déjà, une partie d’entre eux est utilisée à des fins de R&D, notamment dans la perspective d’enrichir l’offre Big Data avec la distribution Hadoop Cloudera et de proposer du HPC dans le Cloud (calcul haute performance à la demande, NDLR), explique Lionel. Le Big Data et le HPC ont vocation à représenter rapidement un parc important de machines, il était donc logique d’héberger ces services à GRA, où ils bénéficieront de toute la place nécessaire pour croître. » Une autre partie du contingent est constituée du troisième cluster hubiC (les deux autres sont installés respectivement à Roubaix et Strasbourg). Enfin, sont déjà présents à Gravelines l’ensemble des serveurs dédiés de la gamme OVH, du HG au Kimsufi, prêts à être livrés aux premiers clients. « Connectés au réseau et dotés de leur système de refroidissement liquide, ces serveurs ont été contrôlés puis éteints. En quelques clics, les utilisateurs peuvent les ranimer et y accéder quelques minutes après », détaille Erwan.
Et l’on peut dire que les livraisons ont démarré sur les chapeaux de roue, car l’annonce par Octave Klaba ce jeudi 25 juillet d’une offre de serveur dédié hébergé à Gravelines à partir de 2,99 euros HT (le KS-2G) a fait l’effet d’une bombe et engendré plus de 15 000 commandes en 10 jours. Et si le prix défie toute concurrence, les innovations réalisées au sein du datacentre de Gravelines n’y sont pas étrangères : « En secret, nous avons travaillé sur la nouvelle version de Kimsufi avec un objectif : proposer un vrai serveur dédié à moins de 5 euros. Et après six mois de R&D, nous avons su sortir le serveur à moins de 3 euros par mois, s’enthousiasme le fondateur et dirigeant d’OVH. Nous avons revu complètement le hardware, l'infrastructure électrique et le réseau pour avoir la redondance maximale mais en réduisant les coûts. Par exemple, nous n'utilisons plus des onduleurs mais trois batteries dans chaque baie qui alimentent en parallèle un redresseur 220 V/12 V qui alimente les serveurs directement en 12 V. Ce n’est qu'un exemple des innovations que nous avons mises en œuvre à Gravelines pour répondre à la problématique particulière de KS-2G. Malheureusement toutes ces astuces ne sont pas applicables pour les autres gammes de serveurs. »

Des recrutements en cours et bientôt un centre de R&D ?

Pour veiller sur ce datacentre, une équipe se relaye déjà jour et nuit, en 3 x 8 heures. Ces techniciens de maintenance informatique et techniciens de maintenance industrielle seront bientôt rejoints par d’autres, « au fur et à mesure de la croissance du site », précise Erwan. Néanmoins, les recrutements sont déjà lancés, car les nouveaux embauchés feront tous un passage par Roubaix, où ils recevront une formation intensive. « Nous travaillons également avec les pouvoirs locaux à la mise en place de filières universitaires régionales et de formations d’ingénieurs en informatique qui correspondent à nos besoins, explique Henryk. Car nous envisageons aussi de créer un centre de R&D dans les anciens bureaux administratifs du bâtiment. Ce centre pourrait compter, à terme, une cinquantaine de collaborateurs à Gravelines », confie le président du groupe OVH.

* La capacité définitive du datacentre est fonction du type de serveurs qui sera le plus commandé par les clients, certaines machines occupant davantage de place que d’autres.