Les modifications apportées ici, telles que l'introduction de « Romley » en mars 2012 et les récentes mises à jour de l'architecture PCI Express Gen3, ont un impact majeur sur le cycle de mise à niveau du matériel des centres de données. Ce sont les éléments « atomiques » qui déclenchent le cycle de mise à niveau du secteur de l'interconnexion, passant de 1 Gbit/s à 10 Gbit/s sur la liaison serveur-commutateur et de 10 Gbit/s à 40 Gbit/s sur les liaisons entre les baies supérieures et le réseau métropolitain, à l'aide d'émetteurs-récepteurs LR4 40 Gbit/s et 100 Gbit/s.
Le rapport LightCounting sur la norme 10GBASE-T explique le modèle de mise à jour « Tick-Tock » d'Intel. En comparant ce cycle de mise à jour à celui des iPhone/iPad d'Apple, on peut modéliser la mise à jour de l'ensemble des infrastructures : accès sans fil et liaisons de collecte, réseaux métropolitains, téléphonie longue distance, télévision par câble, Internet, jusqu'aux centres de données, aux microprocesseurs des serveurs et à l'infrastructure de stockage. Intel conçoit les serveurs, Apple les clients, et toute l'infrastructure réseau. AMD, Google, Samsung et d'autres suivent ces leaders du marché. On peut considérer les mises à jour « Tick-Tock » d'Intel et d'Apple comme les « horloges atomiques » des centres de données.
PCI Express introduit une spécification de câblage pour 4 x 8 Gbit/s sur une liaison cuivre-optique de 3 mètres.
Le PCI-SIG (PCI Express Special Interest Group) est un groupe industriel indépendant dédié à l'amélioration du système de bus utilisé dans de nombreux ordinateurs. Alors que PCIe était principalement une technologie interne au châssis, elle s'étend désormais à l'extérieur. Le PCI-SIG a annoncé des avancées concernant l'interconnexion haut débit, la commutation et les serveurs pour les centres de données :
• PCIe OCuLink : un nouveau schéma d'interconnexion interne et externe au châssis prenant en charge 1, 2 et 4 canaux 8 Gbit/s jusqu'à 3 mètres sur un support cuivre ou 32 Gbit/s optique. Avec la signalisation Gen4 et 16 Gbit/s, il prend en charge 4 x 16 Gbit/s ou 64 Gbit/s.
• PCI Express Gen 4 : offre une signalisation 16 Gbit/s par voie et 16 voies par serveur, 256 Gbit/s d'E/S (à partir de 2016).
D'ici quelques années, les serveurs nécessiteront des liaisons montantes 100 Gbit/s. Comment l'industrie répondra-t-elle à ce besoin d'interconnexion ? OCuLink représente-t-il une nouvelle opportunité pour le cuivre et la fibre optique, ou simplement un nouveau niveau d'interconnexion et une nouvelle norme de connecteurs venant concurrencer Ethernet, SAS, Fibre Channel et InfiniBand ? Menace-t-il la disparition de toutes les technologies précédentes ? Nous avons abordé ces questions cruciales lors de nos échanges avec nos clients.
OCuLink – Un nouveau schéma d'interconnexion – Quel impact sur le câblage et les émetteurs-récepteurs existants dans les centres de données ?
Apparemment, le câblage, les connecteurs et les protocoles sont insuffisants pour gérer l'ensemble des données numériques (0 et 1). Une spécification complète sera publiée l'année prochaine, ainsi qu'un connecteur encore non défini, qui fait partie de la spécification Mini CEM (carte électromécanique). Ce connecteur est également compatible avec la norme SFF-8639 pour SATA et SAS. LightCounting suggère qu'il ressemblera fortement à un petit connecteur USB plat à 4 canaux, et non aux connecteurs iPass ou QSFP habituels, souvent volumineux.
Une autre nouveauté réside dans un système d'intégration d'horloges à spectre étalé indépendant, conçu pour relever le défi majeur au niveau système que représente l'extension du PCIe au-delà du châssis : la distribution de l'horloge entre différents systèmes. Le PCIe Gen3 abandonne l'encodage 8 bits/10 bits au profit de vitesses plus élevées avec le 128 bits/130 bits, sans perte de performance notable, malgré les 20 % de perte de performance induits par le 8 bits/10 bits. Ainsi, une liaison 4 x 10 Gbit/s utilisant le 8 bits/10 bits, comme InfiniBand ou Ethernet, offre les mêmes performances qu'une liaison PCI Express 4 x 8 Gbit/s avec une correction d'erreurs plus rapide.
InfiniBand s'est forgé une solide réputation grâce à sa pile de protocoles beaucoup plus compacte que celle d'Ethernet. Avec une latence inférieure à 900 ns, contre 3 à 4 µs pour Ethernet et 1 à 2 µs pour un protocole tronqué, InfiniBand est plébiscité pour les supercalculateurs. En revanche, la latence de PCI Express atteint environ 600 ns. InfiniBand, Ethernet, Fibre Channel, SATA, SAS, etc., nécessitent une conversion du signal PCI Express vers le protocole spécifique, puis une reconversion, sur une distance de seulement 1 à 3 mètres. Cette conversion engendre des coûts, une latence, une complexité et une consommation énergétique considérablement accrus pour une simple liaison PCI Express
OCuLink est clairement une réponse à la technologie Thunderbolt d'Intel, déjà disponible sur les PC Apple et Windows et étroitement contrôlée par Intel, ainsi que par les puces de protocole de routage intégrées aux cartes mères des périphériques. OCuLink offre la possibilité de devenir une norme d'interconnexion ouverte à l'industrie pour les serveurs (intérieurs et extérieurs), les systèmes de stockage des centres de données et les téléviseurs HD, PC, tablettes et smartphones grand public. Alors que Thunderbolt est actuellement conçu pour transporter des signaux vidéo via PCIe, la puce de routage intégrée à la carte mère pourra transférer des données Ethernet, USB et presque tous les protocoles via PCIe. AMD développe sa propre solution « Lightning Bolt », qui utilise le protocole USB 5G au lieu de PCI Express. Ces liaisons nécessitent simplement d'être renforcées et trouveront leur place dans les serveurs et les sous-systèmes de stockage des centres de données. Les volumes importants générés par le marché grand public permettront de proposer des prix très bas. Les autres solutions d'interconnexion pour les courtes distances, telles que la connexion cuivre directe, le 10GBASE-T et les AOC à base de VCSEL, auront fort à faire face à cette concurrence.
Thunderbolt est actuellement une interface vidéo grand public fonctionnant sur deux voies 10G et permettant le chaînage de périphériques. OCuLink est conçu spécifiquement pour les serveurs/sous-systèmes et le marché grand public (aucune information n'est disponible concernant le chaînage ou l'alimentation). OCuLink devrait être intégré aux cartes mères de serveurs à l'avenir et pourrait concurrencer Thunderbolt (et Lightning Bolt). OCuLink pourrait devenir une alternative très rapide et économique à toutes les technologies, de l'USB à Thunderbolt, y compris la connexion cuivre directe, le SAS et les modules SFP+ AOC pour les distances inférieures à 10 mètres. Les câbles devraient être disponibles dans les 18 à 24 prochains mois.
Les rumeurs concernant la photonique sur silicium d'Intel laissent penser qu'une interface Thunderbolt double 28G sera disponible en 2015, à temps pour la prochaine génération de microprocesseurs et le PCI Express Gen4. Il est fort probable qu'une liaison 2x28G soit destinée aux centres de données plutôt qu'aux particuliers. Actuellement, Thunderbolt utilise un câble coaxial et une puce active à chaque extrémité pour une portée de 2 mètres. Sumitomo a annoncé une liaison Thunderbolt de 100 mètres utilisant des VCSEL 10G et des TIA, des diodes laser, etc. Les versions d'Intel prévues pour 2015 pourraient intégrer des lasers hybrides III-V sur une seule puce photonique (c'est du moins ce que suggère la vidéo d'Intel sur YouTube). Produite en très grande série pour les PC, cette technologie pourrait également être utilisée pour relier les serveurs de centres de données avec des commutateurs ToR, des systèmes de stockage SAS et des GPU dédiés au calcul plutôt qu'au traitement graphique.
Impact sur les systèmes de centres de données :
PCI Express est utilisé pour connecter les sous-systèmes. OCuLink pourrait redéfinir la notion de « sous-système ». Au lieu d’être séparés par 50 cm, chaque sous-système pourrait désormais être séparé par 3 mètres (avec du cuivre), 15 mètres (avec des points de terminaison actifs), 100 mètres avec des câbles optiques actifs (AOC), et même par voie transatlantique grâce à une infrastructure optique. (Une nouvelle liaison optique sous-marine transatlantique, installée pour les transactions à haut débit, relie la Bourse de New York et l’Europe en 23 ms. Qu’en est-il d’un serveur de liaison transatlantique avec un commutateur en haut de baie ?) Avec une faible latence (600 ns), une longue portée (plus de 100 mètres) et une large bande passante (32 Gbit/s Gen3 ou 64 Gbit/s Gen4), ce qui est actuellement défini comme un sous-système pourrait englober un système de centre de données organisé en baies ou en rangées. Les serveurs directement connectés aux commutateurs de fin de rangée via des cartes réseau AOC, SAS et SATA Express, utilisant également PCI Express comme couche de transport pour connecter les baies SSD, les disques SSD/HDD, les cartes PCI Express-FLASH et les clusters GPU, peuvent être considérés comme faisant partie du « sous-système ». Près de 80 % du trafic des centres de données transite actuellement par ce sous-système. Cette transition ne se fera pas du jour au lendemain, mais elle offre la possibilité de modifier un grand nombre de composants et de transformer en profondeur le rapport coût-efficacité de l'entreprise. De nombreux débats s'engageront quant à l'emplacement précis des protocoles Ethernet et Fibre Channel : sur le serveur, en haut de la baie ou au niveau du commutateur de fin de rangée.
En résumé : OCuLink représente une nouvelle opportunité pour les fournisseurs de câblage optique et de connecteurs. Chaque protocole et MSA trouvera sa place, et les préférences des utilisateurs finaux prévaudront probablement, chacun conservant sa propre infrastructure logicielle. L'un des enjeux majeurs pour la continuité des infrastructures existantes est sans doute la rétrocompatibilité avec les protocoles et interconnexions existants. Prochainement, Thunderbolt, Lightning Bolt et OCuLink PCIe viendront enrichir l'offre des centres de données, chacun avec ses nouveaux connecteurs. SATA et SAS migrent vers PCI Express au niveau de la couche 1. Fibre Channel a connu une croissance significative et l'impact de Fibre Channel over Ethernet (FCoE) est resté très limité. InfiniBand a gagné en popularité dans les centres de données haut de gamme. PLX Technology défend activement les liaisons optiques PCIe (voir la vidéo SSC sur le site web de PLX) et a présenté plusieurs démonstrations avec les produits Avago Micropod et McLink, illustrant les technologies USB optique et Mini-SAS HD.
Bien que l'on ignore encore si PCI Express deviendra une liaison de transmission pour le protocole lui-même plutôt qu'un bus système, les géants du secteur orientent sa technologie dans cette direction. De véritables changements interviendront probablement si PCI Express étend la notion de sous-système au-delà du châssis, par exemple à une rangée de centres de données.
Auteur:
Brad Smith, vice-président et analyste en chef chez Data Center Interconnects
