Exemple d'implémentation d'un serveur de calcul/matériel basé sur RapidIO :
des cartes de commutation haute densité non bloquantes ont déjà été développées à l'aide des commutateurs RapidIO Gen2 d'Integrated Device Technology, Inc. (IDT). Ces cartes de commutation peuvent être déployées dans des environnements de centres de données/HPC. La figure 1 illustre une implémentation de carte de commutation pouvant être utilisée pour la commutation en haut de baie.
Le pont IDT Tsi721, qui convertit le PCIe Gen2 en RapidIO Gen2, peut être utilisé pour l'interconnexion avec le nœud serveur. Le Tsi721 assure la conversion entre PCIe et RapidIO, offrant une connexion pontée jusqu'à 20 Gbaud. Grâce au Tsi721, les concepteurs peuvent développer des systèmes hétérogènes tirant parti des performances du réseau pair-à-pair RapidIO tout en utilisant des clusters de microprocesseurs actifs uniquement en PCIe. Le marché cible exige le transfert efficace de gros volumes de données sans intervention du processeur, ce qui est possible grâce à un bloc DMA haut débit associé aux moteurs de messagerie du Tsi721. Les avantages de la messagerie RapidIO Type 9, tels que la prise en charge de la virtualisation et un débit accru par rapport au 10 GbE, permettent de réduire le câblage. Ce système d'exemple sert de point de départ à la discussion qui se poursuivra dans cet article.
Dans ce système, la messagerie entre deux nœuds est assurée par deux concepts distincts : les E/S logiques et la messagerie. Les transactions d'E/S logiques sont prises en charge par traduction directe de pont, ainsi que par des moteurs DMA par blocs. Le DMA et le RDMA sont pris en charge par ce système, car ils sont conçus pour les systèmes Ethernet. La messagerie est prise en charge par des moteurs de messagerie. La messagerie Ethernet est prise en charge, entre autres, par TCP. RapidIO prend en charge une seule IOV par canal, ce qui est inférieur aux solutions Ethernet disponibles.
Comparaison du protocole
Ethernet permet de gérer le trafic pair à pair entre réseaux de processeurs, que ce soit entre puces, cartes à cartes ou entre châssis. Cependant, Ethernet est issu des réseaux locaux (LAN) et étendus (WAN), les architectes recherchant une solution efficace pour son utilisation dans les systèmes embarqués. Dans ce contexte, les LAN et les WAN supposent généralement la présence d'un processeur par nœud pour compléter la pile de protocoles. Cette hypothèse est raisonnable pour les LAN et les WAN, mais elle induit une latence et une consommation d'énergie excessives dans les systèmes embarqués temps réel (y compris les serveurs).
Les normes PCI et PCIe offrent une alternative ; cependant, elles ont été conçues pour des systèmes monolithiques à processeur unique, reposant sur un concept de processeur complexe. La mise à l'échelle vers plusieurs processeurs sur cartes d'interface, cartes mères à fond de panier et serveurs multiples représente un défi, même avec des ponts non transparents. Le problème peut être résolu pour un petit nombre de points de terminaison ou de nœuds de calcul, mais le mappage mémoire devient rapidement complexe à mesure que la taille des systèmes augmente.
RapidIO, conçu dès le départ pour les réseaux P2P multiprocesseurs, intègre intrinsèquement les attributs suivants : communication fiable, livraison de paquets de bout en bout en moins d'une microseconde, latence de commutation de 100 ns, aucune surcharge processeur pour la terminaison du protocole, prise en charge de toute topologie (directe, maillée, en étoile, double étoile, etc.), messagerie haute performance pour la transmission de gros volumes de données et architecture push avec la possibilité pour chaque processeur du système de disposer de son propre sous-système mémoire.
RapidIO est devenu le principal système d'interconnexion intégré et, grâce à sa communication série de qualité opérateur spécifiée pour la connectivité du fond de panier, il peut offrir une prise en charge native des connexions intra-carte, inter-carte, câblées et inter-châssis au sein d'une même pièce ou entre différentes pièces.
Des spécifications ultérieures ont été élaborées pour améliorer les performances Ethernet dans les environnements embarqués, au-delà des réseaux étendus (WAN) et des réseaux locaux (LAN). Ces améliorations pour les environnements de centres de données sont regroupées sous le terme de Data Center Bridging (DCB). Les environnements de centres de données et embarqués se caractérisent par un transport sans perte, un contrôle de flux amélioré et une faible latence.
Comparaison entre la QoS et le contrôle de flux :
L’un des principaux facteurs d’augmentation de la bande passante dans les centres de données d’entreprise et le cloud est la nécessité de combiner le réseau de stockage, qui atteint généralement 8 Gbit/s pour la Fibre Channel, avec le réseau de connectivité entre serveurs, généralement Ethernet à 1 Gbit/s. Ces réseaux présentent des limitations différentes en termes de qualité de service. De plus, les réseaux de stockage ne doivent subir aucune perte de paquets. Actuellement, les systèmes basés sur RapidIO garantissent une distribution fiable avec une qualité de service prévisible.
Pour les applications exigeant une QoS plus performante et efficace, RapidIO offre des fonctionnalités avancées de contrôle de flux et de plan de données. Le protocole RapidIO définit plusieurs mécanismes de contrôle de flux aux niveaux physique et logique. La gestion du contrôle de flux au niveau de la couche physique (liaison de données) permet de gérer efficacement les épisodes de congestion de courte durée grâce à un contrôle de flux assuré conjointement par l'émetteur et le récepteur. La congestion de longue durée peut être contrôlée au niveau de la couche logique à l'aide des messages XOFF et XON, qui permettent au récepteur d'interrompre le flux de paquets lorsqu'une congestion est détectée sur un flux spécifique.
Les canaux virtuels (CV) prennent en charge de nouvelles fonctionnalités de qualité de service (QoS). Ces fonctionnalités offrent des politiques de livraison fiables et optimales, un contrôle de flux amélioré au niveau de la couche liaison de données et une gestion du trafic de bout en bout. Les CV permettent également jusqu'à 16 millions de flux virtuels individuels entre deux points d'extrémité.
Ethernet a également amélioré ses capacités de contrôle de flux grâce aux progrès de la technologie DCB, qui permet à une extrémité d'une liaison d'interrompre la transmission à l'autre extrémité afin d'éviter les débordements de tampon et les pertes de paquets qui en résultent. La simplification du routage des paquets, facilitée par le marquage VLAN, ainsi que la priorisation des paquets intégrée au marquage VLAN, ont également contribué de manière significative à l'amélioration de la latence et de la qualité de service d'Ethernet.
Cependant, DCB présente de nombreuses limitations en matière de contrôle de flux et de QoS par rapport à RapidIO [Comparaison entre Ethernet et RapidIO, CompactPCI, AdvancedTCA et MicroTCA, 15 juillet 2010]. Par exemple, la prise en charge du contrôle de flux Ethernet repose principalement sur la prise en charge de la fonction PAUSE 802.3x. Même avec des mécanismes de contrôle de flux améliorés, la surcharge liée à la notification de congestion est importante, car la notification se propage de la source jusqu'à la périphérie du réseau. En revanche, avec RapidIO, la notification de congestion est très rapide grâce à la transmission de symboles de contrôle. De toute évidence, les mécanismes Ethernet n'ont pas été largement adoptés et certains fournisseurs proposent une prise en charge propriétaire pour des topologies limitées. Le contrôle de flux de la couche liaison de données de RapidIO permet à l'émetteur de saturer le récepteur en le maintenant constamment plein, ce qui améliore l'efficacité de la planification et, par conséquent, l'efficacité globale de la commutation.
Comparaison des performances : latence et débit
La latence des commutateurs Ethernet continue de diminuer, au point que les commutateurs Ethernet les plus performants du marché affichent désormais une latence d'environ 200 ns. Cependant, la latence des commutateurs RapidIO est inférieure à 100 ns et diminue également. Cette tendance se poursuivra pour les deux technologies, les fabricants utilisant des procédés de gravure plus fins et des vitesses de couche physique plus élevées. La terminaison de paquet de bout en bout peut dépasser 10 µs pour Ethernet et être inférieure à 1 µs pour RapidIO.
RapidIO garantit la livraison grâce à la récupération en cas de défaillance de la couche liaison de données. Les symboles de contrôle de cette couche minimisent la latence de la boucle de contrôle. Ces symboles peuvent également être intégrés aux paquets, réduisant ainsi davantage la latence. Le DCE sans perte nécessite néanmoins des moteurs de téléchargement ou des piles logicielles susceptibles d'introduire de la latence.
Les commutateurs RapidIO Gen2 offrent un débit de 20 Gbit/s par port. Le Tsi721 convertit les données PCIe en RapidIO et inversement, assurant ainsi une passerelle à un débit maximal de 16 Gbit/s pour des paquets d'une taille minimale de 64 octets. Ce débit est supérieur au 10 GbE généralement disponible, mais inférieur aux solutions 40 GbE, de plus en plus nombreuses, qui arrivent sur le marché.
Du point de vue de la bande passante brute, Ethernet surpasse RapidIO. Cependant, cet écart devrait se réduire une fois que les spécifications physiques et la feuille de route des prochaines versions de RapidIO seront disponibles. Les performances et l'efficacité du protocole RapidIO permettent une encapsulation robuste. La messagerie et la transmission de données offrent des capacités d'encapsulation Ethernet natives.
Sécurité :
Les fonctions de sécurité côté réception du Tsi721 pour RapidIO sont implémentées matériellement et déterminent l’acceptation ou non d’une série d’identifiants de destination. Chaque type de paquet défini par la spécification RapidIO 2.1 peut être accepté ou rejeté. La sécurité côté transmission doit être implémentée par logiciel.
La sécurité de l'architecture de commutation est assurée par le système hôte. Aucun nœud ne peut communiquer avec un autre sans que les tables de routage soient configurées pour autoriser l'acheminement des paquets entre les nœuds. Chaque port de commutation dispose également de quatre filtres capables de masquer et de comparer les 20 premiers octets de chaque paquet, puis de les rejeter. Cette fonctionnalité permet d'imposer des plages d'adresses et des identifiants de destinataire pour les transactions de lecture et d'écriture DMA, et d'empêcher tout nœud autre que le système hôte d'interroger ou de configurer l'architecture de commutation.
L'
unité et le système RapidIO offrent une puissance et un prix supérieurs, et sont incontestablement plus économes en énergie que l'Ethernet. La couche physique de RapidIO remplace les protocoles de la couche transport d'Ethernet afin de garantir une transmission fiable et précise des messages. La charge protocolaire plus élevée d'Ethernet contribue également à une consommation d'énergie plus importante par point de données transmis.
Les fournisseurs Ethernet facturent un prix élevé pour les ports Ethernet 10 Gbit/s et encore plus pour les ports 40 Gbit/s. Le coût d'un port système pour une puce Ethernet 10 Gbit/s peut atteindre plusieurs centaines de dollars, et celui d'un commutateur 10G dépasse 10 dollars par port en grande quantité. Cependant, grâce à une terminaison de paquets simplifiée, une mémoire de paquets réduite et l'absence de tri, entre autres, le coût d'un port système RapidIO est d'environ 55 dollars, et celui d'un commutateur est inférieur à 4 dollars par port 10G en grande quantité.
Écosystème :
Du point de vue de l’écosystème, l’Ethernet traditionnel, vieux de plus de 30 ans, présente un avantage considérable par rapport aux écosystèmes RapidIO plus anciens, datant de dix ans ou plus. De nombreux fournisseurs proposent des semi-conducteurs, des plateformes, des outils et des logiciels. L’écosystème matériel Ethernet offre des cartes réseau convergentes, des plateformes de commutation et de routage, ainsi que des plateformes de serveurs et de stockage. L’écosystème logiciel propose des logiciels de gestion de réseau, Microsoft Windows®, Linux® et une large gamme d’autres solutions. On trouve également des analyseurs de protocoles, des analyseurs de paquets, des générateurs de trafic, des testeurs de réseau et une solide expérience en matière de tests de conformité. RapidIO intègre des systèmes d’exploitation robustes, Linux, OFED, l’analyse de protocoles, les diagnostics système et plusieurs plateformes de serveurs. Il bénéficie d’une solide expérience en matière de conformité Gen1, tandis que la conformité Gen2 est en cours. Des limitations subsistent concernant le système d’exploitation Windows, VMware, les solutions d’adaptation réseau, les périphériques NPU et les options de prise en charge des plateformes de stockage.
Conclusion :
La refonte visant à passer de 10 GbE à 40 GbE ouvre de nouvelles perspectives aux solutions d’interconnexion concurrentes cherchant à s’implanter sur le marché des serveurs d’entreprise, des centres de données, du cloud computing et du calcul haute performance. Parmi ces solutions, RapidIO Gen2, avec son débit de 20 Gbit/s, est un concurrent sérieux. Les concepteurs de systèmes capables d’exploiter des écosystèmes RapidIO plus petits et moins matures peuvent migrer vers 20 Gbit/s à l’aide de commutateurs, de ponts PCIe et de toute solution de processeur embarqué actuellement disponible. Les avantages incluent une solution système de qualité opérateur tolérante aux pannes, fiable et hautement évolutive, avec un coût total de possession extrêmement faible. Elle offre également une consommation d’énergie et une latence considérablement réduites, ainsi qu’un contrôle de flux et une qualité de service supérieurs.
Auteur:
Trevor Hiatt, directeur produit chez IDT.
