Le modifiche apportate, come l'introduzione di "Romley" nel marzo 2012 e i recenti aggiornamenti all'architettura PCI Express Gen3, hanno un impatto significativo sul ciclo di aggiornamento hardware dei data center. Si tratta degli elementi "atomici" che innescano il ciclo di aggiornamento del settore dell'interconnessione, passando da 1G a 10G sul collegamento server-switch e da 10G a 40G sui collegamenti rack superiori verso la rete metropolitana, utilizzando transceiver LR4 da 40G e 100G.
Il report di LightCounting su 10GBASE-T spiega il modello di aggiornamento "tick-tock" di Intel. Monitorando questo ciclo di aggiornamento insieme a quello di iPhone/iPad di Apple, è possibile modellare come viene aggiornato tutto ciò che si trova nel mezzo: dall'accesso wireless e backhaul, alla rete metropolitana, alle chiamate interurbane e alla TV via cavo, fino a Internet, al data center, all'MPU del server e all'infrastruttura di storage. Intel produce i server e Apple i client, ovvero tutta la rete intermedia. AMD, Google, Samsung e altri seguono questi leader di mercato. È possibile considerare il modello Tick-Tock di Intel e gli aggiornamenti di Apple come gli "orologi atomici" del data center.
PCI Express introduce le specifiche di cablaggio per 4x8G su un collegamento in rame-ottico di 3 metri.
Il PCI-SIG (PCI Express Special Interest Group) è un gruppo industriale indipendente dedicato al miglioramento del sistema bus utilizzato in molti computer. Sebbene PCIe sia stata principalmente una tecnologia "in-chassis", ora si sta diffondendo anche all'esterno. Il PCI-SIG ha annunciato progressi relativi all'interconnessione ad alta velocità, allo switching e alla comunità dei server per i data center:
• PCIe OCuLink - un nuovo schema di interconnessione interno ed esterno allo chassis che supporta 8G a 1, 2 e 4 canali fino a 3 metri su un mezzo in rame o ottico a 32G. Con Gen4 e segnalazione a 16G, supporta 4x16G o 64G.
• PCI Express Gen 4 - offre segnalazione a 16G per corsia e 16 corsie per server, I/O a 256 Gbps - ~2016.
Tra qualche anno, i server richiederanno uplink a 100G. Come farà il settore a soddisfare questa esigenza di interconnessione? OCuLink rappresenta una nuova opportunità per il rame e la fibra ottica, o semplicemente un ulteriore livello di interconnessione e standard di connessione destinato a sfidare Ethernet, SAS, Fibre Channel e InfiniBand? Rappresenta una minaccia in grado di soppiantare tutto ciò che è venuto prima? Abbiamo discusso con i nostri clienti di alcuni di questi dibattiti accesi!
OCuLink - Un nuovo schema di interconnessione - Impatto sul cablaggio/ricetrasmettitori esistenti nei data center?
A quanto pare, nei data center non ci sono abbastanza cavi, connettori e protocolli per gestire tutti gli 1 e gli 0 digitali. Una specifica completa verrà rilasciata il prossimo anno, insieme a un connettore ancora da definire, che fa parte della specifica Mini CEM (Electro-Mechanical Card). È anche compatibile con SFF-8639 per SATA e SAS. LightCounting suggerisce che assomiglierà molto a un piccolo connettore USB piatto a 4 canali, non al solito mostruoso stile iPass o QSFP.
Un'altra novità è uno schema di integrazione del clock indipendente dallo spettro diffuso, progettato per affrontare la principale sfida a livello di sistema dell'estensione del PCIe oltre lo chassis: la distribuzione del clock tra sistemi separati. Il PCIe Gen3 abbandona la codifica 8b/10b a favore di velocità superiori con 128b/130b, con una penalizzazione prestazionale pressoché nulla, nonostante la perdita di prestazioni del 20% con 8b/10b. Ciò significa che un collegamento 4x10G che utilizza 8b/10b, come InfiniBand o Ethernet, è veloce quanto un collegamento PCI Express 4x8G con una correzione degli errori più rapida.
InfiniBand si è fatta un nome grazie al suo stack di protocollo estremamente ridotto rispetto a Ethernet. InfiniBand vanta una latenza bassissima, inferiore a 900 ns, contro i 3-4 µs di Ethernet e gli 1-2 µs con un protocollo di cutoff. Di conseguenza, InfiniBand è molto diffusa nei supercomputer. Tuttavia, PCI Express raggiunge una latenza di circa 600 ns. InfiniBand, Ethernet, Fibre Channel, SATA, SAS, ecc., devono convertire il segnale da PCI Express al protocollo specifico all'esterno del server e poi riconvertirlo, il tutto su una distanza di soli 1-3 metri. Questo comporta un notevole aumento di costi, latenza, complessità e consumo energetico rispetto a un semplice collegamento con un sottosistema di cutoff
OCuLink rappresenta chiaramente una risposta al collegamento Thunderbolt di Intel, già disponibile su PC Apple e Windows e strettamente controllato da Intel, insieme ai chip di protocollo router presenti sulle schede madri dei dispositivi a entrambe le estremità. OCuLink ha l'opportunità di diventare uno standard di interconnessione aperto al settore per server interni ed esterni, sistemi di storage nei data center e HDTV, PC, tablet e smartphone nel mercato consumer. Mentre Thunderbolt è attualmente progettato per trasportare segnali video su PCIe, il chip router presente sulla scheda madre a entrambe le estremità sarà in grado di trasferire Ethernet, USB e praticamente qualsiasi protocollo su PCIe. AMD ha un proprio progetto "Lightning Bolt" che utilizza il protocollo USB 5G al posto del PCI Express. Questi collegamenti devono semplicemente essere potenziati e troveranno spazio nei server dei data center e nei sottosistemi di storage. Gli elevati volumi generati dal mercato consumer consentiranno prezzi molto bassi. Altri schemi di interconnessione per brevi distanze, come la connessione diretta in rame, il 10GBASE-T e gli AOC basati su VCSEL, troveranno questa concorrenza sui prezzi molto agguerrita.
Thunderbolt è attualmente un'interconnessione video orientata al mercato consumer che opera su due corsie da 10G ciascuna e consente il collegamento in cascata di dispositivi. OCuLink è stato progettato da zero per i mercati server/sottosistemi e consumer (non sono disponibili informazioni sul collegamento in cascata o sui canali di alimentazione). È probabile che OCuLink venga integrato nelle schede madri dei server in futuro e potrebbe competere con Thunderbolt (e Lightning Bolt). OCuLink potrebbe diventare un concorrente molto veloce ed economico per tutte le tecnologie, da USB a Thunderbolt, comprese le connessioni dirette in rame, SAS e SFP+ AOC per distanze inferiori ai 10 metri. I prodotti di cablaggio dovrebbero essere rilasciati entro i prossimi 18-24 mesi.
Le indiscrezioni riguardanti la fotonica al silicio di Intel ci portano a credere che una linea Thunderbolt duale da 28G sarà disponibile nel 2015, in tempo per la prossima generazione di MPU e PCI Express Gen4. È molto probabile che un collegamento 2x28G sarà destinato ai data center piuttosto che ai consumatori. Attualmente, Thunderbolt utilizza un cavo coassiale e un chip attivo a ciascuna estremità per coprire distanze di 2 metri. Sumitomo ha annunciato un collegamento Thunderbolt da 100 metri che utilizza VCSEL da 10G e TIA, LD, ecc. Le versioni Intel del 2015 potrebbero incorporare laser ibridi al silicio III-V integrati su un singolo chip fotonico al silicio (almeno questo è ciò che suggerisce il video di Intel su YouTube). Se prodotta in volumi molto elevati per PC, questa tecnologia può essere applicata anche ai server di collegamento dei data center con switch top-of-rack, sistemi di storage SAS e GPU utilizzate per il calcolo piuttosto che per la grafica.
Impatto sui sistemi dei data center:
PCI Express viene utilizzato per connettere i sottosistemi. OCuLink potrebbe ridefinire il concetto stesso di "sottosistema". Invece di essere separati da 50 cm, ciascun sottosistema potrebbe ora essere separato da 3 metri (utilizzando il rame), 15 metri (con endpoint attivi), 100 metri utilizzando AOC e persino attraverso l'oceano con infrastrutture in fibra ottica. (Un nuovo collegamento ottico sottomarino transatlantico installato per il trading ad alta velocità collega la Borsa di New York e l'Europa in 23 ms. Che dire di un server di collegamento transatlantico con uno switch top-of-rack?) Quando OCuLink offre bassa latenza (600 ns), lungo raggio (oltre 100 metri) e larghezza di banda (32G Gen3 o 64G Gen4), ciò che oggi viene definito sottosistema potrebbe coinvolgere un sistema di data center "a rack o a fila". I server collegati direttamente agli switch di fine fila con AOC, SAS e SATA Express, che utilizzano anche PCI Express come livello di trasporto per connettere alloggiamenti SSD, SSD/HDD, schede PCI Express-FLASH e cluster GPU, potrebbero essere considerati il "sottosistema". Quasi l'80% di tutto il traffico dei data center risiede attualmente all'interno di questo sottosistema. Questa transizione non avverrà dall'oggi al domani, ma ha il potenziale per cambiare un gran numero di componenti e modificare il potere economico dell'azienda. Molti dibattiti inizieranno a stabilire con precisione dove dovrebbero risiedere i protocolli Ethernet e Fibre Channel: sul server, in cima al rack o sullo switch di fine fila.
In sintesi: OCuLink rappresenta una nuova opportunità per i fornitori di cavi ottici e connettori. Ogni protocollo e MSA avrà il suo posto e probabilmente prevarrà la preferenza dell'utente finale, con ciascuno che manterrà la propria infrastruttura software. Probabilmente uno dei problemi più importanti per continuare con l'infrastruttura esistente è la retrocompatibilità con i protocolli e le interconnessioni esistenti. Presto, Thunderbolt, Lightning Bolt e OCuLink PCIe si aggiungeranno al mix nei data center, ognuno con nuovi connettori. SATA e SAS si stanno spostando verso PCI Express al Layer 1. Fibre Channel ha registrato una crescita significativa e ha avuto un impatto molto limitato da Fibre Channel over Ethernet (FCoE). InfiniBand ha guadagnato molta popolarità nei data center di fascia alta. PLX Technology è stata una forte sostenitrice dei collegamenti PCIe ottici (vedi il video SSC sul sito web di PLX) e ha presentato diverse demo con prodotti Avago Micropod e McLink, dimostrando USB ottico e Mini-SAS HD.
Sebbene non sia ancora chiaro se il PCI Express diventerà un collegamento di trasmissione per il protocollo vero e proprio anziché un bus di sistema, i colossi del settore stanno spingendo in quella direzione. È probabile che si verifichino cambiamenti significativi se il PCI Express estenderà la definizione di sottosistema oltre lo chassis, magari a una serie di data center.
Autore:
Brad Smith, Vicepresidente e analista capo presso Data Center Interconnects
