I data center funzionano come reti distribuite, con numerose applicazioni web e mobile implementate su un singolo server. Quando gli utenti inviano richieste a un'applicazione, frammenti di dati memorizzati vengono recuperati da centinaia o migliaia di servizi distribuiti su tali server. Prima di inviare una risposta, l'applicazione deve attendere che il servizio più lento elabori i dati. Questo ritardo è noto come latenza di coda.
Gli attuali metodi per ridurre la latenza delle code lasciano liberi moltissimi core della CPU di un server per gestire rapidamente le richieste in arrivo. Questo però significa che i core rimangono inattivi per gran parte del tempo, mentre i server continuano a consumare energia solo per rimanere accesi. I data center possono contenere centinaia di migliaia di server, quindi anche piccoli miglioramenti nell'efficienza di ciascun server possono far risparmiare milioni di dollari.
In alternativa, alcuni sistemi riallocano i core tra le applicazioni in base al carico di lavoro. Tuttavia, questo processo avviene in millisecondi, circa un millesimo della velocità richiesta per le richieste accelerate odierne. Attendere troppo a lungo può inoltre compromettere le prestazioni di un'applicazione, poiché le informazioni non elaborate entro un tempo prestabilito non vengono inviate all'utente.
In un articolo presentato alla conferenza USENIX Networked Systems Design, i ricercatori hanno sviluppato un sistema di allocazione dei core più veloce, chiamato Shenango, che riduce le latenze delle code e al contempo garantisce un'elevata efficienza. Innanzitutto, un nuovo algoritmo rileva quali applicazioni hanno difficoltà a elaborare i dati. Successivamente, un componente software alloca i core inattivi per gestire il carico di lavoro dell'applicazione.
"Nei data center, esiste un compromesso tra efficienza e latenza, ed è fondamentale riallocare i core con una granularità molto più precisa di ogni millisecondo", afferma la prima autrice Amy Ousterhout, dottoranda presso il Computer Science and Artificial Intelligence Laboratory (CSAIL). Shenango consente ai server di "gestire in modo efficiente operazioni che si verificano su scale temporali molto brevi".
Il risparmio energetico e sui costi varierà a seconda del data center, delle sue dimensioni e dei carichi di lavoro. L'obiettivo generale, tuttavia, è migliorare l'utilizzo della CPU nel data center, in modo che ogni core venga sfruttato al meglio. Attualmente, i migliori tassi di utilizzo della CPU si aggirano intorno al 60%, ma i ricercatori affermano che il loro sistema potrebbe portare questa cifra al 100%.
"L'utilizzo dei data center oggi è piuttosto basso", afferma il coautore Adam Belay, professore associato di ingegneria elettrica e informatica e ricercatore del CSAIL. "Si tratta di un problema molto serio che non può essere risolto intervenendo su un solo punto del data center. Ma questo sistema rappresenta un elemento fondamentale per aumentarne l'utilizzo.".
Rilevamento efficiente della congestione.
In un data center reale, Shenango (algoritmo e software) verrebbe eseguito su ogni server. Tutti i server sarebbero in grado di comunicare tra loro.
La prima innovazione del sistema è un nuovo algoritmo di rilevamento della congestione. Ogni cinque microsecondi, l'algoritmo controlla i pacchetti di dati in coda per l'elaborazione da parte di ciascuna applicazione. Se un pacchetto è ancora in attesa dell'ultimo controllo, l'algoritmo segnala un ritardo di almeno cinque microsecondi. Verifica inoltre se qualche processo computazionale, chiamato sottoprocesso, è in attesa di essere eseguito. In tal caso, il sistema considera un'applicazione "congestionata".
Sembra abbastanza semplice. Ma la struttura della coda è fondamentale per ottenere un rilevamento della congestione in microsecondi. Il pensiero tradizionale prevedeva che il software dovesse controllare il timestamp di ogni pacchetto di dati nella coda, il che avrebbe richiesto troppo tempo.
I ricercatori implementano le code in strutture efficienti note come "buffer ad anello". Queste strutture possono essere visualizzate come diversi slot disposti attorno a un anello. Il primo pacchetto di dati ricevuto entra in uno slot iniziale. Man mano che arrivano nuovi dati, questi vengono inseriti negli slot successivi lungo l'anello. In genere, queste strutture vengono utilizzate per l'elaborazione dei dati secondo il principio "primo entrato, primo uscito" (FIFO), rimuovendo i dati dallo slot iniziale e procedendo verso lo slot finale.
Il sistema dei ricercatori, tuttavia, memorizza i pacchetti di dati nelle strutture solo per un breve periodo, fino a quando un'applicazione non può elaborarli. Nel frattempo, i pacchetti memorizzati possono essere utilizzati per verificare la presenza di congestione. L'algoritmo deve solo confrontare due punti nella coda (la posizione del primo pacchetto e la posizione dell'ultimo pacchetto cinque microsecondi prima) per determinare se i pacchetti stanno subendo un ritardo.
"È possibile osservare questi due punti e monitorarne l'andamento ogni cinque microsecondi per vedere quanti dati sono stati elaborati", spiega Fried. Poiché le strutture sono semplici, "è sufficiente eseguire questa operazione una sola volta per ogni core. Se si considerano 24 core, si effettuano 24 controlli in cinque microsecondi, il che garantisce un'ottima scalabilità".
Allocazione intelligente:
la seconda innovazione si chiama IOKernel, l'hub software centrale che indirizza i pacchetti di dati alle applicazioni appropriate. IOKernel utilizza anche un algoritmo di rilevamento della congestione per allocare rapidamente i kernel alle applicazioni congestionate, con una velocità di gran lunga superiore rispetto agli approcci tradizionali.
Ad esempio, IOKernel potrebbe ricevere un pacchetto di dati in entrata per una particolare applicazione che richiede velocità di elaborazione dell'ordine dei microsecondi. Se l'applicazione è sovraccarica a causa della mancanza di core, IOKernel dedica immediatamente un core inattivo all'applicazione. Se rileva anche un'altra applicazione che utilizza core per elaborare dati meno sensibili al fattore tempo, avrà bisogno di alcuni di quei core e li riallocherà all'applicazione sovraccarica. Anche le applicazioni contribuiscono: se un'applicazione non sta elaborando dati, avvisa IOKernel che i suoi core possono essere riallocati. I dati elaborati vengono quindi inviati nuovamente a IOKernel per l'invio della risposta.
"IOKernel si concentra sulle applicazioni che necessitano di core ma non ne hanno a sufficienza", spiega Behrens. "L'obiettivo è capire chi è sovraccarico e ha bisogno di più core, e fornirglieli il più rapidamente possibile, in modo che non rimanga indietro e non subisca latenze eccessive.".
La stretta comunicazione tra IOKernel, l'algoritmo, le applicazioni e l'hardware del server è "unica nei data center" e consente a Shenango di funzionare senza intoppi, secondo Belay: "Il sistema ha una visibilità globale su ciò che accade su ogni server. Vede l'hardware che fornisce i pacchetti, cosa è in esecuzione su ogni core e quanto è occupata ogni applicazione. E lo fa su una scala di microsecondi.".
Il prossimo passo per i ricercatori sarà quello di perfezionare Shenango per l'implementazione in data center reali. A tal fine, si stanno assicurando che il software sia in grado di gestire un flusso di dati molto elevato e che disponga delle funzionalità di sicurezza appropriate.
###
Articolo a cura di Rob Matheson, Ufficio Stampa del MIT
