Quando abbiamo lanciato llm-d nel maggio 2025, ci siamo prefissati l'obiettivo di colmare l'enorme divario di capacità tra la sperimentazione dell'IA e l'inferenza di produzione su larga scala e di importanza critica. Integrando llm-d nella CNCF, stiamo ampliando l'obiettivo di una coalizione multi-vendor, che include CoreWeave, IBM, Google e NVIDIA, di stabilire uno standard aperto per l'inferenza distribuita.
L'inferenza guida l'era dell'agente
Mentre ci addentriamo sempre più in un futuro basato sugli agenti, l'inferenza AI che alimenta gli agenti aziendali in diversi settori è pronta per un'adozione su larga scala. Sarà fondamentale che il costo e la complessità dell'inferenza non superino il valore aziendale degli agenti stessi. Tuttavia, l'inferenza può essere estremamente costosa, richiedendo grandi quantità di acceleratori specializzati, e questi costi possono aumentare ulteriormente su larga scala. Le funzionalità avanzate di llm-d affrontano direttamente questo problema, soddisfacendo gli obiettivi di livello di servizio (SLO) aziendali e massimizzando al contempo l'efficienza dell'infrastruttura. Inoltre, le organizzazioni necessitano della flessibilità di implementare l'inferenza ovunque sia più opportuno – data center, cloud o edge – sull'hardware di loro scelta. Questa flessibilità è possibile solo se l'ecosistema sottostante è costruito su open source e standard aperti.
Colmare il divario nell'ambiente cloud-native
Sebbene Kubernetes sia lo standard di settore per l'orchestrazione, non è stato originariamente progettato per le esigenze specifiche e con stato dell'inferenza di modelli linguistici di grandi dimensioni (LLM). In un microservizio tradizionale, una richiesta è una richiesta: ogni replica può gestirla con la stessa efficacia. Nell'IA generativa, il costo di una richiesta varia enormemente a seconda della lunghezza dei token di input e output, delle dimensioni e dell'architettura del modello, della località della cache e del fatto che il modello si trovi nella fase di precaricamento (limitata dal calcolo) o di decodifica (limitata dalla memoria).
Il routing standard dei servizi non tiene conto di queste dinamiche, il che porta a un'allocazione inefficiente e a latenze imprevedibili. È qui che interviene llm-d. Funziona come un livello di orchestrazione specializzato del piano dati tra i piani di controllo di alto livello come KServe e i motori di basso livello come vLLM. Sfruttando i componenti nativi di Kubernetes come Gateway API e LeaderWorkerSet (LWS), trasforma l'inferenza distribuita complessa in un carico di lavoro cloud-native gestibile e osservabile.
Rafforzare l'ecosistema attraverso il contributo
Mettendo a disposizione della CNCF llm-d, stiamo definendo percorsi ben precisi: progetti collaudati e replicabili che trasformano componenti di intelligenza artificiale frammentati in microservizi modulari e interoperabili. Questo contributo va ben oltre un singolo progetto; si tratta di arricchire l'intero panorama cloud-native in modo che l'inferenza diventi parte integrante dello stesso ambiente delle tradizionali applicazioni basate su container.
Una parte fondamentale di questo lavoro è il selettore di endpoint (EPP). llm-d funge da implementazione chiave per l'API di estensione dell'inferenza (GAIE) e l'EPP consente un routing programmabile e consapevole dell'inferenza. Ciò significa che il sistema prende decisioni di routing in base allo stato effettivo del motore, ottimizzando i tassi di successo della cache KV e le funzionalità dell'acceleratore hardware. Questo è un requisito fondamentale per mantenere prestazioni costanti nel rispetto di rigorosi obiettivi di livello di servizio.
llm-d integra ed estende l'insieme di soluzioni esistenti all'interno della CNCF:
● Kubernetes: Fornisce la piattaforma infrastrutturale chiave per i carichi di lavoro di IA.
● API Gateway: Guida l'allineamento a monte per il routing specifico dell'IA, garantendo che la gestione del traffico rimanga un componente core aperto.
● KServe: Funge da piano di controllo di alto livello che si integra con llm-d per supportare funzionalità avanzate come il servizio disaggregato e la memorizzazione nella cache dei prefissi.
● LeaderWorkerSet: Sfrutta i blocchi di costruzione nativi di Kubernetes per orchestrare la replica multi-nodo complessa e il parallelismo esperto, trasformando motori come vLLM in carichi di lavoro cloud-native gestibili.
● Prometheus e Grafana: Esportano metriche specializzate come il tempo al primo token (TTFT) per portare l'osservabilità aziendale all'IA generativa.
Costruiamo insieme il futuro dell'inferenza
La collaborazione è stata al centro di llm-d fin dalla sua nascita. Quando abbiamo annunciato llm-d lo scorso anno al Red Hat Summit, gli sforzi congiunti dei fondatori del progetto, dei leader del settore e degli accademici sono stati motivo di orgoglio per Red Hat, non solo per il lancio di llm-d, ma anche per la creazione di una base collaborativa e a prova di futuro. Nei 10 mesi successivi, llm-d è stato adottato sia per il MaaS (Model-as-a-Service) di IA nelle aziende private, sia per iniziative di IA su larga scala. Ancora più importante, le radici open source del progetto continuano a rafforzarsi grazie a un ecosistema in crescita di contributori e partner. Sviluppatori e aziende ripongono la loro fiducia in llm-d e rendere il progetto disponibile alla CNCF supporterà e sosterrà un futuro aperto. Il percorso verso un'innovazione di successo nell'ambito dell'IA open source è lungo, ma insieme stiamo costruendo l'infrastruttura per raggiungerlo.
Autore: Brian Stevens, Vicepresidente senior e Direttore tecnologico (CTO) per l'IA, Red Hat
