Con una spesa aziendale per l'IA che dovrebbe superare i 1.000 miliardi di dollari entro il 2029, trainata in gran parte dalle applicazioni di IA agentica, le organizzazioni stanno cercando di orientare le proprie strategie verso flussi di lavoro agentici ad alta densità e di affrontare le conseguenti esigenze in termini di inferenza e infrastruttura IA. Per aiutare le organizzazioni a tenere il passo, Red Hat AI Factory con NVIDIA consente ai team IT di semplificare la gestione sia dell'infrastruttura tradizionale sia delle esigenze in continua evoluzione dello stack IA. Red Hat AI Factory con NVIDIA accelera il percorso verso l'IA in produzione e fornisce la piattaforma software per le AI factory, che opera su un'infrastruttura di calcolo accelerato che garantisce prestazioni superiori per i modelli e le GPU NVIDIA che alimentano lo stack di inferenza. La piattaforma supporta l'infrastruttura AI factory dei principali produttori di sistemi, tra cui Cisco, Dell Technologies, Lenovo e Supermicro. Ciò consente agli amministratori IT e ai team operativi di scalare e gestire le implementazioni di IA con lo stesso rigore operativo e la stessa prevedibilità di qualsiasi carico di lavoro aziendale. Questa piattaforma software, progettata congiuntamente, integra la collaborazione open source, l'ingegneria e l'esperienza di supporto di Red Hat e NVIDIA per offrire una soluzione aziendale affidabile.
Red Hat AI Factory con NVIDIA offre una base altamente scalabile per le implementazioni di intelligenza artificiale in qualsiasi ambiente, sia on-premise, nel cloud o in periferia. Include funzionalità essenziali per l'inferenza di IA ad alte prestazioni, la messa a punto dei modelli, la personalizzazione e l'implementazione e gestione degli agenti, con particolare attenzione alla sicurezza.
Ciò consente alle organizzazioni di mantenere il controllo architetturale dal data center al cloud pubblico, il che si traduce in:
● Tempi di implementazione più brevi: questa soluzione facilita il passaggio all'IA in produzione con flussi di lavoro ottimizzati e accesso immediato a modelli preconfigurati, tra cui la famiglia IBM Granite, NVIDIA Nemotron e i modelli open source NVIDIA Cosmos, forniti come microservizi NVIDIA NIM. Inoltre, consente alle organizzazioni di allineare meglio i modelli ai dati aziendali utilizzando NVIDIA NeMo, riducendo tempi e costi di ottimizzazione.
● Prestazioni e costi ottimizzati: ottimizza l'utilizzo dell'infrastruttura e migliora le prestazioni di inferenza con uno stack di servizi unificato e ad alte prestazioni. Red Hat AI Factory con NVIDIA offre funzionalità di osservabilità integrate e sfrutta le capacità di inferenza di Red Hat AI basate su vLLM, NVIDIA TensorRT-LLM e NVIDIA Dynamo per soddisfare rigorosi obiettivi di livello di servizio AI. Ciò aiuta le organizzazioni a ridurre il costo totale di proprietà (TCO) per l'IA ottimizzando la connessione tra i modelli e le GPU NVIDIA.
● Orchestrazione intelligente della GPU: consente l'accesso on-demand alle risorse GPU tramite un'orchestrazione intelligente e un'infrastruttura condivisa, con checkpoint automatici per proteggere i processi di lunga durata e mantenere costi di calcolo più prevedibili in ambienti dinamici.
● Sicurezza aziendale avanzata: sfruttando la base flessibile e stabile di Red Hat Enterprise Linux, le organizzazioni beneficiano di funzionalità avanzate di sicurezza e conformità integrate fin dall'inizio, che contribuiscono a ridurre i rischi, risparmiare tempo e minimizzare i tempi di inattività. Ciò fornisce una solida base di sicurezza per i carichi di lavoro di IA mission-critical che richiedono isolamento e verifica continua. I microservizi NVIDIA DOCA si basano su questa base, creando un'architettura zero-trust e offrendo sicurezza runtime per l'IA su tutta l'infrastruttura.
