Il lancio di Cloudera AI Inference fa seguito all'accordo annunciato alcuni mesi fa con NVIDIA, a conferma dell'impegno di Cloudera nell'innovazione dell'IA per le aziende, in un momento in cui tutti i settori si trovano ad affrontare le sfide della trasformazione digitale e dell'integrazione di questa tecnologia.
Ciò consente agli sviluppatori di creare, personalizzare e implementare modelli linguistici di grandi dimensioni (LLM) a livello aziendale con prestazioni fino a 36 volte superiori utilizzando le GPU NVIDIA Tensor Core e quasi 4 volte superiori rispetto alle CPU.
Grazie all'integrazione dell'esperienza utente, l'interfaccia grafica e le API vengono connesse direttamente ai container di microservizi NIM di NVIDIA, eliminando la necessità di interfacce e sistemi di monitoraggio separati. L'integrazione del servizio con il Registro dei modelli di intelligenza artificiale di Cloudera migliora inoltre la sicurezza e la governance, consentendo il controllo degli accessi sia per gli endpoint dei modelli che per le operazioni. Gli utenti beneficiano quindi di una piattaforma unificata in cui tutti i modelli, siano essi implementazioni LLM o modelli tradizionali, vengono gestiti senza soluzione di continuità tramite un unico servizio.
“Siamo entusiasti di collaborare con NVIDIA per lanciare Cloudera AI Inference, che offre un'unica piattaforma di IA e ML in grado di supportare praticamente ogni modello e caso d'uso. Questo permette alle aziende di creare potenti applicazioni di IA con il nostro software ed eseguirle direttamente sulla nostra piattaforma”, aggiunge Dipto Chakravarty, Chief Product Officer di Cloudera.
"Oggi, le aziende devono integrare senza soluzione di continuità l'IA generativa con la propria infrastruttura dati esistente per ottenere risultati di business migliori", aggiunge Kari Briski, vicepresidente di software, modelli e servizi di IA presso NVIDIA. "Integrando i microservizi NVIDIA NIM nella piattaforma di inferenza AI di Cloudera, offriamo agli sviluppatori più strumenti per creare facilmente applicazioni di IA generativa di alta qualità.".
