Avec des dépenses en IA d'entreprise qui devraient dépasser 1 000 milliards de dollars d'ici 2029, principalement tirées par les applications d'IA agentielle, les organisations cherchent à orienter leurs stratégies vers des flux de travail agentiels haute densité et à répondre aux exigences croissantes en matière d'inférence et d'infrastructure d'IA. Pour aider les organisations à suivre le rythme, Red Hat AI Factory avec NVIDIA permet aux équipes d'exploitation informatique de rationaliser la gestion de l'infrastructure traditionnelle et des besoins évolutifs de la pile d'IA. Red Hat AI Factory avec NVIDIA accélère le déploiement de l'IA en production et fournit la plateforme logicielle pour les usines d'IA, exécutée sur une infrastructure de calcul accélérée qui optimise les performances des modèles et GPU NVIDIA qui pilotent la pile d'inférence. La plateforme prend en charge l'infrastructure d'usine d'IA des principaux fabricants de systèmes, tels que Cisco, Dell Technologies, Lenovo et Supermicro. Cela permet aux administrateurs informatiques et aux équipes d'exploitation de faire évoluer et de maintenir les déploiements d'IA avec la même rigueur opérationnelle et la même prévisibilité que pour toute charge de travail d'entreprise. Cette plateforme logicielle co-conçue intègre l'expertise en matière de collaboration open source, d'ingénierie et de support de Red Hat et de NVIDIA pour fournir une solution d'entreprise fiable.
Red Hat AI Factory avec NVIDIA offre une plateforme hautement évolutive pour le déploiement d'IA dans tous les environnements : sur site, dans le cloud ou en périphérie. Elle inclut des fonctionnalités essentielles pour l'inférence IA haute performance, l'optimisation des modèles, la personnalisation, ainsi que le déploiement et la gestion des agents, avec un accent particulier sur la sécurité.
Cela permet aux organisations de conserver le contrôle de leur architecture, du centre de données au cloud public, ce qui se traduit par :
• Délai de rentabilisation réduit : Cette solution facilite le passage à l’IA en production grâce à des flux de travail simplifiés et un accès instantané à des modèles préconfigurés, notamment la gamme IBM Granite (avec garantie légale), NVIDIA Nemotron et les modèles ouverts NVIDIA Cosmos, fournis sous forme de microservices NVIDIA NIM. De plus, elle permet aux entreprises de mieux aligner leurs modèles sur leurs données métier grâce à NVIDIA Nemotron, réduisant ainsi les délais et les coûts de paramétrage.
• Performances et coûts optimisés : Optimisez l’utilisation de votre infrastructure et améliorez les performances d’inférence grâce à une pile de services unifiée et performante. Red Hat AI Factory avec NVIDIA offre des fonctionnalités d’observabilité intégrées et exploite les capacités d’inférence de Red Hat AI, basées sur vLLM, NVIDIA TensorRT-LLM et NVIDIA Dynamo, pour répondre aux exigences les plus strictes en matière de niveaux de service pour l’IA. Les entreprises peuvent ainsi réduire leur coût total de possession (TCO) pour l’IA en optimisant la connexion entre les modèles et les GPU NVIDIA.
● Orchestration intelligente des GPU : Permet un accès à la demande aux ressources GPU grâce à une orchestration intelligente et une infrastructure mutualisée, avec des points de contrôle automatiques pour protéger les tâches de longue durée et maintenir des coûts de calcul plus prévisibles dans les environnements dynamiques.
● Sécurité d'entreprise renforcée : Grâce à la plateforme flexible et stable Red Hat Enterprise Linux, les entreprises bénéficient de fonctionnalités de sécurité et de conformité avancées intégrées dès la conception, ce qui contribue à réduire les risques, à gagner du temps et à minimiser les interruptions de service. Cette architecture offre une base de sécurité robuste pour les charges de travail d'IA critiques nécessitant isolation et vérification continue. Les microservices NVIDIA DOCA s'appuient sur cette base, créant une architecture zéro confiance et assurant la sécurité d'exécution des IA sur l'ensemble de l'infrastructure.
