Cloudera potenzia la tua AI privata con Cloudera AI Inference, AI-Q NVIDIA Blueprint e NVIDIA NIM
Quando parliamo con i nostri clienti dei loro obiettivi per l'AI, un problema comune che sentiamo è che i loro piani e implementazioni a volte si bloccano a causa di preoccupazioni di privacy. La volontà è quella di utilizzare l'AI su tutti i loro dati aziendali, poiché è il modo in cui i loro dipendenti e clienti potranno ottenere risultati e risposte più precisi, ma sanno che non possono inviare i loro dati a un endpoint pubblico per un modello linguistico di grandi dimensioni (LLM) a codice sorgente chiuso, poiché 1) ci sono troppi dati e 2) i loro dati non sarebbero più privati.
Per affrontare queste preoccupazioni, Cloudera ha iniziato a promuovere il concetto di AI privata, che consentirebbe a questi clienti di ottenere tutti i benefici che l'AI ha da offrire e mantenere i loro dati proprietari al sicuro e protetti.
NVIDIA sta affrontando la stessa sfida, ma a un livello molto più alto e più ampio: quello degli Stati. I governi si stanno rendendo conto che non è nel miglior interesse delle loro nazioni eseguire l'AI in un altro paese, quindi stanno lavorando per sviluppare l'infrastruttura necessaria per mantenere i loro dati e la loro AI entro i propri confini. In questo modo, possono controllare con quali altri paesi o entità condividere i propri dati o i risultati di AI.
Alla conferenza GTC di Parigi di oggi, NVIDIA ha illustrato le fondamenta dell'AI sovrana per supportare i governi nei loro sforzi. Questa iniziativa è in linea con l'obiettivo di Cloudera di consentire ai clienti di implementare le proprie piattaforme di AI privata.
NVIDIA ha fatto altri due annunci di particolare interesse per Cloudera e in questo blog esamineremo AI-Q NVIDIA Blueprint for Enterprise Research e NVIDIA NIM e cosa questo significhi per i nostri clienti.
AI-Q NVIDIA Blueprint con Cloudera AI
L'introduzione di NVIDIA del modello AI-Q per la ricerca aziendale offre a Cloudera AI maggiori capacità per supportare le complesse esigenze di AI agentica dei nostri clienti.
Cloudera AI Inference può ospitare tutti i microservizi di inferenza NVIDIA NeMo Retriever e LLM che compongono l'AI-Q NVIDIA Blueprint, inclusi i modelli di ragionamento NVIDIA Llama Nemotron. Combinando la forte privacy e sicurezza fornite dalla piattaforma Cloudera AI per gli endpoint del modello con il potente toolkit NVIDIA Agent Intelligence, si possono portare le applicazioni aziendali basate su agenti a un livello superiore.
Vantaggi dell'utilizzo di AI-Q NVIDIA Blueprint con Cloudera AI
L'utilizzo di AI-Q NVIDIA Blueprint all'interno del servizio Cloudera AI Inference sblocca un enorme potenziale di AI. Questa potente combinazione integra i principali modelli di ragionamento confezionati come microservizi NVIDIA NIM e NeMo Retriever su Cloudera AI, e garantisce una connettività perfetta tra agenti, strumenti e dati grazie alla piena compatibilità con il toolkit NVIDIA Agent Intelligence.
Questa capacità multi-framework consente alle organizzazioni di sviluppare sofisticate applicazioni aziendali di retrieval-augmented generation (RAG) con una robusta privacy e sicurezza, sfruttando appieno i progressi all'avanguardia dell'AI.
Microservizio NVIDIA NIM con Cloudera AI Inference
Il container NIM di NVIDIA è un punto di svolta per ottenere le migliori prestazioni dagli LLM in modo rapido e semplice: accelera significativamente l'implementazione e l'inferenza degli LLM selezionando automaticamente il miglior backend di inferenza in base al modello e all'hardware della GPU, consentendo una soluzione di inferenza indipendente dal modello che semplifica la produzione di numerosi LLM all'avanguardia.
Inoltre, il microservizio NVIDIA NIM consente agli utenti di distribuire rapidamente LLM accelerati da NVIDIA TensorRT-LLM, vLLM o SGLang per un'inferenza di alto livello su qualsiasi piattaforma accelerata NVIDIA. Supporta i modelli memorizzati nei formati Hugging Face o TensorRT-LLM, consentendo un'inferenza di livello aziendale per una vasta gamma di LLM. Gli utenti possono fare affidamento su impostazioni intelligenti predefinite per ottimizzare la latenza e il throughput o perfezionare le prestazioni con semplici opzioni di configurazione. Come parte di NVIDIA AI Enterprise, il microservizio NVIDIA NIM riceve aggiornamenti continui da NVIDIA, garantendo la compatibilità con una vasta gamma di LLM molto diffusi.
Vantaggi dell'uso di NVIDIA NIM all'interno di Cloudera AI Inference
NIM di NVIDIA offre ai nostri clienti maggiore flessibilità su come possono utilizzare gli LLM nelle loro applicazioni di AI. Il servizio Cloudera AI Inference integra già NVIDIA NIM, quindi i clienti possono implementare il microservizio NVIDIA NIM in modo rapido e semplice. I clienti ottengono i vantaggi di NVIDIA NIM con la facilità d'uso, la sicurezza e il supporto semplificato della piattaforma unificata Cloudera.
Grazie alla sua perfetta integrazione nel nostro servizio di inferenza AI, il microservizio NVIDIA NIM offre vantaggi significativi ai clienti di Cloudera AI, tra cui:
Implementazione accelerata: rendi operative più rapidamente le tue applicazioni LLM con container predefiniti e ottimizzati.
Prestazioni migliorate: sfrutta tutto il potenziale dell'elaborazione accelerata NVIDIA per inferenze ad alta velocità e latenza ridotta.
Scalabilità: ridimensiona facilmente le implementazioni LLM per soddisfare le esigenze della tua azienda in crescita.
Gestione semplificata: gestisci e monitora le implementazioni LLM con l'interfaccia intuitiva di Cloudera.
Conclusioni
Insieme, Cloudera e NVIDIA consentono alle aziende di sfruttare i più recenti progressi nell'AI in modo semplice, efficiente ed economico su tutti i loro dati, siano essi pubblici o privati. Semplificando il ciclo di vita delle applicazioni AI, dallo sviluppo alla distribuzione, e ottimizzando le prestazioni, aiutiamo i nostri utenti a sbloccare il pieno potenziale dell'AI.
Consulta il blog di NVIDIA per approfondire gli annunci del GTC Paris e il blog di Cloudera per tutti gli insight sull'AI. In particolare, nell'ultimo articolo su "AI in a Box", alimentato da Dell, NVIDIA e Cloudera, illustriamo come i clienti possono beneficiare di un nuovo modo per implementare l'AI privata in maniera rapida, semplice e con rischio minimo.