Questo blog è l'ultimo di una serie di tre parti: la prima tratta le basi del calcolo ad alte prestazioni (HPC), mentre la seconda tratta l'importanza di un data lakehouse sovrano.
Il vantaggio di Cloudera per HPC e AI sovrana
Anche se un data lakehouse da solo non supporta le simulazioni HPC (che richiedono una piattaforma tecnologica sostanzialmente diversa), è il complemento ideale per rendere operativa una strategia incentrata sul ROM, fornendo funzionalità essenziali (MLOps strutturati, supporto agli esperimenti, archiviazione dei dati conveniente, accesso semplificato, toolchain di collaborazione e altro ancora).
Cloudera colma in modo unico il divario tra i dati di fisica specializzati su larga scala (HPC) e i requisiti agili del moderno addestramento AI (MLOps). Fornendo un'architettura indipendente dal cloud e predisposta per la sovranità, garantisce la conformità e offre alle aziende un percorso sicuro e praticabile per rendere operative le ROM.
Cloudera supporta questa convergenza attraverso le seguenti funzionalità specifiche:
1. Gestione dei dati su larga scala con controllo sovrano
La sfida: come già accennato, l'archiviazione e la gestione di petabyte di snapshot storici del Full Order Model (FOM) è spesso costosa e complessa nell'archiviazione tradizionale. Tuttavia, gli ingegneri hanno anche bisogno di un modo per importare, trasformare e archiviare questi enormi set di dati con una governance rigorosa, mantenendo al contempo la "sovranità operativa", assicurando così che i dati non lascino mai la giurisdizione desiderata.
La soluzione Cloudera:
Cloudera DataFlow: agendo come motore di ingestione universale, Cloudera DataFlow permette agli ingegneri di costruire pipeline multimodali con un'esperienza no-code in un ambiente collaborativo. Può acquisire file non elaborati del solver (log CFD/FEA), trasformare dati non strutturati in caratteristiche strutturate e memorizzarli direttamente nell'object storage del data lakehouse (Cloudera Object Storage basato su Apache Ozone) per facilitarne l'accesso quando necessario per addestrare o riaddestrare ROM
Provenienza e tracciabilità: un aspetto fondamentale è che DataFlow offre funzionalità integrate di tracciabilità e provenienza dei dati. Questo garantisce che ogni "caratteristica" utilizzata per addestrare una ROM possa essere ricondotta al suo file sorgente originale, fornendo l'audit trail necessario per l'ingegneria safety-critical.
Cloudera SDX fornisce quindi un punto unificato di progettazione e applicazione delle politiche di autorizzazione su ogni singolo servizio di dati e AI, mantenendo così un unico pannello di controllo per garantire che l'accesso alla proprietà intellettuale sensibile contenuta nei set di dati FOM e nelle funzionalità ROM sia sotto controllo.
2. Precisione e riutilizzo: monitoraggio da parte del team degli esperimenti di ML
La sfida: sviluppare ROM accurate richiede centinaia di iterazioni. In assenza di un sistema di registrazione centralizzato, i team di ricerca e sviluppo si trovano a fronteggiare il "caos delle versioni", perdendo traccia di quali iperparametri o set di dati abbiano prodotto i risultati migliori.
Soluzione Cloudera:
Cloudera AI Workbench: questo servizio offre un ambiente collaborativo con Notebook-as-a-Service sicuri (Jupyter) e open-source. Per aumentare ulteriormente la produttività degli sviluppatori, il workbench offre la flessibilità di utilizzare editor preferiti di terze parti, inclusi VS Code, PyCharm e RStudio, sia nel browser che come IDE locali collegati alle risorse di calcolo del workbench. Inoltre, il workbench si integra nativamente con MLflow, permettendo agli utenti di creare una "fonte di verità" documentata per ogni progetto ROM registrando iperparametri, metriche di valutazione e versioni del set di dati di addestramento utilizzate per ciascuna specifica versione di un modello AI prodotto da qualsiasi team. Questo favorisce la visibilità e il riutilizzo, consentendo a diversi team di adattare facilmente l'architettura di un modello in base alle loro competenze specifiche.
3. Esperienza PaaS simile al cloud con costi prevedibili
La sfida: i team di R&D hanno bisogno di un accesso immediato al calcolo non solo per l'addestramento iterativo ma anche per l'inferenza di livello produttivo del modello AI. I servizi di inferenza nel cloud pubblico spesso causano uno "shock dei token" o costi incontrollati a causa di cicli di inferenza ad alto volume. Al contrario, l'IT on-premise spesso non è agile nel fornire rapidamente le risorse.
La soluzione Cloudera:
Architettura PaaS-by-Design: costruita su Kubernetes, Cloudera offre una piattaforma moderna e multi-tenant dove i servizi di dati e AI sono auto-gestiti dai professionisti. La piattaforma si ridimensiona automaticamente in base alle attuali esigenze di carico di lavoro, indipendentemente dal fatto che sia in esecuzione in un datacenter sovrano o in una sottoscrizione di cloud privato.
Cloudera AI Inference Service: questo servizio in particolare consente agli ingegneri di distribuire versioni di rilascio dei modelli, insieme alle API REST standard per un uso immediato in produzione. Poiché funziona su un'infrastruttura self-hosted, il modello di prezzi si basa sulle ore di calcolo (per GPU/CPU) piuttosto che per token. Ciò consente di consolidare decine di modelli diversi in un unico cluster, introducendo significativi risparmi di scala per i carichi di lavoro di ingegneria ad alto volume.
4. Dal datacenter al mondo fisico: distribuzione all'edge
La sfida: il valore finale di una ROM è spesso realizzato al di fuori del data center, incorporato in un impianto di produzione o in un controllore di centrale elettrica per la manutenzione predittiva in tempo reale.
La soluzione Cloudera:
Cloudera Edge Management: questo servizio consente ai professionisti di costruire e distribuire pipeline di dati che includono l'inferenza del modello "all'interno del processo" direttamente all'infrastruttura edge. Con un'interfaccia visiva no-code, gli ingegneri possono inviare le loro ROM addestrate a flotte di agenti remoti, chiudendo il cerchio tra il gemello digitale e l'asset fisico.
5. Prepararsi al futuro grazie agli standard aperti
La sfida: i cicli di vita dell'ingegneria si misurano in decenni. Gli strumenti proprietari o i formati cloud chiusi creano rischi inaccettabili di blocco da fornitore per i dati di prodotto a lungo termine.
La soluzione Cloudera:
Open Source Core: l'intera piattaforma di dati e AI di Cloudera è costruita su tecnologie comunitarie aperte (ad esempio, Apache Nifi, Apache Spark, Apache Iceberg, Apache Ozone, CNCF Kubernetes e altre).
Esperienza migliorata: racchiudendo questi standard in un piano di controllo unificato, sicuro e intuitivo, Cloudera colma il divario tra la libertà dell'open source e la facilità d'uso prevista da una piattaforma cloud moderna. Questo assicura che le tue IP rimangano portatili e accessibili per sempre.
Ma soprattutto, sovranità end-to-end senza compromessi
A differenza di altre piattaforme Datalakehouse concorrenti sul mercato, che spesso frammentano il ciclo di vita tra storage proprietario e calcolo di terze parti o costringono a scegliere tra un fattore di forma solo cloud pubblico, Cloudera offre tutte le funzionalità sopra elencate in un'unica piattaforma unificata.
Cloudera combina questa esperienza utente moderna e incentrata sul PaaS con la flessibilità unica di implementare l'intera piattaforma in un data center completamente sovrano. Ciò consente efficacemente ai clienti del settore manifatturiero avanzato che operano in mercati regolamentati o su progetti strategicamente sensibili di eseguire una strategia di AI all'avanguardia nell'ambiente più sicuro possibile, soddisfacendo i requisiti più severi sia per la residenza dei dati che per la sovranità operativa.
Passi successivi
Il futuro dell'HPC e dell'AI aziendale è sovrano, aperto e operativamente unificato, e quel futuro si basa su Cloudera. La nostra piattaforma Private AI Anywhere, che funziona in qualsiasi cloud e data center, offre un controllo end-to-end governato su tutti i dati, modelli, agenti e inferenze critici, garantendo sovranità, conformità normativa e valore aziendale dimostrato su larga scala.
