Il collo di bottiglia dei dati documentali nell'AI aziendale
Sebbene i dati non strutturati rappresentino circa l’80% dei dati aziendali totali, sono fortemente sottoutilizzati nei casi d’uso di data analytics e AI. Le organizzazioni si trovano a gestire un’esplosione di PDF complessi e documenti acquisiti tramite scansione che i tradizionali strumenti di riconoscimento ottico dei caratteri (OCR) e i modelli linguistici di grandi dimensioni (LLM) di tipo general-purpose faticano a elaborare con precisione su larga scala. L’approccio tradizionale fa forte affidamento su un OCR fragile e basato su modelli che non regge la variabilità dei documenti, la scrittura a mano o scansioni di bassa qualità, generando significativi colli di bottiglia dovuti alla revisione manuale. D’altra parte, i modelli LLM generici spesso perdono la struttura dei documenti, non includono citazioni e comportano un rischio concreto di allucinazione dei valori. Inoltre, i dati critici restano intrappolati in silos architetturali caratterizzati da modelli di sicurezza frammentati e a granularità grossolana.
Queste sfide impediscono l'integrazione dei dati dei documenti nei casi d'uso dell'AI a causa degli elevati tassi di errore, che possono comportare rischi normativi (per esempio, un limite di copertura letto in modo errato in un fascicolo sinistri può creare un'esposizione legale), e degli elevati costi unitari di estrazione e trattamento dei documenti, che limitano l'adozione di dati documentali su larga scala nei casi d'uso di AI/ML. Inoltre, le revisioni manuali, i silos di dati con schemi eterogenei e i diversi meccanismi di governance della sicurezza causano ritardi nel rendere disponibili tali dati per i casi d'uso di AI/ML, dato il gran numero di pipeline ETL necessarie per standardizzare gli output estratti secondo uno schema comune e convertirli in feature.
La partnership tra Cloudera e Pulse: un'architettura di riferimento per l'IA documentale su larga scala
Cloudera e Pulse stanno collaborando per offrire servizi di estrazione ed elaborazione dei documenti su larga scala, superando i limiti degli approcci tradizionali:
Pulse sostituisce le molteplici pipeline di estrazione dei dati utilizzate per elaborare PDF complessi, appunti scritti a mano, tabelle e grafici con un'unica pipeline articolata in più fasi e basata su più modelli, che fornisce dati estremamente accurati e pronti per essere sottoposti ad audit. Ogni fase dell'estrazione dei dati è affidata a un modello sviluppato appositamente per svolgere quella specifica attività. Il "Pulse Brain" è in grado di comprendere il contesto semantico e la struttura dei documenti, analizzando i risultati per individuare eventuali errori prima di produrre l'output.
Cloudera offre una piattaforma aperta e centralizzata di data lakehouse e intelligenza artificiale aziendale, che integra streaming di dati, data engineering, data warehousing e ML/GenAI su larga scala, con un livello unificato di sicurezza e governance tramite SDX. Questo framework prevede controlli di accesso ai dati basati sugli attributi, lineage e arricchimento attivo e catalogazione dei metadati.
Questa combinazione crea un’architettura tecnologica unificata che integra dati documentali strutturati e non strutturati (elaborati tramite Pulse) in un quadro comune di sicurezza e governance, con un unico pannello di controllo per i diversi ambienti cloud pubblici e privati. L’architettura consente di standardizzare i flussi di lavoro di feature engineering su fonti di dati eterogenee e diversificate e di favorire l’interazione tra dati strutturati e dati documentali nei casi d’uso dell’AI/ML. Inoltre, offre un livello unificato di condivisione dei dati che rende disponibili dati strutturati e documentali agli strumenti esterni, on premise o nel cloud.
Inoltre, la proposta di valore congiunta riduce il tempo necessario per integrare i dati dei documenti nei casi d'uso dell'AI, eliminando le attività di correzione manuale e controllo qualità che richiederebbero in genere fino a tre giorni e riducendo i tempi di estrazione a meno di tre ore:
Cloudera offre miglioramenti nell'ingegneria dei dati e nei carichi di lavoro di inferenza LLM fino a 20x e 36x, rispettivamente. Allo stesso modo, Pulse utilizza diverse ottimizzazioni per GPU e CPU per ridurre al minimo il costo unitario dell'estrazione, aumentando l'utilizzo della GPU del 30%.
Progettato per i dati sensibili e i settori regolamentati
Nei settori regolamentati, come i servizi finanziari e il settore sanitario, il costo di un errore di estrazione non rilevato si misura in milioni di dollari o in termini di esposizione normativa, anziché essere una semplice questione di qualità. Ad esempio, un punto decimale posizionato in modo errato o un punto interpretato come virgola potrebbe causare errori significativi nella verifica AML/KYC, con conseguenti ingenti sanzioni normative.
La soluzione Cloudera e Pulse è esplicitamente progettata per i dati sensibili e i settori regolamentati; può essere implementata interamente nel cloud privato virtuale (VPC) di un cliente, senza uscita pubblica, per l’estrazione di documenti o gli analytics avanzati.
Pulse offre un approccio di livello produttivo alla verificabilità dei dati, garantendo che ogni campo estratto sia direttamente riconducibile alla sua posizione esatta nella pagina di origine e preservando il contesto e le relazioni gerarchiche che assicurano un'estrazione dei documenti quasi impeccabile. Specificamente per i dati dei fogli di calcolo, è in grado di acquisire il layout, le convenzioni di formattazione e le sfumature specifiche del settore finanziario, superando i limiti degli approcci tradizionali (es. eliminazione delle colonne nascoste, gestione dei dati gerarchici, ecc.).
Il data lakehouse aperto di Cloudera offre tramite SDX un meccanismo granulare di sicurezza dei dati che risponde a requisiti normativi rigorosi, come la conformità GxP nelle scienze della vita. Cloudera Data Lineage tiene traccia delle relazioni strutturali approfondite tra i dati, dal documento grezzo acquisito tramite scansione fino alle voci del database vettoriale, creando registri di tracciamento pronti per la conformità.
Fungere da moltiplicatore di forza per le iniziative di AI
La proposta di valore congiunta è particolarmente rilevante per le iniziative di AI: man mano che le capacità dei modelli di AI diventano sempre più standardizzate e accessibili, il vero fattore di differenziazione competitiva per le aziende si è spostato nettamente dall'accesso ai modelli in sé ai dati proprietari. Cloudera e Pulse aiutano le aziende a sfruttare in modo sicuro questo enorme vantaggio competitivo, trasformando gli archivi di documenti non strutturati in risorse di alta qualità e utilizzabili. Insieme, Cloudera e Pulse migliorano radicalmente l'accuratezza semantica delle ricerche vettoriali su Cloudera RAG Studio, trasformando database documentali altamente sensibili e proprietari in una base completa per la business intelligence sicura e per pipeline agentiche avanzate.
Offrire valore aziendale su larga scala
Nelle implementazioni aziendali, Pulse ha ottenuto risultati senza precedenti rispetto agli approcci tradizionali all'estrazione di documenti.
Per una delle principali aziende di servizi elettrici, ha convertito 1,2 milioni di documenti cartacei compilati a mano sul campo, raggiungendo un'accuratezza del 97,5% su dati che per decenni nessun sistema era riuscito a digitalizzare con precisione. Per un importante broker assicurativo, è stato il primo sistema a garantire con costanza un'accuratezza del 99% sui dati documentali elaborati da più team offshore, riducendo del 76% il tempo necessario per sviluppare un output strutturato completo e verificabile.
Scopri di più sulle capacità di Cloudera e la piattaforma Pulse.
