Panoramica
Che cos'è Stream Processing?
Cloudera Stream Processing (CSP) consente ai clienti di trasformare gli streaming in prodotti dati fornendo funzionalità che permettono di analizzare i dati in streaming per modelli complessi e di ottenere informazioni utili.
CSP è supportato da Apache Flink e Kafka e fornisce una soluzione completa e di livello enterprise per la gestione dei flussi e l'elaborazione stateful. La combinazione di Kafka come substrato per lo streaming di archiviazione, Flink come motore di elaborazione all'interno degli streaming di base e dell'eccellente supporto per le interfacce standard del settore come SQL e REST consente a sviluppatori, data analyst e data scientist di creare facilmente pipeline di dati ibride in streaming che alimentano in tempo reale prodotti di dati, dashboard, app di business intelligence, microservizi e notebook di data science.
Casi d'uso come rilevamento delle frodi, analisi delle minacce di rete, intelligence sulla produzione, ottimizzazione delle transazioni, offerte in tempo reale, approvazioni istantanee dei prestiti e altro ancora sono ora possibili elevando i componenti di elaborazione dei dati per rispondere a queste esigenze in tempo reale.
PIPELINE DI DATI IBRIDE IN STREAMING
CON TECNOLOGIA CLOUDERA STREAM PROCESSING
Casi d'uso
Rilevamento delle frodi
Analitica del cliente
Monitoraggio del mercato
Analisi dei log
Rilevamento delle frodi
Previeni perdite da milioni di dollari causate dalle frodi identificandole in modo proattivo.
Le aziende in ambito retail, servizi finanziari e in molti altri settori faticano a proteggere i dati dei clienti e a prevenire le frodi finanziarie. Le funzionalità di Stream Processing Cloudera riescono a elaborare in tempo reale flussi di transazioni dei clienti, identificare modelli, creare alert predittivi e a scoprire informazioni utili a prevenire potenziali frodi.
Analisi del cliente
L'analisi dei clienti in tempo reale migliora l'engagement, la fidelizzazione e la soddisfazione.
Tutte le aziende necessitano di analisi in tempo reale per migliorare l'engagement dei clienti, ma spesso faticano a implementarle a causa dell'eccessivo volume dei dati. Le funzionalità di Cloudera Stream Processing consentono customer analytics dove grandi quantità di dati vengono elaborate con latenze di meno di un secondo, individuando le interazioni dei clienti e consigliando offerte migliori in tempo reale.
Monitoraggio del mercato
Gestire milioni di operazioni al secondo e scalare petabyte di informazioni finanziarie.
Le Borse devono affrontare sfide rappresentate della richiesta da parte dei client di report in tempo reale e requisiti SLA più rapidi. Fornire questi servizi, tuttavia, richiede l'elaborazione di petabyte di dati. Cloudera Streams Messaging è in grado di gestire il flusso di grandi volumi di dati, permettendo così alle Borse di creare analisi in tempo reale basate sui dati di mercato e soddisfare SLA sempre più stringenti.
Analisi dei log
Modernizza la tua logging infrastracture per ottenere analisi in tempo reale.
I dati di log sono sempre più importanti per le aziende, ma le organizzazioni IT fanno fatica a realizzare processi efficaci di raccolta dei log, a distribuire upstream le informazioni pertinenti e a generare metriche chiave. Le funzionalità di Cloudera Stream Processing aiutano a scalare l'elaborazione dei log, fornendo insight in tempo reale in tutta l'azienda e riducendo in modo significativo i costi operativi.
Funzionalità
-
Streaming Analytics con tecnologia Apache Flink
-
Streams Messaging con tecnologia Apache Kafka
Analisi dei flussi
Cloudera Streaming Analytics, con tecnologia Apache Flink e SQL Stream Builder, offre:
- Funzionalità di elaborazione dei flussi a bassa latenza
- Semplifica lo sviluppo consentendo agli utenti di scrivere applicazioni in streaming con SQL e API standard di settore tramite endpoint REST
- Tecniche avanzate di windowing per la realizzazione di analisi sofisticate basate sugli eventi
- Supporto per modelli cloud multi-cloud e ibridi
SQL Stream Builder (SSB) è un'interfaccia utente interattiva completa utilizzata per creare processi di elaborazione stateful dello streaming utilizzando SQL, che viene convertito in processi Flink ottimizzati. Con SQL, è possibile dichiarare in modo semplice e agevole le espressioni che filtrano, aggregano, instradano e mutano in altro modo flussi di dati. SSB è un'interfaccia di gestione del lavoro utilizzabile per comporre ed eseguire SQL sui flussi e per creare API di dati durevoli per i risultati.
Assicurati che i dati vengano elaborati in modalità exactly once anche in caso di errori e nuovi tentativi. Ad esempio, un'azienda di servizi finanziari deve utilizzare l'elaborazione dello streaming per coordinare centinaia di sistemi di transazioni di back-office quando i consumatori pagano i propri mutui.
Rileva e gestisci gli eventi insoliti dello streaming. Ad esempio, i servizi fraudolenti in tempo reale devono garantire che i dati vengano elaborati nell'ordine giusto anche se alcuni arrivano in ritardo.
Ottieni le prestazioni di elaborazione dei flussi in memoria e uno alla volta. Ad esempio, elabora richieste di 30 milioni di utenti attivi che effettuano pagamenti con carta di credito, trasferimenti e controlli di saldo con latenza di millisecondi.
Attiva gli eventi quando si affrontano centinaia di fonti di streaming e milioni di eventi al secondo per ciascuno. Ad esempio, quando un paziente viene accettato in PS, il sistema si collega a sistemi esterni per estrarre dati specifici sul paziente da centinaia di fonti, in modo che sia disponibile in una cartella clinica elettronica ancor prima che arrivi in ambulatorio.
Lo streaming dei dati ha poco valore, a meno che non sia in grado di integrare, unire e mettere in rete facilmente i flussi con altre fonti di dati a riposo, tra cui warehouse, database relazionali e data lake. Configura i provider di dati utilizzando connettori predefiniti o un connettore personalizzato per qualsiasi fonte di dati. Una volta creati i provider di dati, l'utente potrà creare facilmente tabelle virtuali utilizzando DDL. L'integrazione complessa tra più flussi e origini dati in batch diventa più semplice con costrutti SQL noti, come join e aggregazioni.
Streams Messaging
Cloudera Streams Messaging, con tecnologia Apache Kafka, offre:
- Streams Messaging Manager per monitorare/operare i cluster
- Streams Replication Manager per le implementazioni HA/DR
- Schema Registry per la gestione centralizzata degli schemi
- Kafka Connect per un semplice spostamento dei dati e la modifica della loro acquisizione e Cruise Control per il bilanciamento e la rigenerazione intelligenti
- Supporto per modelli cloud multi-cloud e ibridi
Supporta milioni di messaggi al secondo con bassa latenza e throughput elevato, scalando elasticamente e in trasparenza senza tempi di interruzione. È destinato a diverse iniziative di streaming di dati, consentendo alle imprese di rimanere al passo con la domanda dei clienti, fornire servizi migliori e gestire proattivamente i rischi.
Streams Messaging Manager offre un unico pannello di visualizzazione con visibilità end-to-end su come i dati si muovono su cluster Kafka fra produttori, broker, argomenti e consumatori, permettendoti di monitorare la derivazione dei dati e la governance dall'edge al cloud. Inoltre, semplifica la risoluzione dei problemi in ambienti Kafka con ordinamento e filtri intelligenti.
Streams Replication Manager, basato su Mirrormaker 2, offre una replicazione cross-cluster degli argomenti Kafka fault-tolerant, scalabile e solida, insieme a monitoring e metriche di replicazione a livello di cluster e argomenti. Offre alta disponibilità, disaster recovery, migrazioni cloud, geo-proximity e molto altro.
Schema Registry consente di gestire, condividere e supportare l'evoluzione di tutti gli schemi di produttori e clienti in un repository di schemi condiviso che consente alle applicazioni di interagire in modo flessibile l'uno con l'altro in tutto il panorama Kafka. Riduci in modo sicuro le interruzioni che potrebbero verificarsi a causa degli errori di corrispondenza della struttura.
Cruise Control permette di gestire ed equilibrare i carichi su grandi installazioni Kafka e di individuare e correggere automaticamente le anomalie. Affronta i problemi più gravi, come i guasti frequenti di macchine hardware o virtuali, l'espansione/riduzione dei cluster e le distorsioni fra i broker.
Cloudera SDX offre sicurezza centralizzata, policy di controllo, governance e data lineage su tutte le componenti. Vengono impostate una volta e applicate automaticamente e sono indipendenti dal fornitore, permettendoti di adottare con tranquillità strategie multi-cloud e di cloud ibrido. Supporta i quattro pilastri della sicurezza: identità, accesso, protezione dei dati e visibilità.
Stream Processing su cloud
Elimina la complessità della configurazione di cloud e infrastruttura con cluster completamente sicuri, governati, flessibili, eseguiti in meno di 10 minuti su AWS, Azure e GCP.
Streaming Analytics per data hub
Streaming Analytics for Data Hub estende Apache Flink e SQL Stream Builder al cloud pubblico, portando l'elaborazione dei flussi di dati in tempo reale tramite SQL o codice applicativo in ambienti cloud ibridi.
Streams Messaging per data hub
Streams Messaging for Data Hub estende l'investimento su Apache Kafka on-premise accelerando i cluster Kafka nel cloud pubblico con un set completo di funzionalità di gestione aziendale che affrontano governance degli schemi, monitoraggio, disaster recovery, bilanciamento intelligente e controllo e audit solidi degli accessi.
Scopri il prodotto Stream Processing
