small image Ebook: Apache NiFi per principianti
Panoramica

Che cos'è Stream Processing?

Cloudera Stream Processing (CSP) consente ai clienti di trasformare gli streaming in prodotti dati fornendo funzionalità che permettono di analizzare i dati in streaming per modelli complessi e di ottenere informazioni utili.

CSP è supportato da Apache Flink e Kafka e fornisce una soluzione completa e di livello enterprise per la gestione dei flussi e l'elaborazione stateful. La combinazione di Kafka come substrato per lo streaming di archiviazione, Flink come motore di elaborazione all'interno degli streaming di base e dell'eccellente supporto per le interfacce standard del settore come SQL e REST consente a sviluppatori, data analyst e data scientist di creare facilmente pipeline di dati ibride in streaming che alimentano in tempo reale prodotti di dati, dashboard, app di business intelligence, microservizi e notebook di data science. 

Casi d'uso come rilevamento delle frodi, analisi delle minacce di rete, intelligence sulla produzione, ottimizzazione delle transazioni, offerte in tempo reale, approvazioni istantanee dei prestiti e altro ancora sono ora possibili elevando i componenti di elaborazione dei dati per rispondere a queste esigenze in tempo reale.

PIPELINE DI DATI IBRIDE IN STREAMING
CON TECNOLOGIA CLOUDERA STREAM PROCESSING

Un diagramma di pipeline ibride di streaming | Cloudera

Casi d'uso di Cloudera Stream Processing (CSP)

  • Rilevamento delle frodi
  • Analitica del cliente
  • Monitoraggio del mercato
  • Analisi dei log

Rilevamento delle frodi


Previeni perdite da milioni di dollari causate dalle frodi identificandole in modo proattivo. 

Le aziende in ambito retail, servizi finanziari e in molti altri settori faticano a proteggere i dati dei clienti e a prevenire le frodi finanziarie. Le funzionalità di Stream Processing Cloudera riescono a elaborare in tempo reale flussi di transazioni dei clienti, identificare modelli, creare alert predittivi e a scoprire informazioni utili a prevenire potenziali frodi.

PT Bank Rakyat Indonesia: sfruttare Big Data, IA e ML per comprendere meglio i clienti

Frodi ridotte del 40%.

Leggi il caso di studio

Analisi del cliente


L'analisi dei clienti in tempo reale migliora l'engagement, la fidelizzazione e la soddisfazione.

Tutte le aziende necessitano di analisi in tempo reale per migliorare l'engagement dei clienti, ma spesso faticano a implementarle a causa dell'eccessivo volume dei dati. Le funzionalità di Cloudera Stream Processing consentono customer analytics dove grandi quantità di dati vengono elaborate con latenze di meno di un secondo, individuando le interazioni dei clienti e consigliando offerte migliori in tempo reale.

Compagnia aerea importante: miglioramento dell'esperienza del cliente con automazione data-driven

Il volume dei dati è diminuito del 50% pagando un'unica trasmissione degli stream di dati.

Leggi il caso di studio

Monitoraggio del mercato


Gestire milioni di operazioni al secondo e scalare petabyte di informazioni finanziarie.

Le Borse devono affrontare sfide rappresentate della richiesta da parte dei client di report in tempo reale e requisiti SLA più rapidi. Fornire questi servizi, tuttavia, richiede l'elaborazione di petabyte di dati. Cloudera Streams Messaging è in grado di gestire il flusso di grandi volumi di dati, permettendo così alle Borse di creare analisi in tempo reale basate sui dati di mercato e soddisfare SLA sempre più stringenti.

Borsa di Bombay: la borsa più veloce del mondo sfrutta l'analisi in tempo reale per migliorare la governance dei dati e gli SLA del settore

Riduzione del 95% dei costi operativi.

Leggi il caso di studio

Analisi dei log


Modernizza la tua logging infrastracture per ottenere analisi in tempo reale.

I dati di log sono sempre più importanti per le aziende, ma le organizzazioni IT fanno fatica a realizzare processi efficaci di raccolta dei log, a distribuire upstream le informazioni pertinenti e a generare metriche chiave. Le funzionalità di Cloudera Stream Processing aiutano a scalare l'elaborazione dei log, fornendo insight in tempo reale in tutta l'azienda e riducendo in modo significativo i costi operativi.

Globe Telecom: realizzare lo stile di vita digitale dei clienti mobili con un moderno ambiente analitico

600PB di volume dati mobile gestito.

Leggi il caso di studio

Funzionalità di Cloudera Stream Processing (CSP)

  • Streaming Analytics con tecnologia Apache Flink
  • Streams Messaging con tecnologia Apache Kafka

Analisi dei flussi

Cloudera Streaming Analytics, con tecnologia Apache Flink e SQL Stream Builder, offre:

  • Funzionalità di elaborazione dei flussi a bassa latenza 
  • Semplifica lo sviluppo consentendo agli utenti di scrivere applicazioni in streaming con SQL e API standard di settore tramite endpoint REST
  • Tecniche avanzate di windowing per la realizzazione di analisi sofisticate basate sugli eventi
  • Supporto per modelli cloud multi-cloud e ibridi

Caratteristiche principali

SQL Stream Builder (SSB) è un'interfaccia utente interattiva completa utilizzata per creare processi di elaborazione stateful dello streaming utilizzando SQL, che viene convertito in processi Flink ottimizzati. Con SQL, è possibile dichiarare in modo semplice e agevole le espressioni che filtrano, aggregano, instradano e mutano in altro modo flussi di dati. SSB è un'interfaccia di gestione del lavoro utilizzabile per comporre ed eseguire SQL sui flussi e per creare API di dati durevoli per i risultati.

Assicurati che i dati vengano elaborati in modalità exactly once anche in caso di errori e nuovi tentativi. Ad esempio, un'azienda di servizi finanziari deve utilizzare l'elaborazione dello streaming per coordinare centinaia di sistemi di transazioni di back-office quando i consumatori pagano i propri mutui.

Rileva e gestisci gli eventi insoliti dello streaming. Ad esempio, i servizi fraudolenti in tempo reale devono garantire che i dati vengano elaborati nell'ordine giusto anche se alcuni arrivano in ritardo.

Ottieni le prestazioni di elaborazione dei flussi in memoria e uno alla volta. Ad esempio, elabora richieste di 30 milioni di utenti attivi che effettuano pagamenti con carta di credito, trasferimenti e controlli di saldo con latenza di millisecondi.

Attiva gli eventi quando si affrontano centinaia di fonti di streaming e milioni di eventi al secondo per ciascuno. Ad esempio, quando un paziente viene accettato in PS, il sistema si collega a sistemi esterni per estrarre dati specifici sul paziente da centinaia di fonti, in modo che sia disponibile in una cartella clinica elettronica ancor prima che arrivi in ambulatorio.

Lo streaming dei dati ha poco valore, a meno che non sia in grado di integrare, unire e mettere in rete facilmente i flussi con altre fonti di dati a riposo, tra cui warehouse, database relazionali e data lake. Configura i provider di dati utilizzando connettori predefiniti o un connettore personalizzato per qualsiasi fonte di dati. Una volta creati i provider di dati, l'utente potrà creare facilmente tabelle virtuali utilizzando DDL. L'integrazione complessa tra più flussi e origini dati in batch diventa più semplice con costrutti SQL noti, come join e aggregazioni.

Streams Messaging

Cloudera Streams Messaging, con tecnologia Apache Kafka, offre:

  • Streams Messaging Manager per monitorare/operare i cluster
  • Streams Replication Manager per le implementazioni HA/DR
  • Schema Registry per la gestione centralizzata degli schemi
  • Kafka Connect per un semplice spostamento dei dati e la modifica della loro acquisizione e Cruise Control per il bilanciamento e la rigenerazione intelligenti
  • Supporto per modelli cloud multi-cloud e ibridi

Caratteristiche principali

Supporta milioni di messaggi al secondo con bassa latenza e throughput elevato, scalando elasticamente e in trasparenza senza tempi di interruzione. È destinato a diverse iniziative di streaming di dati, consentendo alle imprese di rimanere al passo con la domanda dei clienti, fornire servizi migliori e gestire proattivamente i rischi.

Streams Messaging Manager offre un unico pannello di visualizzazione con visibilità end-to-end su come i dati si muovono su cluster Kafka fra produttori, broker, argomenti e consumatori, permettendoti di monitorare la derivazione dei dati e la governance dall'edge al cloud. Inoltre, semplifica la risoluzione dei problemi in ambienti Kafka con ordinamento e filtri intelligenti.

Streams Replication Manager, basato su Mirrormaker 2, offre una replicazione cross-cluster degli argomenti Kafka fault-tolerant, scalabile e solida, insieme a monitoring e metriche di replicazione a livello di cluster e argomenti. Offre alta disponibilità, disaster recovery, migrazioni cloud, geo-proximity e molto altro.

Schema Registry consente di gestire, condividere e supportare l'evoluzione di tutti gli schemi di produttori e clienti in un repository di schemi condiviso che consente alle applicazioni di interagire in modo flessibile l'uno con l'altro in tutto il panorama Kafka. Riduci in modo sicuro le interruzioni che potrebbero verificarsi a causa degli errori di corrispondenza della struttura.

Cruise Control permette di gestire ed equilibrare i carichi su grandi installazioni Kafka e di individuare e correggere automaticamente le anomalie. Affronta i problemi più gravi, come i guasti frequenti di macchine hardware o virtuali, l'espansione/riduzione dei cluster e le distorsioni fra i broker.

Cloudera SDX offre sicurezza centralizzata, politiche di controllo, governance e derivazione dei dati su tutte le componenti. Vengono impostate una volta e applicate automaticamente e sono indipendenti dal fornitore, permettendo di adottare con tranquillità strategie multi-cloud e hybrid cloud. Supporta i quattro pilastri della sicurezza: identità, accesso, protezione dei dati e visibilità.

Stream Processing su cloud


Elimina la complessità della configurazione di cloud e infrastruttura con cluster completamente sicuri, governati, flessibili, eseguiti in meno di 10 minuti su AWS, Azure e GCP.

Streaming Analytics per data hub

Streaming Analytics for Data Hub estende Apache Flink e SQL Stream Builder al cloud pubblico, portando l'elaborazione dei flussi di dati in tempo reale tramite SQL o codice applicativo in ambienti cloud ibridi. 

Streams Messaging per data hub

Streams Messaging for Data Hub estende l'investimento su Apache Kafka on-premise accelerando i cluster Kafka nel cloud pubblico con un set completo di funzionalità di gestione aziendale che affrontano governance degli schemi, monitoraggio, disaster recovery, bilanciamento intelligente e controllo e audit solidi degli accessi. 

Scopri il prodotto Stream Processing

Cloudera Stream Processing Community Edition


CSP Community Edition rende più facile lo sviluppo di elaboratori di stream e può essere eseguito direttamente dal desktop o da qualsiasi altro nodo di sviluppo.


Analisti, data scientist e sviluppatori ora possono valutare nuove funzionalità, sviluppare localmente processori di streaming basati su SQL e sviluppare Kafka Consumers/Producers e Kafka Connect Connectors, il tutto localmente, prima di passare alla produzione.


Pronto a partire in 5 minuti con Stream Processing Community Edition

Whitepaper

Cloudera offre oggi il miglior ecosistema Kafka

Datasheet

Scheda tecnica di Stream Processing

Whitepaper

Gestisci, monitora e replica Apache Kafka con Cloudera Data Platform

Webinar

Come eseguire i flussi NiFi in Kafka KConnect

Formazione, assistenza e servizi di punta

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.