Apache Slider
Un framework per applicazioni basate su YARN, con operatività prolungata in Hadoop
Apache™ Hadoop continua a spingere nuovi motori verso un funzionamento all'interno della piattaforma dati, perché le organizzazioni vogliono archiviare i propri dati in modo efficiente in un unico repository così da interagire con essi simultaneamente in più modi. Gli utenti vogliono poter disporre di SQL, streaming e machine learning, oltre alla tradizionale elaborazione batch... tutto nello stesso cluster. Molte di queste applicazioni sono servizi "sempre attivi" o "di lunga durata" che devono essere pronti a elaborare i dati ogni volta che arrivano.
Slider "inserisce" questi servizi a esecuzione prolungata (come Apache HBase, Apache Accumulo e Apache Storm) in YARN, in modo che dispongano di risorse sufficienti per gestire la modifica di una certa quantità di dati, senza vincolare un numero di risorse di elaborazione superiore al necessario.
Cosa fa Slider
Slider è un framework per la distribuzione e la gestione di queste applicazioni di accesso ai dati a esecuzione prolungata in Hadoop.
Slider sfrutta le capacità di gestione delle risorse di YARN per distribuire tali applicazioni, gestire i loro cicli di vita e ingrandirle o ridurle, anche mentre l'applicazione è in esecuzione. Slider "inserisce" questi servizi a esecuzione prolungata (come Apache HBase, Apache Accumulo e Apache Storm) in YARN, in modo che dispongano di risorse sufficienti per gestire la modifica di una certa quantità di dati, senza vincolare un numero di risorse di elaborazione superiore al necessario.
Apache Slider consente agli utenti di creare ed eseguire diverse versioni di applicazioni eterogenee di lunga durata in Hadoop con YARN. Ogni istanza dell'applicazione può essere configurata in modo diverso, con un ciclo di vita operativo gestito singolarmente. Su richiesta, Slider può espandere o ridurre le istanze dell'applicazione mentre sono in esecuzione. In caso di un errore del container, Slider sfrutta in modo trasparente le strutture YARN per gestire il ripristino dell'applicazione. Tutte queste funzionalità sono disponibili sia su piattaforme Linux che Windows.
Queste funzionalità di Apache Slider offrono alle aziende che utilizzano Hadoop tre vantaggi principali:
| Benefit | Description |
|---|---|
| Turnkey YARN enablement | Enables long-running applications to take advantage of YARN’s benefits without code changes:
|
| Hadoop integration | Applications running with Apache Slider cooperate with the Enterprise Hadoop ecosystem in an integrated way--leveraging Hadoop’s data and processing resources, as well as its security, governance, and operations capabilities |
| Lifecycle management | Automatically makes applications manageable through Apache Ambari without any additional work |
Come funziona Slider
Apache Slider visualizza qualsiasi applicazione, come un insieme di componenti e ogni componente è un daemon o un'applicazione eseguibile dotata di configurazione, script e file di dati propri. I componenti possono avere una o più istanze. Slider gestisce le applicazioni gestendo le istanze dei loro componenti.
Per gestire le istanze dei componenti dell'applicazione, Slider avvia un processo master dell'applicazione YARN per ciascuna istanza. Dopo l'avvio di un processo master dell'applicazione, Slider può allocare o disallocare le risorse e interrompere o avviare un'istanza dell'applicazione. Queste operazioni dipendono dalle richieste dell'amministratore dell'applicazione effettuate tramite il client Slider o tramite le prelazioni di pianificazione delle risorse di YARN.