Apache Atlas
Atlas è progettato per scambiare metadati con altri strumenti e processi all'interno e all'esterno dello stack di Hadoop, consentendo in tal modo controlli di governance indipendenti dalla piattaforma che rispondono efficacemente ai requisiti di conformità
Apache Atlas offre una governance scalabile per Enterprise Hadoop guidata dai metadati. Atlas, in sostanza, è progettato per modellare facilmente nuovi processi aziendali e risorse di dati con agilità. Questo sistema di tipo flessibile è progettato per scambiare metadati con altri strumenti e processi all'interno e all'esterno dello stack di Hadoop, consentendo in tal modo controlli di governance indipendenti dalla piattaforma che rispondono efficacemente ai requisiti di conformità.
Apache Atlas è sviluppato intorno a due principi guida:
- Metadati reali in Hadoop : Atlas offre una vera visibilità in Hadoop. Utilizzando connettori nativi per i componenti Hadoop, Atlas fornisce un monitoraggio tecnico e operativo arricchito da metadati tassonomici aziendali. Atlas rende possibile uno scambio semplice dei metadati consentendo ai sistemi che li utilizzano di condividere l'archivio dei metadati comuni e quindi di agevolare l'interoperabilità tra i diversi sistemi produttori di metadati.
- Sviluppato in aperto: i tecnici di Aetna, Merck, SAS, Schlumberger e Target collaborano insieme per garantire che Atlas sia appositamente costruito per risolvere problemi di governance dei dati reali in una vasta gamma di settori che utilizzano Hadoop. Questo approccio è un esempio di innovazione della comunità open source che consente di accelerare la maturità del prodotto e il time-to-value per l'impresa che mette al primo posto i dati.
Apache Atlas consente alle aziende di soddisfare in modo efficace ed efficiente i loro requisiti di conformità attraverso una serie scalabile di servizi di governance essenziali. Questi servizi includono:
- Percorso dei dati: acquisisce le informazioni sugli spostamenti dei dati attraverso i diversi componenti di Hadoop a livello di piattaforma
- Modellazione dati agile: sistema di tipi che ammette la presenza di strutture di metadati personalizzate in una tassonomia gerarchica
- API REST: accesso moderno e flessibile ai servizi Atlas, ai componenti HDP, all'interfaccia utente e agli strumenti esterni
- Scambio dei metadati: sfrutta i metadati e i modelli esistenti importandoli dagli strumenti attuali. Esporta i metadati sui sistemi situati a valle
Come funziona Atlas
Apache Atlas è progettato per scambiare in modo efficace i metadati all'interno di Hadoop e del più ampio ecosistema di dati. Il modello adattivo di Atlas riduce i tempi aziendali per la conformità sfruttando i metadati esistenti e la tassonomia specifica del settore . Con Atlas, gli amministratori e i responsabili dei dati hanno anche la capacità di definire, annotare e automatizzare l'acquisizione di relazioni tra set di dati ed elementi sottostanti, inclusi i processi di origine, destinazione e derivazione.
Atlas garantisce inoltre l'uniformità a valle dei metadati su tutto l'ecosistema consentendo alle aziende di esportare facilmente i metadati verso sistemi di terze parti.