Apache Crunch

La libreria Java di Apache Crunch fornisce un framework per scrivere, testare ed eseguire pipeline MapReduce. Il suo obiettivo è quello di semplificare la scrittura, la verifica e l'efficienza esecutiva delle pipeline composte da molte funzioni definite dall'utente.

In esecuzione su Hadoop MapReduce e Apache Spark, la libreria Apache Crunch™ è una semplice API Java per attività come le noiose unione e aggregazione dei dati da implementare su MapReduce. Le API sono particolarmente utili quando si elaborano dati che non si adattano naturalmente al modello relazionale, come le serie temporali, i formati di oggetti serializzati come i buffer di protocollo o i record Avro e le righe e colonne HBase. Per gli utenti di Scala, c'è l'API Scrunch, che si basa sulle API Java e include un REPL (ciclo di lettura, valutazione e stampa) per la creazione di pipeline MapReduce.

Scopri di più

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.