Apache Crunch
La libreria Java di Apache Crunch fornisce un framework per scrivere, testare ed eseguire pipeline MapReduce. Il suo obiettivo è quello di semplificare la scrittura, la verifica e l'efficienza esecutiva delle pipeline composte da molte funzioni definite dall'utente.
In esecuzione su Hadoop MapReduce e Apache Spark, la libreria Apache Crunch™ è una semplice API Java per attività come le noiose unione e aggregazione dei dati da implementare su MapReduce. Le API sono particolarmente utili quando si elaborano dati che non si adattano naturalmente al modello relazionale, come le serie temporali, i formati di oggetti serializzati come i buffer di protocollo o i record Avro e le righe e colonne HBase. Per gli utenti di Scala, c'è l'API Scrunch, che si basa sulle API Java e include un REPL (ciclo di lettura, valutazione e stampa) per la creazione di pipeline MapReduce.