Articles of mapreduce

Incatenamento di più lavori MapReduce in Hadoop

In molte situazioni della vita reale in cui applichi MapReduce, gli algoritmi finali finiscono con l’essere diversi passi MapReduce. cioè Map1, Reduce1, Map2, Reduce2 e così via. Quindi hai l’output dell’ultima riduzione necessaria come input per la mappa successiva. I dati intermedi sono qualcosa che tu (in generale) non vuoi mantenere una volta che la […]

È meglio usare il pacchetto mapred o mapreduce per creare un lavoro Hadoop?

Per creare lavori MapReduce puoi utilizzare il vecchio pacchetto org.apache.hadoop.mapred o il nuovo pacchetto org.apache.hadoop.mapreduce per Mapper e Riduttori, Lavori … Il primo era stato contrassegnato come deprecato ma è stato ripristinato nel frattempo. Ora mi chiedo se sia meglio usare il vecchio pacchetto mapred o il nuovo pacchetto mapreduce per creare un lavoro e […]

la mappa di hadoop riduce l’ordinamento secondario

Qualcuno può spiegarmi come funziona lo smistamento secondario in hadoop? Perché si deve usare GroupingComparator e come funziona in hadoop? Stavo passando attraverso il link indicato di seguito e ho dei dubbi su come funziona il groupcomapator. Qualcuno può spiegarmi come funziona il comparatore di raggruppamento? http://www.bigdataspeak.com/2013/02/hadoop-how-to-do-secondary-sort-on_25.html

Quando iniziano le attività di riduzione in Hadoop?

In Hadoop quando iniziano le attività di riduzione? Si avviano dopo che una determinata percentuale (soglia) di mapper è completa? In tal caso, è stata fissata questa soglia? Che tipo di soglia viene in genere utilizzata?

Il nodo del nome è in modalità provvisoria. Non è in grado di andarsene

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. non è in grado di creare nulla in hdf L’ho fatto root# bin/hadoop fs -safemode leave Ma mostrando safemode: Unknown command qual è il problema? Soluzione

Qual è lo scopo della fase di shuffling e ordinamento nel riduttore in Map Reduce Programming?

In Map Ridurre la programmazione la fase di riduzione ha shuffling, ordinamento e riduzione come le sue sottosezioni. L’ordinamento è un affare costoso. Qual è lo scopo della fase di shuffling e ordinamento nel riduttore in Map Reduce Programming?

Chiamare un lavoro mapreduce da un semplice programma java

Ho provato a chiamare un lavoro mapreduce da un semplice programma java nello stesso pacchetto. Ho provato a riferire il file jar di mapreduce nel mio programma java e chiamarlo usando il runJar(String args[]) passando anche l’input e i percorsi di output per il lavoro mapreduce .. Ma il programma dint funziona .. Come eseguo […]

Impostazione del numero di attività della mappa e riduzione delle attività

Attualmente sto conducendo un lavoro, ho fissato il numero di attività della mappa su 20 ma ottenendo un numero più alto. Ho anche impostato il compito di ridurre a zero, ma sto ancora ottenendo un numero diverso da zero. Anche il tempo totale per il completamento del lavoro MapReduce non viene visualizzato. Qualcuno può dirmi […]

Il contenitore sta funzionando oltre i limiti di memoria

In Hadoop v1, ho assegnato ogni 7 slot di mapper e riduttore con dimensioni di 1 GB, i miei mapper e riduttori funzionano bene. La mia macchina ha 8G di memoria, 8 processori. Ora con YARN, quando si esegue la stessa applicazione sulla stessa macchina, ho ricevuto un errore del contenitore. Per impostazione predefinita, ho […]

unire i file di output dopo la riduzione della fase

In mapreduce ogni task di riduzione scrive il suo output in un file chiamato part-r-nnnnn dove nnnnn è un ID di partizione associato all’attività di riduzione. Mappa / Riduci unisci questi file? Se sì, come?