In molte situazioni della vita reale in cui applichi MapReduce, gli algoritmi finali finiscono con l’essere diversi passi MapReduce. cioè Map1, Reduce1, Map2, Reduce2 e così via. Quindi hai l’output dell’ultima riduzione necessaria come input per la mappa successiva. I dati intermedi sono qualcosa che tu (in generale) non vuoi mantenere una volta che la […]
Per creare lavori MapReduce puoi utilizzare il vecchio pacchetto org.apache.hadoop.mapred o il nuovo pacchetto org.apache.hadoop.mapreduce per Mapper e Riduttori, Lavori … Il primo era stato contrassegnato come deprecato ma è stato ripristinato nel frattempo. Ora mi chiedo se sia meglio usare il vecchio pacchetto mapred o il nuovo pacchetto mapreduce per creare un lavoro e […]
Qualcuno può spiegarmi come funziona lo smistamento secondario in hadoop? Perché si deve usare GroupingComparator e come funziona in hadoop? Stavo passando attraverso il link indicato di seguito e ho dei dubbi su come funziona il groupcomapator. Qualcuno può spiegarmi come funziona il comparatore di raggruppamento? http://www.bigdataspeak.com/2013/02/hadoop-how-to-do-secondary-sort-on_25.html
In Hadoop quando iniziano le attività di riduzione? Si avviano dopo che una determinata percentuale (soglia) di mapper è completa? In tal caso, è stata fissata questa soglia? Che tipo di soglia viene in genere utilizzata?
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. non è in grado di creare nulla in hdf L’ho fatto root# bin/hadoop fs -safemode leave Ma mostrando safemode: Unknown command qual è il problema? Soluzione
In Map Ridurre la programmazione la fase di riduzione ha shuffling, ordinamento e riduzione come le sue sottosezioni. L’ordinamento è un affare costoso. Qual è lo scopo della fase di shuffling e ordinamento nel riduttore in Map Reduce Programming?
Ho provato a chiamare un lavoro mapreduce da un semplice programma java nello stesso pacchetto. Ho provato a riferire il file jar di mapreduce nel mio programma java e chiamarlo usando il runJar(String args[]) passando anche l’input e i percorsi di output per il lavoro mapreduce .. Ma il programma dint funziona .. Come eseguo […]
Attualmente sto conducendo un lavoro, ho fissato il numero di attività della mappa su 20 ma ottenendo un numero più alto. Ho anche impostato il compito di ridurre a zero, ma sto ancora ottenendo un numero diverso da zero. Anche il tempo totale per il completamento del lavoro MapReduce non viene visualizzato. Qualcuno può dirmi […]
In Hadoop v1, ho assegnato ogni 7 slot di mapper e riduttore con dimensioni di 1 GB, i miei mapper e riduttori funzionano bene. La mia macchina ha 8G di memoria, 8 processori. Ora con YARN, quando si esegue la stessa applicazione sulla stessa macchina, ho ricevuto un errore del contenitore. Per impostazione predefinita, ho […]
In mapreduce ogni task di riduzione scrive il suo output in un file chiamato part-r-nnnnn dove nnnnn è un ID di partizione associato all’attività di riduzione. Mappa / Riduci unisci questi file? Se sì, come?