Articles of mapreduce

Impostazione del numero di attività della mappa e riduzione delle attività

Attualmente sto conducendo un lavoro, ho fissato il numero di attività della mappa su 20 ma ottenendo un numero più alto. Ho anche impostato il compito di ridurre a zero, ma sto ancora ottenendo un numero diverso da zero. Anche il tempo totale per il completamento del lavoro MapReduce non viene visualizzato. Qualcuno può dirmi […]

Il contenitore sta funzionando oltre i limiti di memoria

In Hadoop v1, ho assegnato ogni 7 slot di mapper e riduttore con dimensioni di 1 GB, i miei mapper e riduttori funzionano bene. La mia macchina ha 8G di memoria, 8 processori. Ora con YARN, quando si esegue la stessa applicazione sulla stessa macchina, ho ricevuto un errore del contenitore. Per impostazione predefinita, ho […]

unire i file di output dopo la riduzione della fase

In mapreduce ogni task di riduzione scrive il suo output in un file chiamato part-r-nnnnn dove nnnnn è un ID di partizione associato all’attività di riduzione. Mappa / Riduci unisci questi file? Se sì, come?

In che modo i record del processo Hadoop si suddividono attraverso i limiti dei blocchi?

Secondo la Hadoop – The Definitive Guide I record logici definiti da FileInputFormats di solito non si adattano perfettamente ai blocchi HDFS. Ad esempio, i record logici di TextInputFormat sono linee, che attraverseranno i limiti HDFS il più delle volte. Ciò non ha alcun impatto sul funzionamento del tuo programma: le linee non sono perse […]