La porta Namenode predefinita di HDFS è 50070. Ma mi sono imbattuto in alcuni punti 8020 o 9000

Quando ho impostato il cluster hadoop, ho letto il namenode eseguito su 50070 e ho impostato di conseguenza e sta funzionando bene.

Ma in alcuni libri ho trovato l’indirizzo del nodo del nome:

hdfs://localhost:9000/ 

o

 hdfs://localhost:8020 

Qual è esattamente il numero corretto per impostare la porta del namenode?

L’indirizzo predefinito dell’interfaccia utente Web namenode è http://localhost:50070/ . È ansible aprire questo indirizzo nel browser e controllare le informazioni sul nome del nodo.

L’indirizzo predefinito del server namenode è hdfs://localhost:8020/ . Puoi collegarti ad esso per accedere a HDFS tramite HDFS api. È l’indirizzo di servizio reale.

Le porte Hadoop predefinite sono le seguenti: (porte HTTP, hanno interfaccia utente WEB):

 Daemon Default Port Configuration Parameter ----------------------- ------------ ---------------------------------- Namenode 50070 dfs.http.address Datanodes 50075 dfs.datanode.http.address Secondarynamenode 50090 dfs.secondary.http.address Backup/Checkpoint node? 50105 dfs.backup.http.address Jobracker 50030 mapred.job.tracker.http.address Tasktrackers 50060 mapred.task.tracker.http.address 

Internamente, Hadoop utilizza principalmente IPad Hadoop, che sta per Inter Process Communicator, per comunicare tra i server. La tabella seguente presenta le porte e i protocolli utilizzati da Hadoop. Questa tabella non include le porte HTTP menzionate sopra.

 Daemon Default Port Configuration Parameter ------------------------------------------------------------ Namenode 8020 fs.default.name Datanode 50010 dfs.datanode.address Datanode 50020 dfs.datanode.ipc.address Backupnode 50100 dfs.backup.address 

controlla questo link Per maggiori informazioni: http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/

Questo perché l’impostazione predefinita è diversa per le diverse configurazioni e distribuzioni di hadoop. Possiamo sempre configurare la porta cambiando le proprietà fs.default.name o fs.defaultFS come di seguito in core-site.xml

   fs.default.name hdfs://localhost:9000   

Per Hadoop 1.0.4 se non menziono il numero di porta come sotto

 hdfs://localhost 

la porta di default presa è 8020. Ma per alcune versioni come .20 ho letto 9000. Quindi dipende dalla versione di hadoop che stai usando.

Ma tutte le configurazioni e le distribuzioni usano 50070 come numero di porta standard per ui HDFS.

Per accedere all’interfaccia utente Web Hadoop, è necessario digitare http: // localhost: 50075 / sebbene il proprio core-site.xml abbia http: // localhost: 9000 perché è per le richieste hdfs e 50075 è la porta predefinita per l’interfaccia utente Web.

50070 è la porta dell’interfaccia utente predefinita per il namenode. mentre 8020/9000 è la porta Inter Process Communicator (IPC) per il namenode.

Riferimento alla porta IPC: https://en.wikipedia.org/wiki/Inter-process_communication

50070 è la porta dell’interfaccia utente predefinita di Namenode per http. per https 50470. 9000 è la porta IPC (Inter Process Communicator). Se si fa clic su localhost: 50070, è ansible visualizzare le configurazioni del namenode con una panoramica 9000 (triggers) e su localhost: 9000 verrà visualizzato il messaggio: “Sembra che si stia effettuando una richiesta HTTP su una porta IPC Hadoop. porta corretta per l’interfaccia web su questo daemon. ” richiesto per le operazioni sui metadati del file system.

9000 è la porta del servizio HDFS predefinita. Questa interfaccia non ha un’interfaccia utente Web. La porta UI Web NameNode predefinita (sebbene in hadoop 3.0 in poi, 50070 sia aggiornato a 9870).