當(dāng)前位置：首頁(yè) > IT技術(shù) > 其他 > 正文

Hadoop集群安裝部署_分布式集群安裝_02
2022-09-06 22:36:15


文章目錄

一、上傳與 解壓

首先在bigdata01節(jié)點(diǎn)上安裝。

1. 上傳安裝包

把hadoop-3.2.0.tar.gz安裝包上傳到linux機(jī)器的/data/soft目錄下

[root@bigdata01 ~]# ll /data/soft/
total 527024
-rw-r--r--. 1 root root 345625475 Jul  2 21:18 hadoop-3.2.0.tar.gz
drwxr-xr-x. 7   10  143       245 Dec 16  2018 jdk1.8
-rw-r--r--. 1 root root 194042837 Mar  8  2020 jdk-8u202-linux-x64.tar.gz
You have new mail in /var/spool/mail/root
[root@bigdata01 ~]#
2. 解壓hadoop安裝包
[root@bigdata01 soft]# tar -zxvf hadoop-3.2.0.tar.gz
二、修改hadoop相關(guān)配置文件

進(jìn)入配置文件所在目錄

[root@bigdata01 soft]# cd hadoop-3.2.0/etc/hadoop/
[root@bigdata01 hadoop]#
2.1. hadoop-env.sh

首先修改??hadoop-env.sh??文件，在文件末尾增加環(huán)境變量信息

[root@bigdata01 hadoop]# vi hadoop-env.sh 
export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
2.2. core-site.xml

修改??core-site.xml??文件，注意fs.defaultFS屬性中的主機(jī)名需要和主節(jié)點(diǎn)的主機(jī)名保持一致

[root@bigdata01 hadoop]# vi core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
   </property>
</configuration>
2.3. hdfs-site.xml

修改hdfs-site.xml文件，把hdfs中文件副本的數(shù)量設(shè)置為2，最多為2，因?yàn)楝F(xiàn)在集群中有兩個(gè)從節(jié)點(diǎn)，還有secondaryNamenode進(jìn)程所在的節(jié)點(diǎn)信息

[root@bigdata01 hadoop]# vi hdfs-site.xml 
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata01:50090</value>
    </property>
</configuration>
2.4. mapred-site.xml

修改mapred-site.xml，設(shè)置mapreduce使用的資源調(diào)度框架

[root@bigdata01 hadoop]# vi mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
2.5. yarn-site.xml

修改yarn-site.xml，設(shè)置yarn上支持運(yùn)行的服務(wù)和環(huán)境變量白名單

注意，針對(duì)分布式集群在這個(gè)配置文件中還需要設(shè)置resourcemanager的hostname，否則nodemanager找不到resourcemanager節(jié)點(diǎn)。

[root@bigdata01 hadoop]# vi yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata01</value>
    </property>
</configuration>
2.6. workers

修改workers文件，增加所有從節(jié)點(diǎn)的主機(jī)名，一個(gè)一行

[root@bigdata01 hadoop]# vi workers
2.7. 修改啟動(dòng)腳本

修改??start-dfs.sh，stop-dfs.sh??這兩個(gè)腳本文件，在文件前面增加如下內(nèi)容

[root@bigdata01 hadoop]# cd /data/soft/hadoop-3.2.0/sbin
[root@bigdata01 sbin]# vi start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

[root@bigdata01 sbin]# vi stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh，stop-yarn.sh這兩個(gè)腳本文件，在文件前面增加如下內(nèi)容

[root@bigdata01 sbin]# vi start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

[root@bigdata01 sbin]# vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
三、同步初始化
3.1. 安裝包同步

把bigdata01節(jié)點(diǎn)上將修改好配置的安裝包拷貝到其他兩個(gè)從節(jié)點(diǎn)

[root@bigdata01 sbin]# cd /data/soft/
[root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata02:/data/soft/
[root@bigdata01 soft]# scp -rq hadoop-3.2.0 bigdata03:/data/soft/

由于小文件較多，同步會(huì)慢一下，耐心等待一會(huì)哈！

3.2. 主節(jié)點(diǎn)格式化HDFS

在bigdata01節(jié)點(diǎn)上格式化HDFS

[root@bigdata01 soft]# cd /data/soft/hadoop-3.2.0
[root@bigdata01 hadoop-3.2.0]# bin/hdfs namenode -format

如果在后面的日志信息中能看到這一行，則說(shuō)明namenode格式化成功。

??bash common.Storage: Storage directory /data/hadoop_repo/dfs/name has been successfully formatted.??

Hadoop集群安裝部署_分布式集群安裝_02_集群

3.3. 啟動(dòng)集群

在bigdata01節(jié)點(diǎn)上執(zhí)行下面命令

[root@bigdata01 hadoop-3.2.0]# sbin/start-all.sh 
Starting namenodes on [bigdata01]
Last login: Sat Jul  3 10:42:24 CST 2021 from 192.168.92.1 on pts/1
Starting datanodes
Last login: Sat Jul  3 11:33:14 CST 2021 on pts/1
bigdata03: WARNING: /data/hadoop_repo/logs/hadoop does not exist. Creating.
bigdata02: WARNING: /data/hadoop_repo/logs/hadoop does not exist. Creating.
Starting secondary namenodes [bigdata01]
Last login: Sat Jul  3 11:33:16 CST 2021 on pts/1
Starting resourcemanager
Last login: Sat Jul  3 11:33:23 CST 2021 on pts/1
Starting nodemanagers
Last login: Sat Jul  3 11:33:39 CST 2021 on pts/1
You have new mail in /var/spool/mail/root
[root@bigdata01 hadoop-3.2.0]#
3.4. 驗(yàn)證集群

分別在3臺(tái)機(jī)器上執(zhí)行jps命令，進(jìn)程信息如下所示：

在bigdata01節(jié)點(diǎn)執(zhí)行

[root@bigdata01 hadoop-3.2.0]# jps

在bigdata02節(jié)點(diǎn)執(zhí)行

[root@bigdata02 ~]# jps

在bigdata03節(jié)點(diǎn)執(zhí)行

[root@bigdata03 ~]# jps
3.5. webui

還可以通過(guò)webui界面來(lái)驗(yàn)證集群服務(wù)是否正常

HDFS webui界面：??http://192.168.92.100:9870??? YARN webui界面：??http://192.168.92.100:8088??

Hadoop集群安裝部署_分布式集群安裝_02_集群_02


Hadoop集群安裝部署_分布式集群安裝_02_hadoop_03


至此，hadoop分布式集群安裝成功！

注意：前面這些操作步驟這么多，如果我是新手我怎么知道需要做這些操作呢？不用擔(dān)心，官方給提供的有使用說(shuō)明，也就是我們平時(shí)所說(shuō)的官方文檔，我們平時(shí)買(mǎi)各種各樣的東西都是有說(shuō)明書(shū)的，上面會(huì)告訴你該怎么使用，這個(gè)是最權(quán)威最準(zhǔn)確的。

那我們來(lái)看一下??Hadoop的官網(wǎng)文檔??:

3.6. Hadoop的客戶(hù)端節(jié)點(diǎn)

在實(shí)際工作中不建議直接連接集群中的節(jié)點(diǎn)來(lái)操作集群，直接把集群中的節(jié)點(diǎn)暴露給普通開(kāi)發(fā)人員是不安全的

建議在業(yè)務(wù)機(jī)器上安裝Hadoop，只需要保證業(yè)務(wù)機(jī)器上的Hadoop的配置和集群中的配置保持一致即可，這樣就可以在業(yè)務(wù)機(jī)器上操作Hadoop集群了，此機(jī)器就稱(chēng)為是Hadoop的客戶(hù)端節(jié)點(diǎn)

Hadoop的客戶(hù)端節(jié)點(diǎn)可能會(huì)有多個(gè)，理論上是我們想要在哪臺(tái)機(jī)器上操作hadoop集群就可以把這臺(tái)機(jī)器配置為hadoop集群的客戶(hù)端節(jié)點(diǎn)。

Hadoop集群安裝部署_分布式集群安裝_02_hadoop_04


本文摘自 ：https://blog.51cto.com/g

開(kāi)通會(huì)員，享受整站包年服務(wù)立即開(kāi)通 >
推薦內(nèi)容