您好,登錄后才能下訂單哦!
這篇文章主要介紹“Hadoop安裝和環(huán)境搭建方法”,在日常操作中,相信很多人在Hadoop安裝和環(huán)境搭建方法問(wèn)題上存在疑惑,小編查閱了各式資料,整理出簡(jiǎn)單好用的操作方法,希望對(duì)大家解答”Hadoop安裝和環(huán)境搭建方法”的疑惑有所幫助!接下來(lái),請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧!
一. 下載環(huán)境
二. 創(chuàng)建Hadoop用戶
1.進(jìn)入用戶,打開(kāi)終端輸入如下命令:
2.設(shè)置密碼
三. 進(jìn)行Hadoop內(nèi)部環(huán)境的搭建
四. 安裝ssh并配置無(wú)密碼登陸
1.登陸
2.設(shè)置無(wú)密碼登陸
五.安裝Java環(huán)境
六.安裝Hadoop
七.Hadoop偽分布配置
1.配置文件
2.開(kāi)啟NameNode 和 DataNode 守護(hù)進(jìn)程
八.Hadoop集群搭建
總結(jié)
Ubuntu 2.x.x 版本
在虛擬機(jī)創(chuàng)建安裝完成后。
sudo useradd -m hadoop -s /bin/bash
則創(chuàng)建好了可以登陸的Hadoop用戶
/bin/bash 作為 shell
在終端輸入
sudo passwd hadoop #需輸入兩次密碼 sudo adduser hadoop sudo #給Hadoop添加管理員權(quán)限
完成
更新apt
打開(kāi)終端輸入
sudo apt-get update #更新apt sudo apt-get install vim #下載vim 用于修改配置文件
sudo apt-get install openssh-serve #下載 ssh localhost #登陸 首次登陸輸入yes并輸入密碼登陸完成
exit #退出登陸 ssh-keygen -t rsa #出現(xiàn)提示后按回車 cat ./id_rsa.pub >> ./authorized_keys #加入授權(quán) ssh localhost #再次登陸ssh 不需要密碼
若出現(xiàn)需要密碼登陸但錯(cuò)誤,需要將ssh刪除,重新下載安裝進(jìn)行配置
rm -rf ~/.ssh #刪除ssh
先尋找Java下載的鏡像網(wǎng)站
如華為,清華等
再輸入相應(yīng)的代碼進(jìn)行下載
wget https://repo.huaweicloud.com/java/jdk/8u171-b11/jdk-8u171-linux-x64.tar.gz
之后輸入以下指令進(jìn)行解壓
cd /usr/lib sudo mkdir jvm #創(chuàng)建/uer/lib/jvm 目錄存放JDK文件 cd sudo tar -zxvf ./jdk-8u171-linux-x64.tar.gz -C /usr/lib/jvm #解壓到/usr/lib/jvm目錄中 cd ~ vim ~/.bashrc #環(huán)境變量配置文件
添加以下內(nèi)容到第一行
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
退出后使命令立即生效
source ~/bashrc java -version #查看是否安裝成功
和安裝Java類似,搜索鏡像并下載
下載完成后將Hadoop安裝至/usr/lib中
sudo tar -zxf ~/下載/hadoop-2.6.0.tar.gz -C /usr/local # 解壓到/usr/local中 cd /usr/local/ sudo mv ./hadoop-2.6.0/ ./hadoop # 將文件夾名改為hadoop sudo chown -R hadoop ./hadoop # 修改文件權(quán)限
cd /usr/local/hadoop ./bin/hadoop version #檢查版本信息
cd /usr/loca/hadoop/etc/hadoop/ gedit ./etc/hadoop/core-site.xml #修改core-site.xml的配置
將其中的
<configuration> </configuration>
改為
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
同理將hdfs-site.xml中的改為
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
配置完成后,執(zhí)行NameNode的格式化:
cd /usr/local/hadoop ./bin/hdfs namenode -format
成功的話,會(huì)看到 “successfully formatted” 和 “Exitting with status 0” 的提示,若為 “Exitting with status 1” 則是出錯(cuò)。
cd /usr/local/hadoop ./sbin/start-dfs.sh #start-dfs.sh是個(gè)完整的可執(zhí)行文件,中間沒(méi)有空格
若出現(xiàn)ssh提示,輸入yes 出現(xiàn)WARN提示可以忽略啟動(dòng) Hadoop 時(shí)提示 Could not resolve hostname ,輸入
vim ~/.bashrc
添加環(huán)境變量
export HADOOP_HOME=/usr/local/hadoop export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
完成后執(zhí)行
soure ~/.bashrc #使變量生效 ./sbin.start-dfs.sh #啟動(dòng)Hadoop jps #查看是否啟動(dòng)成功,若有NameNode ,DataNode,SecondaryNameNode則成功啟動(dòng)
若DataNode無(wú)法啟動(dòng)
cd /usr/local/hadoop ./sbin/stop-dfs.sh # 關(guān)閉 rm -r ./tmp # 刪除 tmp 文件,注意這會(huì)刪除 HDFS 中原有的所有數(shù)據(jù),慎用 ./bin/hdfs namenode -format # 重新格式化 NameNode ./sbin/start-dfs.sh # 重啟
成功啟動(dòng)后,可以訪問(wèn) Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,還可以在線查看 HDFS 中的文件。
按圖調(diào)整網(wǎng)絡(luò)設(shè)置
ping 通則說(shuō)明成功
到此,關(guān)于“Hadoop安裝和環(huán)境搭建方法”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí),請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。