怎么快速搭建一個Hadoop偽分布式文件系統(tǒng)

發(fā)布時間：2021-12-02 16:31:19 來源：億速云閱讀：135 作者：iii 欄目：大數(shù)據(jù)

這篇文章主要講解了“怎么快速搭建一個Hadoop偽分布式文件系統(tǒng)”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“怎么快速搭建一個Hadoop偽分布式文件系統(tǒng)”吧！

Step

1. 安裝必備軟件，并配置好Java環(huán)境變量

openssh-server
openssh-client
rsync
openjdk-8-jre
curl
sudo

2. 下載解壓hadoop 2.6.0

3. 修改SSH配置

允許root登錄：sed -i "28s/.*/PermitRootLogin yes/g" /etc/ssh/sshd_config（Dockerfile中）
修改sshd的端口（容器net模式為host時，并且主機也運行sshd時會沖突）
取消主機驗證：sed -i "35s/.*/ StrictHostKeyChecking no/g" /etc/ssh/ssh_config（entrypoint.sh中）
ssh無密碼登錄到localhost

4. 下面就可以構建/運行鏡像了

Usage

1. quick start

docker run -d --net host --name hdfs dockerq/docker-hdfs

瀏覽器瀏覽 localhost:50070查看HDFS的WebUI界面

2. 掛載數(shù)據(jù)卷

容器中hdfs的datanode和namenode默認文件夾是/hdfsdata

docker run -d --name --net host -v host_data_path:/hdfsdata dockerq/docker-hdfs

3. 修改sshd默認端口

docker run -d --net host -e SSH_PORT=2222 --name hdfs dockerq/docker-hdfs

感謝各位的閱讀，以上就是“怎么快速搭建一個Hadoop偽分布式文件系統(tǒng)”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對怎么快速搭建一個Hadoop偽分布式文件系統(tǒng)這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！

向AI問一下細節(jié)

怎么快速搭建一個Hadoop偽分布式文件系統(tǒng)

猜你喜歡

最新資訊

相關推薦

相關標簽