#
最近公司因為斷電之前沒有關閉Hadoop集群，造成數(shù)據丟失，namenode壞了，無法啟動，所以我嘗試恢復。方法一：使用hadoop namenode -importCheckpoint
Hadoop這個名字現(xiàn)在對很多開發(fā)者來說，并不陌生，但是很多開發(fā)者對其工作原理和架構并不了解。Hadoop怎么實現(xiàn)的分布式存儲和分布式計算，其計算性能為什么會提高那么多。本文將從其基本工作原理方面解釋
搭建集群的時候，hdfs的數(shù)據掛載點一定要指定到獨立的目錄，不要制定到/home之類的下面，因為在使用過程中很有可能導致某個掛載點滿了，要是這樣的話，/home可能就滿了，影響lin
HDFS架構 HDFS是一個master/slave結構的服務，其中NameNode是master，一般只在一臺節(jié)點上啟動；DataNode是slave，一般每臺節(jié)點都會啟動一個；DataNode不斷
1、查看幫助hadoop fs -help 2、上傳hadoop fs -put 如
*基本操作（單集群）：***1、創(chuàng)建文件夾命令[hadoop@master ~]$ hadoop fs -mkdir -p /201910212、上傳文件命令[hadoop@master ~]$ h
1.客戶端或者用戶通過調用FileSystem對象的Open()方法打開需要讀取的文件，這時就是HDSF分布式系統(tǒng)所獲取的一個對象 2.FileSystem通過遠程協(xié)議調用NameNode確定文
ambari 搭建hadoop大數(shù)據平臺系列6-驗證測試web 檢查組件服務是否正常啟動shell 端檢查服務是否健康hdfs fsck / -files -blocks -locations&nbs
2019/2/16 星期六 hdfs基本概念（設計思想 特性 工作機制 上傳下載 namenode存儲元數(shù)據機制）1、hdfs總的設計思想：設計目標：提高分布式并發(fā)處理數(shù)據的效率（提高并發(fā)度和移動運算
前提：搭建zookeeper集群、java環(huán)境、無秘互通注意：文中加粗部分表示需要按實際情況修改的部分 zookeeper可以參考：zookeeper傳送門 下載安裝包 https://mirr
