hadoop2.xx 集群搭建:http://bigtrash.blog.51cto.com/8966424/18304231.HDFS(Hadoop Distributed File System)
原理NFS允許用戶像訪問本地文件系統(tǒng)一樣訪問遠(yuǎn)程文件系統(tǒng),而將NFS引入HDFS后,用戶可像讀寫本地文件一樣讀寫HDFS上的文件,大大簡化了HDFS使用,這是通過引入一個(gè)NFS gateway服務(wù)實(shí)現(xiàn)
cdh地址 http://archive-primary.cloudera.com/cdh6/cdh/5/ 添加sudo權(quán)限的無密碼訪問的hadoop用戶 # useradd hadoop #
Hdfs 的shell 操作hadoop fs -操作命令 -參數(shù)-ls #顯示目錄信息-->hadoop fs -ls / 查看根目錄信息-put #等同于copyFromLocal #從本地
1 HDFS 概述 1.1 HDFS 產(chǎn)出背景及定義 隨著數(shù)據(jù)量越來越大,在一個(gè)操作系統(tǒng)存不下所有的數(shù)據(jù),那么就分配到更多的操作系統(tǒng)管理的磁盤中,但是不方便管理和維護(hù),迫切需要一種系統(tǒng)來管理多臺(tái)機(jī)器上
HDFS進(jìn)階應(yīng)用 配置NFS 網(wǎng)關(guān)? NFS 網(wǎng)關(guān)用途 – 1.用戶可以通過操作系統(tǒng)兼容的本地NFSv3客戶端來閱覽HDFS文件系統(tǒng)  
@[TOC] 1.Hadoop架構(gòu) Hadoop由三個(gè)模塊組成:分布式存儲(chǔ)HDFS、分布式計(jì)算MapReduce、資源調(diào)度引擎Yarn 2.HDFS體系架構(gòu) 2.1NameNode ???NameNo
MapReduce&HDFS簡介一、Hadoop簡介: 結(jié)構(gòu)化數(shù)據(jù):表,關(guān)系型數(shù)據(jù)庫//有嚴(yán)格的約束 半結(jié)構(gòu)化數(shù)據(jù):html,json,yaml,有元數(shù)據(jù)// 有約束,缺少嚴(yán)格的約束 非結(jié)構(gòu)化
很多書上講的都太深?yuàn)W了,從官方的解釋翻譯過來,或者加一些注解,但是我們的廣大需要入門的同學(xué)們需要白話,講的越簡單越好,因此,我整理一下,先把目錄寫在這里:首先說,為什么要用hadoop講一講什么是文件
有時(shí)會(huì)碰到HDFS訪問異常,此時(shí)可以重新初始化HDFS,但盡量不要過多次數(shù)初始化,而且初始化之前最好關(guān)閉Hadoop(stop-all.sh),不然會(huì)把之前文件都刪除,還會(huì)造成從節(jié)點(diǎn)進(jìn)程失效.1.關(guān)閉