您好,登錄后才能下訂單哦!
這篇文章主要講解了“CDH5基礎(chǔ)知識點有哪些”,文中的講解內(nèi)容簡單清晰,易于學(xué)習(xí)與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“CDH5基礎(chǔ)知識點有哪些”吧!
CM分為Server與Agent兩部分及數(shù)據(jù)庫(自帶更改過的嵌入Postgresql)。它主要做三件事件:
1. 管理監(jiān)控集群主機(jī)。
2. 統(tǒng)一管理配置。
3. 管理維護(hù)Hadoop平臺系統(tǒng)。
實現(xiàn)采用C/S結(jié)構(gòu),Agent為客戶端負(fù)責(zé)執(zhí)行服務(wù)端發(fā)來的命令,執(zhí)行方式一般為使用python調(diào)用相應(yīng)的服務(wù)shell腳本。Server端為Java REST服務(wù),提供REST API,Web管理端通過REST API調(diào)用Server端功能,Web界面使用富客戶端技術(shù)(Knockout)。
1. Server端主體使用Java實現(xiàn)。
2. Agent端主體使用Python, 服務(wù)的啟動通過調(diào)用相應(yīng)的shell腳本進(jìn)行啟動,如果啟動失敗會重復(fù)4次調(diào)用啟動腳本。
3. Agent與Server保持心跳,使用Thrift RPC框架。
· /opt/cloudera/parcels/ : Hadoop相關(guān)服務(wù)安裝目錄。
· /opt/cloudera/parcel-repo/ : 下載的服務(wù)軟件包數(shù)據(jù),數(shù)據(jù)格式為parcels。
· /opt/cloudera/parcel-cache/ : 下載的服務(wù)軟件包緩存數(shù)據(jù)。
· /opt/cloudera/parcels/CDH/jars : 所有jar包所在目錄
· /var/log/cloudera-scm-installer : 安裝日志目錄
· /var/log/cloudera-scm-* : 相關(guān)日志文件(相關(guān)服務(wù)的及CM的)
· /usr/share/cmf/ : 程序安裝目錄
· /usr/lib64/cmf/ : Agent程序代碼
· /var/lib/cloudera-scm-server-db/data : 內(nèi)嵌postgresql數(shù)據(jù)庫目錄
· /var/lib/cloudera-scm-server:服務(wù)端目錄
· /usr/bin/postgres : 內(nèi)嵌數(shù)據(jù)庫程序
· /etc/cloudera-scm-agent/ : cm agent的配置目錄。
· /etc/cloudera-scm-agent/config.ini :配置連接服務(wù)端的配置,如server_host
· /etc/cloudera-scm-server/ : cm server的配置目錄。
· /etc/cloudera-scm-server/db.properties :database settings
· /etc/hadoop/* :hadoop客戶端配置目錄
· /etc/hive/ :hive 的配置目錄
CDH安裝完成后,服務(wù)啟動時,Hadoop各組件配置文件會被放置于/var/run/cloudera-scm-agent/process/目錄下。
例如:/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。這些配置文件是通過Cloudera Manager啟動相應(yīng)服務(wù)(如HDFS)時生成的,內(nèi)容從數(shù)據(jù)庫中獲得(即通過界面配置的參數(shù))。
在CM界面上更改配置是不會立即反映到配置文件中,這些信息會存儲于數(shù)據(jù)庫中,等下次重啟服務(wù)時才會生成配置文件。且每次啟動時都會產(chǎn)生新的配置文件。
CM Server主要數(shù)據(jù)庫為scm/cmf中放置配置的數(shù)據(jù)表為configs。里面包含了服務(wù)的配置信息
每一次配置的更改會把當(dāng)前頁面的所有配置內(nèi)容添加到數(shù)據(jù)庫中,以此保存配置修改歷史。
· 查看配置內(nèi)容
a.直接查詢cmf數(shù)據(jù)庫的configs數(shù)據(jù)表的內(nèi)容。
b.訪問REST API:http://172.16.101.66:7180/api/v4/cm/deployment,返回JSON格式部署配置信息。
· 配置生成方式
CM為每個服務(wù)進(jìn)程生成獨立的配置目錄(文件)。所有配置統(tǒng)一在服務(wù)端查詢數(shù)據(jù)庫生成(因為scm/cmf數(shù)據(jù)庫只能在localhost下訪問)生成配置文件,再由agent通過網(wǎng)絡(luò)下載包含配置文件的zip包到本地解壓到指定的目錄。
· 配置修改
CM對于需要修改的配置預(yù)先定義,對于沒有預(yù)先定義的配置,則通過在高級配置項中使用xml配置片段的方式進(jìn)行配置。而對于/etc/hadoop/下的配置文件是客戶端的配置,可以在CM通過部署客戶端生成客戶端配置。
· 環(huán)境變量腳本:/opt/cloudera/parcels/CDH/meta/cdh_env.sh
CDH_HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
HADOOP_BIN=/opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/bin/Hadoop
#CM 客戶端/服務(wù)端、Hadoop各個組件的配置文件都在/etc目錄下
HDFS | Active NameNode 數(shù)據(jù)目錄 dfs.name.dir | /dfs/nn |
Standby NameNode 數(shù)據(jù)目錄 dfs.name.dir | /dfs/nn | |
Secondary NameNode HDFS 檢查點目錄fs.checkpoint.dir | /dfs/nn | |
日志目錄hadoop.log.dir | /var/log/hadoop-hdfs | |
MapReduce | JobTracker 本地數(shù)據(jù)目錄mapred.local.dir | /mapred/jt |
TaskTracker 本地數(shù)據(jù)目錄列表mapred.local.dir | /mapred/local | |
日志目錄hadoop.log.dir | /var/log/hadoop-0.20-mapreduce | |
Hive | 倉庫目錄hive.metastore.warehouse.dir | /user/hive/warehouse |
HiveServer2 日志目錄 | /var/log/hive | |
Zookeeper | 數(shù)據(jù)目錄dataDir | /var/lib/zookeeper |
事務(wù)日志目錄dataLogDir | /var/lib/zookeeper |
service cloudera-scm-server start|stop|restart|status
service cloudera-scm-server-db start|stop|restart|status
service cloudera-scm-agent start|stop|restart|status
查看進(jìn)程:jps / jps -l
hadoop fs -ls /:列出hdfs文件系統(tǒng)根目錄下的目錄和文件
hadoop fs -ls -R /:列出hdfs文件系統(tǒng)所有的目錄和文件
hadoop dfsadmin –report : 查看文件系統(tǒng)的基本信息和統(tǒng)計信息
感謝各位的閱讀,以上就是“CDH5基礎(chǔ)知識點有哪些”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對CDH5基礎(chǔ)知識點有哪些這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。