Hadoop集群同步怎么實現(xiàn)

本篇內(nèi)容介紹了“Hadoop集群同步怎么實現(xiàn)”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

一、同步方式

　　選擇一個機器，作為時間服務(wù)器(這里選擇hadoop01)，所有的機器與這臺集群時間進(jìn)行定時的同步，比如，每隔十分鐘，同步一次時間。

二、所需工具

　　時間同步服務(wù)器有兩個：ntpd和ntpdatp。雖然使用二者都能達(dá)到時間同步的目的，但是使用之前得弄清楚一個問題，ntpd與ntpdate在更新時間時有什么區(qū)別。ntpd不僅僅是時間同步服務(wù)器，它還可通過客戶端與標(biāo)準(zhǔn)時間服務(wù)器進(jìn)行時間同步，而且是平滑同步，并非ntpdate立即同步，在生產(chǎn)環(huán)境中慎用ntpdate，也正如此兩者不可同時運行。

三、具體操作步驟

　　時間服務(wù)器配置

　　(1)檢查ntp是否安裝。 [root@hadoop01 Desktop]# rpm -qa|grep ntp如果顯示 ntp-4.2.6p5-1.el6.centos.x86_64 . fontpackages-filesystem-1.41-1.1.el6.noarch

　　ntpdate-4.2.6p5-1.el6.centos.x86_64則證明ntp已經(jīng)安裝，否則要先安裝ntp服務(wù)。[root@hadoop01 Desktop]# yum install -y ntp.

　　(2)修改ntp 配置文件[root@hadoop01 Desktop]# vi /etc/ntp.conf. 先配置客戶端的授權(quán)，也就是給指定的機器(客戶端)設(shè)置訪問NTP Server的權(quán)限，這是通過restrict配置項實現(xiàn)的。將#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap釋放。改為restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap.如果集群是在一個封閉的局域網(wǎng)內(nèi)，可以屏蔽掉默認(rèn)的server。

　　將server 0.centos.pool.ntp.org iburst.server 1.centos.pool.ntp.org iburst.

　　server 2.centos.pool.ntp.org iburst.server 3.centos.pool.ntp.org iburst屏蔽改為

　　#server 0.centos.pool.ntp.org iburst.#server 1.centos.pool.ntp.org iburst.#server 2.centos.pool.ntp.org iburst.#server 3.centos.pool.ntp.org iburst.將本機的本地時鐘作為時間供給源，這樣，即便它失去網(wǎng)絡(luò)連接，它也可以繼續(xù)為網(wǎng)絡(luò)提供服務(wù)增加server 127.127.1.0 fudge 127.127.1.0 stratum.修改/etc/sysconfig/ntpd 文件

　　[root@hadoop01 Desktop]# vim /etc/sysconfig/ntpd增加SYNC_HWCLOCK=yes之后重啟ntpd，[root@hadoop01 Desktop]# service ntpd restart，設(shè)置ntpd開機默認(rèn)啟動[root@hadoop01 Desktop]# chkconfig mtpd on。完成以上操作以后，使用date命令查看系統(tǒng)時間與當(dāng)前時間是否對應(yīng)，如果還不對應(yīng)，應(yīng)該是時區(qū)的問題。修改時區(qū)[root@hadoop01 Desktop]# tzselect。根據(jù)提示選擇正確的時區(qū)，然后將cp /usr/share/zoneinfo/Asia/Shanghai設(shè)置為到/etc/localtime的鏈接

　　[root@hadoop01 Desktop]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

四、其他機器配置

　　配置每十分鐘與時間服務(wù)器同步一次

　　需要在集群中其他的機器中都編寫時間同步腳本，這里以hadoop02為例，[root@hadoop02 Desktop]# crontab –e. */10 * * * * /usr/sbin/ntpdate hadoop01

　　重啟crond服務(wù)。 [root@hadoop02 Desktop]# service crond restart。如果需要，同樣要修改時區(qū)，操作同上。

“Hadoop集群同步怎么實現(xiàn)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！