您好,登錄后才能下訂單哦!
這篇文章主要介紹“國內(nèi)外Hadoop的應用現(xiàn)狀是怎樣的”,在日常操作中,相信很多人在國內(nèi)外Hadoop的應用現(xiàn)狀是怎樣的問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”國內(nèi)外Hadoop的應用現(xiàn)狀是怎樣的”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!
2015-04-23
摘要:Hadoop是一個開源的高效云計算基礎架構平臺,其不僅僅在云計算領域用途廣泛,還可以支撐搜索引擎服務,作為搜索引擎底層的基礎架構系統(tǒng),同時在海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、機器學習、科學計算等領域都越來越受到青睞。本文將講述國外、國內(nèi)Hadoop的主要應用現(xiàn)狀。
國外Hadoop的應用現(xiàn)狀
1.Yahoo
Yahoo是Hadoop的最大支持者,截至2012年,Yahoo的Hadoop機器總節(jié)點數(shù)目超過42?000個,有超過10萬的核心CPU在運行Hadoop。最大的一個單Master節(jié)點集群有4500個節(jié)點(每個節(jié)點雙路4核心CPUboxesw,4×1TB磁盤,16GBRAM)??偟募捍鎯θ萘看笥?50PB,每月提交的作業(yè)數(shù)目超過1000萬個,在Pig中超過60%的Hadoop作業(yè)是使用Pig編寫提交的。
Yahoo的Hadoop應用主要包括以下幾個方面:
支持廣告系統(tǒng)
用戶行為分析
支持Web搜索
反垃圾郵件系統(tǒng)
會員反濫用
內(nèi)容敏捷
個性化推薦
同時Pig研究并測試支持超大規(guī)模節(jié)點集群的Hadoop系統(tǒng)。
2.Facebook
Facebook使用Hadoop存儲內(nèi)部日志與多維數(shù)據(jù),并以此作為報告、分析和機器學習的數(shù)據(jù)源。目前Hadoop集群的機器節(jié)點超過1400臺,共計11?200個核心CPU,超過15PB原始存儲容量,每個商用機器節(jié)點配置了8核CPU,12TB數(shù)據(jù)存儲,主要使用StreamingAPI和JavaAPI編程接口。Facebook同時在Hadoop基礎上建立了一個名為Hive的高級數(shù)據(jù)倉庫框架,Hive已經(jīng)正式成為基于Hadoop的Apache一級項目。此外,還開發(fā)了HDFS上的FUSE實現(xiàn)。
3.A9.com
A9.com為Amazon使用Hadoop構建了商品搜索索引,主要使用StreamingAPI以及C++、Perl和Python工具,同時使用Java和StreamingAPI分析處理每日數(shù)以百萬計的會話。A9.com為Amazon構建的索引服務運行在100節(jié)點左右的Hadoop集群上。
4.Adobe
Adobe主要使用Hadoop及HBase,同于支撐社會服務計算,以及結構化的數(shù)據(jù)存儲和處理。大約有超過30個節(jié)點的Hadoop-HBase生產(chǎn)集群。Adobe將數(shù)據(jù)直接持續(xù)地存儲在HBase中,并以HBase作為數(shù)據(jù)源運行MapReduce作業(yè)處理,然后將其運行結果直接存到HBase或外部系統(tǒng)。Adobe在2008年10月就已經(jīng)將Hadoop和HBase應用于生產(chǎn)集群。
5.CbIR
自2008年4月以來,日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop來構建圖像處理環(huán)境,用于圖像產(chǎn)品推薦系統(tǒng)。使用Hadoop環(huán)境生成源數(shù)據(jù)庫,便于Web應用對其快速訪問,同時使用Hadoop分析用戶行為的相似性。
6.Datagraph
Datagraph主要使用Hadoop批量處理大量的RDF數(shù)據(jù)集,尤其是利用Hadoop對RDF數(shù)據(jù)建立索引。Datagraph也使用Hadoop為客戶執(zhí)行長時間運行的離線SPARQL查詢。Datagraph是使用AmazonS3和Cassandra存儲RDF數(shù)據(jù)輸入和輸出文件的,并已經(jīng)開發(fā)了一個基于MapReduce處理RDF數(shù)據(jù)的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDF.rb以及自己開發(fā)的RDFgrid框架來處理RDF數(shù)據(jù),主要使用HadoopStreaming接口。
7.EBay
單集群超過532節(jié)點集群,單節(jié)點8核心CPU,容量超過5.3PB存儲。大量使用的MapReduce的Java接口、Pig、Hive來處理大規(guī)模的數(shù)據(jù),還使用HBase進行搜索優(yōu)化和研究。
8.IBM
IBM藍云也利用Hadoop來構建云基礎設施。IBM藍云使用的技術包括:Xen和PowerVM虛擬化的Linux操作系統(tǒng)映像及Hadoop并行工作量調(diào)度,并發(fā)布了自己的Hadoop發(fā)行版及大數(shù)據(jù)解決方案。
9.Last.Fm
Last.Fm主要用于圖表計算、專利申報、日志分析、A/B測試、數(shù)據(jù)集合并等,也使用Hadoop對超過百萬的曲目進行大規(guī)模的音頻特征分析。
節(jié)點超過100臺機器,集群節(jié)點配置雙四核XeonL5520@2.27GHzL5630@2.13GHz,24GB內(nèi)存,8TB(4×2TB)存儲。
10.LinkedIn
LinkedIn有多種硬件配置的Hadoop集群,主要集群配置如下:
800節(jié)點集群,基于Westmere的惠普SL170X與2×4的核心,24GB內(nèi)存,6×2TBSATA。
1900節(jié)點集群,基于Westmere的超微-HX8DTT,與2×6的核心,24GB內(nèi)存,6×2TBSATA。
1400節(jié)點集群,基于SandyBridge超微與2×6的核心,32GB內(nèi)存,6×2TBSATA。
使用的軟件如下:
操作系統(tǒng)使用RHEL6.3。
JDK使用SUNJDK1.6.0_32。
Apache的Hadoop0.20.2的補丁和ApacheHadoop的1.0.4補丁。
Azkaban和Azkaban用于作業(yè)調(diào)度。
Hive、Avro、Kafka等。
11.MobileAnalytic.TV
主要使用Hadoop應用在并行化算法領域,涉及的MapReduce應用算法如下。
信息檢索和分析。
機器生成的內(nèi)容——文檔、文本、音頻、視頻。
自然語言處理。
項目組合包括:
移動社交網(wǎng)絡。
網(wǎng)絡爬蟲。
文本到語音轉化。
音頻和視頻自動生成。
12.Openstat
主要利用Hadoop定制一個網(wǎng)絡日志分析并生成報告,其生產(chǎn)環(huán)境下超過50個節(jié)點集群(雙路四核Xeon處理器,16GB的RAM,4~6硬盤驅動器),還有兩個相對小的集群用于個性化分析,每天處理約500萬的事件,每月15億美元的交易數(shù)據(jù),集群每天產(chǎn)生大約25GB的報告。
使用的技術主要包括:CDH、Cascading、Janino。
13.Quantcast
3000個CPU核心,3500TB存儲,每日處理1PB以上的數(shù)據(jù),使用完全自定義的數(shù)據(jù)路徑和排序器的Hadoop調(diào)度器,對KFS文件系統(tǒng)有突出貢獻。
14.Rapleaf
超過80個節(jié)點的集群(每個節(jié)點有2個雙核CPU,2TB×8存儲,16GBRAM內(nèi)存);主要使用Hadoop、Hive處理Web上關聯(lián)到個人的數(shù)據(jù),并引入Cascading簡化數(shù)據(jù)流穿過各種處理階段。
15.WorldLingo
硬件上超過44臺服務器(每臺有2個雙核CPU,2TB存儲,8GB內(nèi)存),每臺服務器均運行Xen,啟動一個虛擬機實例運行Hadoop/HBase,再啟動一個虛擬機實例運行Web或應用程序服務器,即有88臺可用的虛擬機;運行兩套獨立的Hadoop/HBase機群,它們各自擁有22個節(jié)點。Hadoop主要用于運行HBase和MapReduce作業(yè),掃描HBase的數(shù)據(jù)表,執(zhí)行特定的任務。HBase作為一種可擴展的、快速的存儲后端,用于保存數(shù)以百萬的文檔。目前存儲了1200萬篇文檔,近期的目標是存儲4.5億篇文檔。
16.格拉斯哥大學的TerrierTeam
超過30個節(jié)點的實驗集群(每節(jié)點配置XeonQuadCore2.4GHz,4GB內(nèi)存,1TB存儲)。使用Hadoop促進信息檢索研究和試驗,特別是用于TREC,用于TerrierIR平臺。Terrier的開源發(fā)行版中包含了基于HadoopMapReduce的大規(guī)模分布式索引。
17.內(nèi)布拉斯加大學的HollandComputingCenter
運行一個中等規(guī)模的Hadoop機群(共計1.6PB存儲)用于存儲和提供物理數(shù)據(jù),以支持緊湊型μ子螺旋型磁譜儀(CompactMuonSolenoid,CMS)實驗的計算。這需要一類能夠以幾Gbps的速度下載數(shù)據(jù),并以更高的速度處理數(shù)據(jù)的文件系統(tǒng)的支持。
18.VisibleMeasures
將Hadoop作為可擴展數(shù)據(jù)流水線的一個組件,最終用于VisibleSuite等產(chǎn)品。使用Hadoop匯總、存儲和分析與網(wǎng)絡視頻觀眾收看行為相關的數(shù)據(jù)流。目前的網(wǎng)格包括超過128個CPU核心,超過100TB的存儲,并計劃大幅擴容。
國內(nèi)Hadoop的應用現(xiàn)狀
Hadoop在國內(nèi)的應用主要以互聯(lián)網(wǎng)公司為主,下面主要介紹大規(guī)模使用Hadoop或研究Hadoop的公司。
1.百度
百度在2006年就開始關注Hadoop并開始調(diào)研和使用,在2012年其總的集群規(guī)模達到近十個,單集群超過2800臺機器節(jié)點,Hadoop機器總數(shù)有上萬臺機器,總的存儲容量超過100PB,已經(jīng)使用的超過74PB,每天提交的作業(yè)數(shù)目有數(shù)千個之多,每天的輸入數(shù)據(jù)量已經(jīng)超過7500TB,輸出超過1700TB。
百度的Hadoop集群為整個公司的數(shù)據(jù)團隊、大搜索團隊、社區(qū)產(chǎn)品團隊、廣告團隊,以及LBS團體提供統(tǒng)一的計算和存儲服務,主要應用包括:
數(shù)據(jù)挖掘與分析。
日志分析平臺。
數(shù)據(jù)倉庫系統(tǒng)。
推薦引擎系統(tǒng)。
用戶行為分析系統(tǒng)。
同時百度在Hadoop的基礎上還開發(fā)了自己的日志分析平臺、數(shù)據(jù)倉庫系統(tǒng),以及統(tǒng)一的C++編程接口,并對Hadoop進行深度改造,開發(fā)了HadoopC++擴展HCE系統(tǒng)。
2.阿里巴巴
阿里巴巴的Hadoop集群截至2012年大約有3200臺服務器,大約30?000物理CPU核心,總內(nèi)存100TB,總的存儲容量超過60PB,每天的作業(yè)數(shù)目超過150?000個,每天hivequery查詢大于6000個,每天掃描數(shù)據(jù)量約為7.5PB,每天掃描文件數(shù)約為4億,存儲利用率大約為80%,CPU利用率平均為65%,峰值可以達到80%。阿里巴巴的Hadoop集群擁有150個用戶組、4500個集群用戶,為淘寶、天貓、一淘、聚劃算、CBU、支付寶提供底層的基礎計算和存儲服務,主要應用包括:
數(shù)據(jù)平臺系統(tǒng)。
搜索支撐。
廣告系統(tǒng)。
數(shù)據(jù)魔方。
量子統(tǒng)計。
淘數(shù)據(jù)。
推薦引擎系統(tǒng)。
搜索排行榜。
為了便于開發(fā),其還開發(fā)了WebIDE繼承開發(fā)環(huán)境,使用的相關系統(tǒng)包括:Hive、Pig、Mahout、Hbase等。
3.騰訊
騰訊也是使用Hadoop最早的中國互聯(lián)網(wǎng)公司之一,截至2012年年底,騰訊的Hadoop集群機器總量超過5000臺,最大單集群約為2000個節(jié)點,并利用Hadoop-Hive構建了自己的數(shù)據(jù)倉庫系統(tǒng)TDW,同時還開發(fā)了自己的TDW-IDE基礎開發(fā)環(huán)境。騰訊的Hadoop為騰訊各個產(chǎn)品線提供基礎云計算和云存儲服務,其支持以下產(chǎn)品:
騰訊社交廣告平臺。
搜搜(SOSO)。
拍拍網(wǎng)。
騰訊微博。
騰訊羅盤。
QQ會員。
騰訊游戲支撐。
QQ空間。
朋友網(wǎng)。
騰訊開放平臺。
財付通。
手機QQ。
QQ音樂。
4.奇虎360
奇虎360主要使用Hadoop-HBase作為其搜索引擎so.com的底層網(wǎng)頁存儲架構系統(tǒng),360搜索的網(wǎng)頁可到千億記錄,數(shù)據(jù)量在PB級別。截至2012年年底,其HBase集群規(guī)模超過300節(jié)點,region個數(shù)大于10萬個,使用的平臺版本如下。
HBase版本:facebook0.89-fb。
HDFS版本:facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要為了優(yōu)化減少HBase集群的啟停時間,并優(yōu)化減少RS異常退出后的恢復時間。
5.華為
華為公司也是Hadoop主要做出貢獻的公司之一,排在Google和Cisco的前面,華為對Hadoop的HA方案,以及HBase領域有深入研究,并已經(jīng)向業(yè)界推出了自己的基于Hadoop的大數(shù)據(jù)解決方案。
6.中國移動
中國移動于2010年5月正式推出大云BigCloud1.0,集群節(jié)點達到了1024。中國移動的大云基于Hadoop的MapReduce實現(xiàn)了分布式計算,并利用了HDFS來實現(xiàn)分布式存儲,并開發(fā)了基于Hadoop的數(shù)據(jù)倉庫系統(tǒng)HugeTable,并行數(shù)據(jù)挖掘工具集BC-PDM,以及并行數(shù)據(jù)抽取轉化BC-ETL,對象存儲系統(tǒng)BC-ONestd等系統(tǒng),并開源了自己的BC-Hadoop
版本。
中國移動主要在電信領域應用Hadoop,其規(guī)劃的應用領域包括:
經(jīng)分KPI集中運算。
經(jīng)分系統(tǒng)ETL/DM。
結算系統(tǒng)。
信令系統(tǒng)。
云計算資源池系統(tǒng)。
物聯(lián)網(wǎng)應用系統(tǒng)。
E-mail。
IDC服務等。
7.盤古搜索
盤古搜索(目前已和即刻搜索合并為中國搜索)主要使用Hadoop集群作為搜索引擎的基礎架構支撐系統(tǒng),截至2013年年初,集群中機器數(shù)量總計超過380臺,存儲總量總計3.66PB,主要包括的應用如下。
網(wǎng)頁存儲。
網(wǎng)頁解析。
建索引。
Pagerank計算。
日志統(tǒng)計分析。
推薦引擎等。
即刻搜索(人民搜索)
即刻搜索(目前已與盤古搜索合并為中國搜索)也使用Hadoop作為其搜索引擎的支撐系統(tǒng),截至2013年,其Hadoop集群規(guī)??傆嫵^500臺節(jié)點,配置為雙路6核心CPU,48G內(nèi)存,11×2T存儲,集群總容量超過10PB,使用率在78%左右,每天處理讀取的數(shù)據(jù)量約為500TB,峰值大于1P,平均約為300TB。
即刻搜索在搜索引擎中使用sstable格式存儲網(wǎng)頁并直接將sstable文件存儲在HDFS上面,主要使用HadoopPipes編程接口進行后續(xù)處理,也使用Streaming接口處理數(shù)據(jù),主要的應用包括:
網(wǎng)頁存儲。
解析。
建索引。
推薦引擎。
到此,關于“國內(nèi)外Hadoop的應用現(xiàn)狀是怎樣的”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續(xù)學習更多相關知識,請繼續(xù)關注億速云網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權內(nèi)容。