溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

如何看待Hadoop

發(fā)布時間：2021-10-20 16:23:15 來源：億速云 閱讀：114 作者：柒染 欄目：大數(shù)據

如何看待Hadoop，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

1. 2013 全球數(shù)據總量 4.4 ZB 預計2020 44ZB 1ZB=1000EB=1000 000 PB 1PB=1024TB
2. 個人產生的數(shù)據在不斷增長 物聯(lián)網產生的數(shù)據
3. 大數(shù)據勝于好算法

  • 對于某些應用來（譬如根據以往的偏好來推薦電影和音樂），不論算法有多牛，基于小數(shù)據的推薦效果往往都不如基于大量可用數(shù)據的一般算法的推薦效果

多硬盤讀取遇到的問題

  • 硬件故障

  • 數(shù)據的正確性如何保證

MapReduce

  • 每次查詢需要處理整個數(shù)據集或至少一個數(shù)據集的絕大部分

  • 本質是一個批處理系統(tǒng) 不適合交互式分析

硬盤發(fā)展趨勢： 尋址時間的提升遠遠不敵于傳輸速率的提升
MapReduce 適合一次寫入、多次讀取數(shù)據應用，關系型數(shù)據庫則更適合持續(xù)更新的數(shù)據集
hadoop 對非結構化或半結構化數(shù)據非常有效
網格計算

  • hadoop 盡量在計算節(jié)點上存儲數(shù)據，以實現(xiàn)數(shù)據的本地快速訪問。數(shù)據本地化特性是Hadoop 數(shù)據處理的核心，并因此而獲得良好的性能

志愿計算
hadoop 三大設計目標

  • 為只需要短短幾分鐘或幾個小時就可以完成的作業(yè)提供服務

  • 運行于同一個內部有高速網絡連接的數(shù)據中心內

  • 數(shù)據中心內的計算機都是可靠的、專門的硬件

看完上述內容，你們掌握如何看待Hadoop的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業(yè)資訊頻道，感謝各位的閱讀！

向AI問一下細節(jié)

免責聲明：本站發(fā)布的內容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。

AI
助
手