#

數(shù)據(jù)開發(fā)

  • Giraph源碼分析（四）—— Master 如何檢查Worker啟動(dòng)成功

    本文的目的 說明Giraph如何借助ZooKeeper來實(shí)現(xiàn)Master與Workers間的同步（不太確定）。 環(huán)境 在單機(jī)上（機(jī)器名：giraphx）啟動(dòng)了2個(gè)workers。 Giraph遵從單M

    作者：數(shù)瀾
    2020-09-25 04:31:06

  • Giraph源碼分析（一）— 啟動(dòng)ZooKeeper服務(wù)

    作者 | 白松 【注：本文為原創(chuàng)，引用轉(zhuǎn)載需與博主聯(lián)系。】 Giraph介紹： Apache Giraph is an iterative graph processing system built

    作者：數(shù)瀾
    2020-07-21 08:39:41

  • Giraph源碼分析（三）—— 消息通信

    由前文知道每個(gè)BSPServiceWorker有一個(gè)WorkerServer對(duì)象，WorkerServer對(duì)象里面又有ServerData對(duì)象，作為數(shù)據(jù)實(shí)。ServerData中包含該Worker的p

    作者：數(shù)瀾
    2020-07-19 16:24:07

  • 關(guān)于接口測(cè)試——自動(dòng)化框架的設(shè)計(jì)與實(shí)現(xiàn)

    一、自動(dòng)化測(cè)試框架 在大部分測(cè)試人員眼中只要沾上“框架”，就感覺非常神秘，非常遙遠(yuǎn)。大家之所以覺得復(fù)雜，是因?yàn)槁涞剡\(yùn)用起來很復(fù)雜；每個(gè)公司，每個(gè)業(yè)務(wù)及產(chǎn)品線的業(yè)務(wù)流程都不一樣，所以就導(dǎo)致了“自動(dòng)化測(cè)試

    作者：數(shù)瀾
    2020-07-04 09:19:16

  • Mock工具wiremock-py

    作者 | 咪咪 wiremock-py wiremock-py 是基于 WireMock 實(shí)現(xiàn)的, 使用 Python 批量生成不同測(cè)試場(chǎng)景下不同HTTP API 的 mock 數(shù)據(jù), 然后作為 mo

    作者：數(shù)瀾
    2020-06-26 02:38:15

  • Giraph源碼分析（二）—啟動(dòng)Master/Worker服務(wù)

    作者 | 白松 注：本文為原創(chuàng)，引用轉(zhuǎn)載需與數(shù)瀾聯(lián)系。 1、org.apache.giraph.bsp.CentralizedService 接口 功能：Basic service interface

    作者：數(shù)瀾
    2020-06-23 08:27:17

  • “數(shù)據(jù)治理那點(diǎn)事”系列之一：那些年我們一起踩過的坑

    大數(shù)據(jù)時(shí)代，數(shù)據(jù)成為社會(huì)和組織的寶貴資產(chǎn)，像工業(yè)時(shí)代的石油和電力一樣驅(qū)動(dòng)萬(wàn)物，然而如果石油的雜質(zhì)太多，電流的電壓不穩(wěn)，數(shù)據(jù)的價(jià)值豈不是大打折扣，甚至根本不可用不敢用，因此，數(shù)據(jù)治理是大數(shù)據(jù)時(shí)代我們用好

    作者：數(shù)瀾
    2020-05-31 18:40:51

  • 淺析HDFS架構(gòu)和設(shè)計(jì)

    作者 | 大尊 hdfs是hadoop的分布式文件系統(tǒng)，即Hadoop Distributed Filesystem。下面主要講下HDFS設(shè)計(jì)中的比較重要的點(diǎn)，使讀者能通過簡(jiǎn)短的文章一窺HDFS的全貌

    作者：數(shù)瀾
    2020-05-28 00:59:46