數(shù)薈集分布式采集平臺(tái)試用報(bào)告

一、概述

本產(chǎn)品是分布式、速度快、穩(wěn)定、適用采集范圍廣、企業(yè)級(jí)產(chǎn)品，適合大數(shù)據(jù)量采集（日采集量在幾千萬、上億的數(shù)據(jù)量級(jí)別），對(duì)時(shí)效性要求高的企業(yè)，比如輿情公司和大數(shù)據(jù)分析公司，數(shù)據(jù)實(shí)時(shí)監(jiān)控公司等。

二、具體描述

         1、分布式

由一臺(tái)調(diào)度服務(wù)器和多個(gè)采集節(jié)點(diǎn)組成分布式架構(gòu)，調(diào)度服務(wù)器可以同時(shí)管理多個(gè)節(jié)點(diǎn)節(jié)點(diǎn)，比如對(duì)100臺(tái)采集節(jié)點(diǎn)同時(shí)進(jìn)行重啟、同時(shí)進(jìn)行規(guī)則發(fā)布等操作，可以在統(tǒng)一的界面上查看每個(gè)節(jié)點(diǎn)的運(yùn)行情況，提供采集節(jié)點(diǎn)預(yù)警機(jī)制。多個(gè)采集節(jié)點(diǎn)協(xié)同工作，有效避免不同采集節(jié)點(diǎn)重復(fù)采集數(shù)據(jù)。

         2、速度快

我們的產(chǎn)品不同于市面上其他爬蟲軟件，本產(chǎn)品純后臺(tái)進(jìn)程運(yùn)行，不需要渲染圖形界面而是直接解析報(bào)文格式，速度大概是其他產(chǎn)品的30~100倍。

         3、穩(wěn)定

可以24小時(shí)不間斷運(yùn)行，運(yùn)行穩(wěn)定，已有客戶使用我們的產(chǎn)品運(yùn)行近1年時(shí)間依然運(yùn)行良好。

         4、采集范圍廣

本產(chǎn)品可以采集任意格式和形式的數(shù)據(jù)，比如可以采集百度地圖數(shù)據(jù)、高德地圖數(shù)據(jù)、可以采集手機(jī)APP數(shù)據(jù)、可以采集指定網(wǎng)站的全量數(shù)據(jù)。這些能力是市面上其他采集軟件不能做到的。

         5、采集數(shù)據(jù)格式廣

可以采集html、xml、json、圖片文件、視頻文件、word文件、pdf文件、excel文件等所有格式都能夠采集。

         6、有效突破防采集機(jī)制

                  內(nèi)置多種突破防采集方法和解決方案，有效增加采集范圍

總之我們的客戶定位在采集數(shù)據(jù)量大、時(shí)效性高的大數(shù)據(jù)企業(yè)，是真正意義上的企業(yè)級(jí)產(chǎn)品，不同于市面采集軟件（只能做小規(guī)模數(shù)據(jù)量的采集，而且采集范圍有限）。我們的產(chǎn)品可以節(jié)省企業(yè)一半以上的爬蟲工程師的人力資源。數(shù)據(jù)采集看起來簡單，但是要實(shí)現(xiàn)大數(shù)據(jù)量采集和全量數(shù)據(jù)的穩(wěn)定采集是一個(gè)非常有難度的事情，現(xiàn)在爬蟲工程師緊缺，而且大多經(jīng)驗(yàn)不足，即使招到爬蟲工程師也未必能解決所有爬蟲問題，從目前來看我們的產(chǎn)品市場需求很大，隨著大數(shù)據(jù)的興起會(huì)越來越大。