圖數(shù)據(jù)庫(kù)Neo4j應(yīng)用在在GIS系統(tǒng)的優(yōu)勢(shì)

下面講講關(guān)于圖數(shù)據(jù)庫(kù)Neo4j應(yīng)用在在GIS系統(tǒng)的優(yōu)勢(shì)，文字的奧妙在于貼近主題相關(guān)。所以，閑話就不談了，我們直接看下文吧，相信看完圖數(shù)據(jù)庫(kù)Neo4j應(yīng)用在在GIS系統(tǒng)的優(yōu)勢(shì)這篇文章你一定會(huì)有所受益。

1. 概述

1.1. 圖數(shù)據(jù)庫(kù)簡(jiǎn)介

圖數(shù)據(jù)庫(kù)（Graph Database）是基于圖論實(shí)現(xiàn)的一種新型的NoSQL數(shù)據(jù)庫(kù)。他的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)的查詢方式都是以圖論為基礎(chǔ)的，圖論中圖的基本元素為節(jié)點(diǎn)和邊，在圖數(shù)據(jù)庫(kù)中對(duì)應(yīng)的就是節(jié)點(diǎn)和關(guān)系。

在圖數(shù)據(jù)庫(kù)中，數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系通過(guò)節(jié)點(diǎn)和關(guān)系構(gòu)成一個(gè)圖結(jié)構(gòu)并且在此結(jié)構(gòu)上實(shí)現(xiàn)數(shù)據(jù)庫(kù)的所有特性，如對(duì)圖數(shù)據(jù)對(duì)象進(jìn)行創(chuàng)建、讀取、更新、刪除（Create、Read、Update、Delete，簡(jiǎn)稱CRUD）等操作的能力，還有處理事務(wù)的能力和高可用性等。

1.2. 應(yīng)用案例

從系統(tǒng)科學(xué)的視角來(lái)看，世界是由各種系統(tǒng)構(gòu)成的，而系統(tǒng)由由系統(tǒng)的各個(gè)組成部分機(jī)器之間的聯(lián)系組成。從這個(gè)層面，便能直接的將系統(tǒng)及其之間的聯(lián)系映射為數(shù)學(xué)圖論中的結(jié)點(diǎn)與關(guān)系上來(lái)，從而運(yùn)用圖論對(duì)世界進(jìn)行直觀建模，圖數(shù)據(jù)庫(kù)技術(shù)以圖論為根，也可以說(shuō)是表達(dá)多姿多彩世界的基礎(chǔ)性、通用性“語(yǔ)言”。這種“語(yǔ)言”描述出來(lái)的仿真系統(tǒng)與原系統(tǒng)相比具有“高保真”得特性，與人們通常對(duì)系統(tǒng)的認(rèn)知是一致的，并且非常直觀、自然、直接和高效，不需要中間過(guò)程的轉(zhuǎn)化和處理--這種中間過(guò)程的轉(zhuǎn)換和處理往往把問(wèn)題復(fù)雜化或者漏掉很多有價(jià)值的信息。正是由于圖數(shù)據(jù)庫(kù)技術(shù)可以直接描述各種復(fù)雜的現(xiàn)實(shí)世界系統(tǒng)，才使其具有廣泛的適用性和更高的應(yīng)用價(jià)值。

事實(shí)上，Neo4j已經(jīng)成功“俘獲”大量客戶，并且客戶數(shù)量和應(yīng)用領(lǐng)域還在不斷增長(zhǎng)之中。這些客戶包括思科、惠普、沃爾曼、領(lǐng)英、阿迪達(dá)斯、和FT金融時(shí)報(bào)等國(guó)際知名企業(yè)或機(jī)構(gòu)。Neo4j客戶的行業(yè)分類目前主要集中在社交網(wǎng)絡(luò)、人力資源與招聘、金融、保險(xiǎn)、零售、廣告、電子商務(wù)、物流、交通、IT、電信、制造業(yè)、打印、文化傳媒和醫(yī)療等領(lǐng)域。上述大量的Neo4j客戶在未采用圖數(shù)據(jù)庫(kù)產(chǎn)品之前反復(fù)抱怨原有產(chǎn)品的不足，有待新產(chǎn)品去解決和實(shí)現(xiàn)，通稱為：痛點(diǎn)，下表中列出客戶和主要的痛點(diǎn)：

2. 圖數(shù)據(jù)庫(kù)在的應(yīng)用及優(yōu)勢(shì)

2.1. 圖數(shù)據(jù)庫(kù)的優(yōu)勢(shì)

Neo4j最初的設(shè)計(jì)動(dòng)機(jī)是為了更好的描述實(shí)體之間的聯(lián)系。在現(xiàn)實(shí)生活中，每個(gè)實(shí)體都與周?chē)钠渌麑?shí)體有著千絲萬(wàn)縷的關(guān)系，這些關(guān)系里存在著大量的潛在信息。但是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)更加注重刻畫(huà)實(shí)體內(nèi)部的屬性，實(shí)體與實(shí)體之間的關(guān)系主要通過(guò)外鍵來(lái)實(shí)現(xiàn)。因此在查詢一個(gè)實(shí)體的關(guān)系時(shí)需要join操作，特別是深層次的關(guān)系查詢需要大量的join操作，而join操作通常又非常耗時(shí)。隨著現(xiàn)實(shí)世界中關(guān)系數(shù)據(jù)的急劇增加，導(dǎo)致關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)逐漸的難以承載查詢海量數(shù)據(jù)深層次關(guān)系需要大量數(shù)據(jù)庫(kù)表操作帶來(lái)的運(yùn)算復(fù)雜性，Neo4j在這樣的情況下應(yīng)運(yùn)而生。

2.1.1. 免索引鄰接

Neo4j有一個(gè)重要的特點(diǎn)，就是用來(lái)保證關(guān)系查詢的速度，即免索引鄰接屬性，數(shù)據(jù)庫(kù)中的每個(gè)節(jié)點(diǎn)都會(huì)維護(hù)與它相鄰節(jié)點(diǎn)的引用。因此每個(gè)節(jié)點(diǎn)都相當(dāng)于與他相鄰節(jié)點(diǎn)的微索引，這比使用全局索引的代價(jià)要小得多。這意味著查詢時(shí)間和圖的整體規(guī)模無(wú)關(guān)，只與他附近節(jié)點(diǎn)的數(shù)量成正比。在關(guān)系型數(shù)據(jù)庫(kù)中使用全局索引連接每個(gè)節(jié)點(diǎn)，這些索引對(duì)每個(gè)遍歷都會(huì)增加一個(gè)中間層，因此會(huì)導(dǎo)致非常大的計(jì)算成本。而免索引連接為圖數(shù)據(jù)庫(kù)提供了快速高效的圖遍歷能力。下圖展示了關(guān)系型數(shù)據(jù)庫(kù)和Neo4j在查找關(guān)系時(shí)的區(qū)別：

2.2. 風(fēng)險(xiǎn)控制

1、一組兩個(gè)或兩個(gè)以上的人組成一個(gè)刷單環(huán)路

2、監(jiān)控一個(gè)打車(chē)訂單的整個(gè)生命周期

當(dāng)前我們一個(gè)訂單的數(shù)據(jù)涉及到多個(gè)表，隨著業(yè)務(wù)發(fā)展，訂單數(shù)據(jù)量越來(lái)越多的時(shí)候，數(shù)據(jù)庫(kù)面臨的連接操作越來(lái)越多：

在數(shù)據(jù)決策系統(tǒng)中最長(zhǎng)的SQL達(dá)到400行，連接了七個(gè)表，使用Neo4j的賽博語(yǔ)言可以大大減少查詢的復(fù)雜度。

2.3. 地理信息系統(tǒng)

1、路網(wǎng)系統(tǒng)搭建

可以將獲取的點(diǎn)和路徑經(jīng)緯度數(shù)據(jù)導(dǎo)入到Neo4j，通過(guò)其內(nèi)置的最短路徑函數(shù)查詢最短的導(dǎo)航路徑。可以給現(xiàn)在的軌跡數(shù)據(jù)進(jìn)行糾偏。

2、Neo4j Spatial庫(kù)

Neo4j Spatial是一個(gè)讓Neo4j能夠進(jìn)行完整的空間操作的庫(kù)，支持ESRI Shapfile文件和OSM數(shù)據(jù)的導(dǎo)入，支持大多數(shù)的幾何形狀如點(diǎn)、線、多邊形等，能夠?qū)r(shí)空數(shù)據(jù)進(jìn)行拓?fù)洳僮魅绨⒏采w、相交等。此外，Neo4j Spatial除了本身的基于空間結(jié)構(gòu)的R-Tree索引外，可以靈活的支持其他索引，只要能夠?qū)?shù)據(jù)映射為幾何形狀都可以使用Neo4j Spatial處理。這些特征使得Neo4j對(duì)時(shí)空數(shù)據(jù)的分析和處理效率更高、使用范圍更廣。

3. 配置要求

3.1. 數(shù)據(jù)大小

（武漢路網(wǎng)）目錄如下：

文件總大小截圖

經(jīng)過(guò)清洗匯總?cè)ブ貙?dǎo)入到圖數(shù)據(jù)庫(kù)中顯示節(jié)點(diǎn)數(shù)據(jù)總共：

當(dāng)前數(shù)據(jù)庫(kù)節(jié)點(diǎn)數(shù)：

總共武漢有經(jīng)緯度點(diǎn)約200萬(wàn)，點(diǎn)與點(diǎn)的關(guān)系約400萬(wàn)，全部保存進(jìn)去數(shù)據(jù)文件約占磁盤(pán)空間4.5G，加上后續(xù)要添加點(diǎn)與點(diǎn)的距離和角度等屬性數(shù)據(jù)，武漢路網(wǎng)數(shù)據(jù)總共約占磁盤(pán)10G。

根據(jù)城市規(guī)模計(jì)算，與武漢同等規(guī)模城市（一線城市、新一線城市）有：

北京市、上海市、廣州市、深圳市、成都市、杭州市、武漢市、重慶市、南京市、天津市、蘇州市、西安市、長(zhǎng)沙市、沈陽(yáng)市、青島市、鄭州市、大連市、東莞市、寧波市。保守估計(jì)占據(jù)磁盤(pán)空間200G。二線城市路網(wǎng)數(shù)據(jù)保守估計(jì)100G。城市之間數(shù)據(jù)約100G（數(shù)據(jù)量通過(guò)POI比例所占估計(jì)），所以申請(qǐng)機(jī)器磁盤(pán)500G。

3.2. CPU、內(nèi)存要求

用py2neo訪問(wèn)圖數(shù)據(jù)庫(kù)，模擬二十個(gè)線程不斷計(jì)算最短路徑，機(jī)器配置和CPU情況如下：

程序截圖

機(jī)器配置截圖

CPU狀態(tài)截圖

內(nèi)存狀態(tài)截圖

圖中采用8核心處理器、8G內(nèi)存，CPU和內(nèi)存基本用完，訪問(wèn)頻率約在20次1秒，根據(jù)日百萬(wàn)訂單規(guī)劃也就是每秒11.57次，高峰時(shí)期，每秒在10這個(gè)數(shù)量級(jí)。保留一定的空余給操作系統(tǒng)使用，所以申請(qǐng)16G內(nèi)存。

4. 擴(kuò)展方案

4.1. 只讀副本

只讀副本的主要職責(zé)是擴(kuò)展圖操作的工作負(fù)載（比如：Cypher查詢、過(guò)程處理等）。只讀副本就像是核心云服務(wù)器中受保護(hù)數(shù)據(jù)的高速緩存，但他們不是簡(jiǎn)單的的鍵值高速緩存。事實(shí)上，只讀副本是能夠完成任意（只讀）圖查詢和過(guò)程處理的全功能的Neo4j數(shù)據(jù)庫(kù)。

只讀副本通過(guò)事務(wù)日志以異步的方式從核心云服務(wù)器復(fù)制數(shù)據(jù)。只讀副本會(huì)周期性的(通常在毫秒范圍內(nèi))輪詢核心云服務(wù)器，以查找自上次輪詢后處理的任何新事務(wù)，然后核心云服務(wù)器將這些新事務(wù)發(fā)送到只讀副本。大量的只讀副本可以從相對(duì)較少的核心云服務(wù)器復(fù)制數(shù)據(jù)，從而確保大量的圖查詢工作負(fù)載得以分?jǐn)偂?/p>

4.2. 城市分庫(kù)

因?yàn)槲覀兊牟樵兙哂休^高的獨(dú)立性，例如一個(gè)在武漢的網(wǎng)約車(chē)的路徑完全在武漢數(shù)據(jù)范圍內(nèi)完成查詢。所以當(dāng)后續(xù)負(fù)載壓力提高時(shí)，可以將不同城市的數(shù)據(jù)分別部署到不同的機(jī)器上，城市間城際拼車(chē)需要的數(shù)據(jù)可以另外部署。也可根據(jù)不同的經(jīng)緯度范圍放置數(shù)據(jù)來(lái)分?jǐn)偛樵儔毫Α?/p>

對(duì)于以上圖數(shù)據(jù)庫(kù)Neo4j應(yīng)用在在GIS系統(tǒng)的優(yōu)勢(shì)相關(guān)內(nèi)容，大家還有什么不明白的地方嗎？或者想要了解更多相關(guān)，可以繼續(xù)關(guān)注我們的行業(yè)資訊板塊。