區(qū)塊鏈數(shù)據(jù)分析基礎(chǔ)工具BlockETL怎么用

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)區(qū)塊鏈數(shù)據(jù)分析基礎(chǔ)工具BlockETL怎么用，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

BlockETL軟件包用于比特幣區(qū)塊鏈數(shù)據(jù)分析中的數(shù)據(jù)抽取/轉(zhuǎn)換/加載（ETL），可以從原始的比特幣區(qū)塊文件中抽取區(qū)塊與交易數(shù)據(jù)并加載入通用SQL數(shù)據(jù)庫(kù)，以便于后續(xù)的數(shù)據(jù)分析處理，非常適合區(qū)塊鏈數(shù)據(jù)分析相關(guān)的畢業(yè)設(shè)計(jì)或課題研究項(xiàng)目。

1、軟件包概述

BlockETL軟件包的主要特性如下：

• 直接讀取原始區(qū)塊文件，抽取速度快

• 將原始區(qū)塊和交易數(shù)據(jù)加載至SQL數(shù)據(jù)庫(kù)，便于后續(xù)的區(qū)塊鏈數(shù)據(jù)分析

• 支持多流水線并行處理，可自己控制并發(fā)流水線數(shù)量

• 結(jié)構(gòu)設(shè)計(jì)清晰，代碼便于擴(kuò)展

BlockETL軟件包采用Java開(kāi)發(fā)，支持Windows、OSX和Linux等多種操作系統(tǒng)，當(dāng)前版本1.0.0，主要類/接口及關(guān)系如下圖所示：

BlockETL軟件包的目錄組織及主要代碼文件清單參見(jiàn)官網(wǎng)說(shuō)明：http://sc.hubwiz.com/codebag/blocketl-java/

2、軟件包使用方法

在開(kāi)始使用軟件包之前，請(qǐng)先安裝好gradle 6、jdk 8和所選擇的SQL數(shù)據(jù)庫(kù)。下面以MySQL為例說(shuō)明使用過(guò)程：

• 安裝mysql服務(wù)器，參考文檔：Install and Upgrading MySQL。

• 安裝jdk 8，參考文檔：JDK 8 Installation

• 安裝gradle 6，參考文檔：Gradle Installation。

2.1 初始化數(shù)據(jù)庫(kù)/表結(jié)構(gòu)

進(jìn)入軟件包的sql目錄，使用ddl.sql腳本創(chuàng)建數(shù)據(jù)庫(kù)和基礎(chǔ)表結(jié)構(gòu)：

mysql -u root -p < ddl.sql

上述命令會(huì)要求交互輸入root用戶的密碼，也可以使用其他有足夠權(quán)限的用戶名/密碼。成功執(zhí)行后，上述命令將創(chuàng)建數(shù)據(jù)庫(kù)bitcoin_analysis和基礎(chǔ)數(shù)據(jù)表：

• blocks：比特幣區(qū)塊頭數(shù)據(jù)表

• transactions：比特幣交易頭數(shù)據(jù)表

• tx_inputs：比特幣交易輸入數(shù)據(jù)表

• tx_output：比特幣交易輸出數(shù)據(jù)表

2.2 抽取流程配置

首先根據(jù)自己的基礎(chǔ)環(huán)境配置，修改demo/src/App.java文件中的區(qū)塊目錄和數(shù)據(jù)庫(kù)連接信息并保存：

String dataDir = "…";					           //區(qū)塊數(shù)據(jù)文件目錄
String dbUrl = "jdbc:…. ";               //SQL數(shù)據(jù)庫(kù)連接URL  
String dbUser = "…",                     //SQL數(shù)據(jù)庫(kù)用戶名
String dbPassword = "…";                 //SQL數(shù)據(jù)庫(kù)密碼
String network = "mainnet";              //主網(wǎng)：mainnet，測(cè)試網(wǎng)：testnet

2.3 數(shù)據(jù)抽取與加載

進(jìn)入軟件包的demo目錄，使用gradle run或gradle.bat run命令啟動(dòng)演示應(yīng)用，可以看到屏幕輸出的數(shù)據(jù)加載進(jìn)度：

軟件包的demo應(yīng)用除了在屏幕輸出日志，也會(huì)記錄到當(dāng)前目錄下的app.log文件中，可以利用此文件排查故障。

要長(zhǎng)時(shí)間無(wú)人值守運(yùn)行，可以使用gradle distZip打包后再執(zhí)行編譯好的程序。

2.4 數(shù)據(jù)分析

一旦完成區(qū)塊鏈數(shù)據(jù)的抽取并加載到SQL數(shù)據(jù)庫(kù)中，就可以進(jìn)行數(shù)據(jù)分析了。

為了提高數(shù)據(jù)加載速度，在之前的ddl.sql中沒(méi)有定義數(shù)據(jù)表的索引，因此在進(jìn)行數(shù)據(jù)分析之前，首先要使用index.sql來(lái)建立數(shù)據(jù)表索引以加速統(tǒng)計(jì)查詢的執(zhí)行。進(jìn)入sql目錄執(zhí)行如下命令完成索引構(gòu)建，根據(jù)要求輸入密碼：

mysql -u root -p < index.sql

索引建立之后，就可以利用SQL進(jìn)行數(shù)據(jù)分析了。

上述就是小編為大家分享的區(qū)塊鏈數(shù)據(jù)分析基礎(chǔ)工具BlockETL怎么用了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道。