Apache IoTDB文件同步工具怎么用

這篇文章主要介紹“Apache IoTDB文件同步工具怎么用”，在日常操作中，相信很多人在Apache IoTDB文件同步工具怎么用問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Apache IoTDB文件同步工具怎么用”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

為了更好的理解數(shù)據(jù)文件的生成耗時，需要簡單介紹一下寫入流程。

IoTDB 采用了 LSM 結(jié)構(gòu)，數(shù)據(jù)先寫到內(nèi)存緩沖區(qū) memtable 中，memtable 達到一定大小會落盤，多個 memtable 會對應(yīng)一個數(shù)據(jù)文件。

舉個例子，某個存儲組有 1 個時間序列，寫入頻率為 1 秒，每個數(shù)據(jù)點是 16 字節(jié)。一個 memtable 大小為 160 字節(jié)，TsFile 文件大小為 200 字節(jié)。存儲組剛開始有一個空的 TsFile 可供寫入。

（1）memtable 第一次存滿 10 個數(shù)據(jù)點時，提交一個異步刷盤任務(wù)（追加到當(dāng)前正在寫入的 TsFile 中），同時檢查 TsFile 大小，這個時候還是 0 字節(jié)，先不關(guān)文件。

（2）異步的刷盤任務(wù)開始執(zhí)行，刷完之后 TsFile 變成了 200 字節(jié)。

（3）memtable 第二次存滿 10 個數(shù)據(jù)點時，提交一個異步刷盤任務(wù)，同時檢查 TsFile 大小，發(fā)現(xiàn)到了 200 字節(jié)，于是就標記關(guān)文件。

（4）異步刷盤任務(wù)開始執(zhí)行，刷完之后把當(dāng)前 TsFile 關(guān)掉。

在這個例子里，寫滿 2 個 memtable （20條數(shù)據(jù)） 關(guān)閉一次文件，寫入頻率為 1 秒，文件的生成耗時是 20 秒左右。

發(fā)送端定時檢查本地有沒有新創(chuàng)建的 Schema 和新生成的完整的數(shù)據(jù)文件，如果存在，就發(fā)給接收端。同步的延遲基本就是 max(同步檢查間隔，文件生成耗時)。

在 iotdb-sync-client.properties 配置文件中，有一個參數(shù)sync_period_in_second，這個控制發(fā)送端檢查的頻率。假如配置 60 秒，那同步的最長延遲就是 60秒，如果配置 10秒，那延遲就是 20秒（一個文件的生成耗時）?？梢钥吹?，同步延遲跟配置有關(guān)系，跟寫入頻率也有關(guān)系。

配置文件里的 sync_period_in_second 可以配的比較小，沒啥大問題。主要問題是 TsFile 的生成間隔，這個由 memtable_size_threshold 和 tsfile_size_threshold 控制，這兩個參數(shù)，尤其是 memtable 越大，歷史數(shù)據(jù)查詢越快。因此，同步能達到的最低延遲和查詢性能之間需要平衡。

一個比較簡單的查看自己系統(tǒng)里文件的生成速率，可以到數(shù)據(jù)目錄 data/data/存儲組{/分區(qū)} 看 .resource 文件的最后修改時間間隔。

在一個機器測試同步，示例腳本為 linux 環(huán)境，版本 0.10.1。先下載二進制包，解壓縮兩遍重命名，一個 sender，一個 receiver。

啟動接收端

cd receiver## 配置conf/iotdb-engine.properties 中的 is_sync_enable=true## 啟動接收端 IoTDBnohup ./sbin/start-server.sh >/dev/null 2>&1 &## 啟動接收端 CLI，默認用 root 用戶連本地 6667 端口./sbin/start-cli.sh

啟動發(fā)送端，準備數(shù)據(jù)

cd sender## 配置conf/iotdb-engine.properties 中的 rpc_port=6668conf/iotdb-sync-client.properties 中的 sync_period_in_second=10## 啟動 iotdbnohup ./sbin/start-server.sh >/dev/null 2>&1 &## 啟動發(fā)送進程nohup ./tools/start-sync-client.sh >/dev/null 2>&1 &## 啟動發(fā)送端 CLI，注意，改到 6668 端口了./sbin/start-cli.sh -h 127.0.0.1 -p 6668 -u root -pw root## 輸入insert into root.turbine1.d1(timestamp,s1,s3) values(2,1,3);flush （這個是精髓，強制把 memtable 刷盤，文件封口）

接收端驗證數(shù)據(jù)

## 在接收端 CLI 中輸入select * from root

如果想自己配置，需要先把 enable_parameter_adapter 置為 false，不然系統(tǒng)會自動調(diào) memtable 和 tsfile 大小。

到此，關(guān)于“Apache IoTDB文件同步工具怎么用”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>