溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細(xì)講解有關(guān)如何部署Apache NiFi Poc環(huán)境，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。
Apache Nifi是一個(gè)易用、強(qiáng)大、可靠的數(shù)據(jù)處理和分發(fā)系統(tǒng)。
主要功能：數(shù)據(jù)流程管理，設(shè)計(jì)數(shù)據(jù)流程、執(zhí)行數(shù)據(jù)流程、監(jiān)控?cái)?shù)據(jù)流程執(zhí)行。
一個(gè)數(shù)據(jù)流程是一個(gè)有向圖包含：數(shù)據(jù)源節(jié)點(diǎn)、數(shù)據(jù)轉(zhuǎn)化和協(xié)調(diào)節(jié)點(diǎn)、以及數(shù)據(jù)輸出節(jié)點(diǎn)。
在NiFi中數(shù)據(jù)流程圖中的節(jié)點(diǎn)被稱為Processor，流程圖中的邊稱為connection，邊是有方向的，在流程圖中流動(dòng)的數(shù)據(jù)稱為FlowFile。FlowFile被數(shù)據(jù)源類型的Processor創(chuàng)建，沿著connection流動(dòng)，被數(shù)據(jù)轉(zhuǎn)化類型的Processor被轉(zhuǎn)化（拆開、合并、轉(zhuǎn)化為新的FlowFile、被復(fù)制或者被遺棄），被協(xié)調(diào)類型Processor調(diào)整流向，最后被Sink類型的Processor發(fā)送到外部節(jié)點(diǎn)。
NiFi在復(fù)雜的多系統(tǒng)企業(yè)環(huán)境中能夠發(fā)揮非常大的作用。
Apache NiFi比較不挑操作系統(tǒng)，只要能安裝JDK，能執(zhí)行java命令就行。oracle jdk和open jdk都可，版本要求為8或11。安裝好jdk執(zhí)行javac看看裝好沒有。
laofeng@192 ~ % javac --version javac 11.0.9
如果部署Apache NiFi偽基群則需要預(yù)先安裝Docker Desktop。
Apache NiFi 安裝也比較簡單，只要下載一個(gè)二進(jìn)制包，解壓了就可以執(zhí)行。二進(jìn)制包有兩種：tag.gz、zip，建議Mac、linux用戶下載tar.gz,windows用戶下載zip包。Apache NiFi下載地址：http://nifi.apache.org/download.html 如果下載速度沒有達(dá)到數(shù)MB/秒，建議換一個(gè)速度快的鏡像地址，畢竟安裝包的size有1.5G。
解壓后的目錄結(jié)構(gòu)如下：
在linux和mac下使用bin/nifi.sh啟動(dòng)，windows下使用bin/nifi.bat。
# 先執(zhí)行一下試試，輸出的是usage，可以看到啟動(dòng)、停止、執(zhí)行、重啟、狀態(tài)、dump、診斷、安裝（為系統(tǒng)服務(wù)）、無狀態(tài)（？什么意思）
laofeng@192 nifi-1.12.1 % bin/nifi.sh
Usage nifi {start|stop|run|restart|status|dump|diagnostics|install|stateless}
# 執(zhí)行啟動(dòng)命令，刪除了“java home”和“nifi home”，啟動(dòng)配置文件為“conf/bootstrap.conf”
laofeng@192 nifi-1.12.1 % bin/nifi.sh start
Java home: /Library/Java/JavaVirtualMachines/jdk-11.0.9.jdk/Contents/Home
NiFi home: /Users/laofeng/Downloads/apps/nifi-1.12.1
Bootstrap Config File: /Users/laofeng/Downloads/apps/nifi-1.12.1/conf/bootstrap.conf
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.nifi.bootstrap.util.OSUtils (file:/Users/laofeng/Downloads/apps/nifi-1.12.1/lib/bootstrap/nifi-bootstrap-1.12.1.jar) to method java.lang.ProcessImpl.pid()
WARNING: Please consider reporting this to the maintainers of org.apache.nifi.bootstrap.util.OSUtils
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
# 查看一下狀態(tài)，輸出了監(jiān)聽端口號(hào)和進(jìn)程id “l(fā)istening to Bootstrap on port 65173, PID=16224”
laofeng@192 nifi-1.12.1 % bin/nifi.sh status
Java home: /Library/Java/JavaVirtualMachines/jdk-11.0.9.jdk/Contents/Home
NiFi home: /Users/laofeng/Downloads/apps/nifi-1.12.1
Bootstrap Config File: /Users/laofeng/Downloads/apps/nifi-1.12.1/conf/bootstrap.conf
2020-11-15 20:40:05,575 INFO [main] org.apache.nifi.bootstrap.Command Apache NiFi is currently running, listening to Bootstrap on port 65173, PID=16224
# 使用jps命令，發(fā)現(xiàn)了“NIFI”和“RunNiFi”兩個(gè)相關(guān)進(jìn)程
laofeng@192 nifi-1.12.1 % jps
16224 NiFi
16222 RunNiFi使用瀏覽器訪問：http://127.0.0.1:8080/nifi 能看到如下界面，基本確認(rèn)啟動(dòng)成功。
NiFi Cluster采用無leader模式，即在部署時(shí)所有集群節(jié)點(diǎn)都是相同的配置沒有主節(jié)點(diǎn)和從節(jié)點(diǎn)的區(qū)別。每個(gè)節(jié)點(diǎn)都有同樣的數(shù)據(jù)流程定義，執(zhí)行相同的任務(wù)，但處理不同的數(shù)據(jù)。 NiFi使用zooKeeper做為協(xié)調(diào)服務(wù)。集群啟動(dòng)時(shí)，一個(gè)節(jié)點(diǎn)被選出做為協(xié)調(diào)節(jié)點(diǎn)，其他節(jié)點(diǎn)向它發(fā)送心跳信息和狀態(tài)報(bào)告。當(dāng)新節(jié)點(diǎn)選擇加入集群時(shí)，新節(jié)點(diǎn)必須首先連接到集群協(xié)調(diào)節(jié)點(diǎn)，以下載最新的數(shù)據(jù)流程。如果集群協(xié)調(diào)節(jié)點(diǎn)確定允許節(jié)點(diǎn)加入，則當(dāng)前數(shù)據(jù)流程將提供給該節(jié)點(diǎn)，并且該節(jié)點(diǎn)能夠加入集群，但新節(jié)點(diǎn)的數(shù)據(jù)流程副本與集群協(xié)調(diào)節(jié)點(diǎn)提供的副本必須匹配。如果新節(jié)點(diǎn)的數(shù)據(jù)流程配置版本與集群協(xié)調(diào)節(jié)點(diǎn)的版本不同，則新節(jié)點(diǎn)將被拒絕加入集群。
Coordinator（協(xié)調(diào)器）：NiFi集群協(xié)調(diào)器是NiFi集群中的節(jié)點(diǎn)，它負(fù)責(zé)執(zhí)行任務(wù)來管理集群中允許哪些節(jié)點(diǎn)，并向新加入的節(jié)點(diǎn)提供最新的流。當(dāng)數(shù)據(jù)流管理器管理集群中的數(shù)據(jù)流時(shí)，它們能夠通過集群中任何節(jié)點(diǎn)的用戶界面來進(jìn)行管理。然后，所做的任何更改都將復(fù)制到群集中的所有節(jié)點(diǎn)。
Nodes（節(jié)點(diǎn)）：每個(gè)集群由一個(gè)或多個(gè)節(jié)點(diǎn)組成。這些節(jié)點(diǎn)進(jìn)行實(shí)際的數(shù)據(jù)處理。
Primary Node（主節(jié)點(diǎn)）: 每個(gè)集群都有一個(gè)主節(jié)點(diǎn)。在這個(gè)節(jié)點(diǎn)上可以運(yùn)行“獨(dú)立處理器”。ZooKeeper用于選舉主節(jié)點(diǎn)。如果該節(jié)點(diǎn)由于任何原因與集群斷開連接，將自動(dòng)選舉一個(gè)新的主節(jié)點(diǎn)。用戶可以通過查看用戶界面的集群管理頁面來確定當(dāng)前哪個(gè)節(jié)點(diǎn)是主節(jié)點(diǎn)。
Isolated Processors（獨(dú)立處理器）:在NiFi集群中，相同的數(shù)據(jù)流程在所有節(jié)點(diǎn)上運(yùn)行。因此，數(shù)據(jù)流程中的每個(gè)組件都在所有節(jié)點(diǎn)上運(yùn)行。然而，在某些情況下，DFM可能不希望一些處理器運(yùn)行在所有節(jié)點(diǎn)上。最常見的情況是使用處理器與外部服務(wù)通信時(shí)使用的協(xié)議限制。例如，GetSFTP處理器從遠(yuǎn)程目錄中提取。如果GetSFTP處理器在集群中的所有節(jié)點(diǎn)上運(yùn)行，并同時(shí)嘗試從同一個(gè)遠(yuǎn)程目錄進(jìn)行拉取，則可能存在競爭問題。因此，DFM可以將主節(jié)點(diǎn)上的GetSFTP配置為獨(dú)立運(yùn)行，這意味著它只在主節(jié)點(diǎn)上運(yùn)行。通過正確的數(shù)據(jù)流配置，它可以拉入數(shù)據(jù)并在集群中的其余節(jié)點(diǎn)之間進(jìn)行負(fù)載平衡。請(qǐng)注意，雖然這個(gè)特性存在，但是簡單地使用一個(gè)獨(dú)立的NiFi實(shí)例來拉取數(shù)據(jù)并將其提供給集群也是非常常見的。這取決于可用的資源以及管理員決定如何配置集群。
Heartbeats（心跳）:節(jié)點(diǎn)通過“Heartbeats”將它們的運(yùn)行狀況和狀態(tài)傳遞給當(dāng)前的集群協(xié)調(diào)器，它讓協(xié)調(diào)器知道它們?nèi)匀贿B接到集群并且工作正常。默認(rèn)情況下，節(jié)點(diǎn)每5秒發(fā)出一次心跳，如果集群協(xié)調(diào)器在40秒（=5秒*8）內(nèi)沒有接收到來自節(jié)點(diǎn)的心跳信號(hào)，則會(huì)由于“缺少心跳”而斷開節(jié)點(diǎn)的連接。這兩個(gè)參數(shù)可以在node.properties文件中配置。集群協(xié)調(diào)器斷開節(jié)點(diǎn)連接的原因是因?yàn)閰f(xié)調(diào)器需要確保集群中的每個(gè)節(jié)點(diǎn)都是同步的，并且如果沒有定期接收到某個(gè)節(jié)點(diǎn)的消息，那么協(xié)調(diào)器就不能確定它仍然與集群的其余部分保持同步。如果在40秒后，節(jié)點(diǎn)確實(shí)發(fā)送了一個(gè)新的心跳信號(hào)，協(xié)調(diào)器將自動(dòng)請(qǐng)求節(jié)點(diǎn)重新加入集群，以包括對(duì)節(jié)點(diǎn)流的重新驗(yàn)證。在用戶界面中向DFM報(bào)告由于缺少心跳而導(dǎo)致的斷開連接和接收到心跳后的重新連接。
這里實(shí)現(xiàn)偽集群的方式是：使用docker-compose啟動(dòng)多個(gè)nifi的container，組成一個(gè)運(yùn)行在docker中的NiFi cluster。忽略Docker Destop的安裝過程。
version: "3" services: zookeeper: hostname: zookeeper container_name: zookeeper image: 'bitnami/zookeeper:latest' environment: - ALLOW_ANONYMOUS_LOGIN=yes nifi: image: "apache/nifi:1.12.1" ports: - 8080 # Unsecured HTTP Web Port environment: - NIFI_WEB_HTTP_PORT=8080 - NIFI_CLUSTER_IS_NODE=true - NIFI_CLUSTER_NODE_PROTOCOL_PORT=8082 - NIFI_ZK_CONNECT_STRING=zookeeper:2181 - NIFI_ELECTION_MAX_WAIT=1 min - NIFI_HOME=/opt/nifi/nifi-current - NIFI_LOG_DIR=/opt/nifi/nifi-current/logs - NIFI_TOOLKIT_HOME=/opt/nifi/nifi-toolkit-current - NIFI_PID_DIR=/opt/nifi/nifi-current/run - NIFI_BASE_DIR=/opt/nifi
將以上代碼保存為“docker-compose.yml”。由yml文件細(xì)節(jié)看，使用了兩個(gè)鏡像：bitnami/zookeeper:latest和apache/nifi:1.12.1。
"apache/nifi:1.12.1"鏡像使用的是jdk版本為“openjdk8”
注意執(zhí)行命令的目錄和保存“docker-compose.yml”必須是同一個(gè)目錄。
#啟動(dòng)三個(gè)節(jié)點(diǎn)的NiFi集群，第一次啟動(dòng)需要下載鏡像，要等一段時(shí)間。 # 第二次啟會(huì)非?？? laofeng@192 nifi-1.12.1 % docker-compose up --scale nifi=3 -d #開始下載鏡像 Pulling zookeeper (bitnami/zookeeper:latest)... latest: Pulling from bitnami/zookeeper 58212c1109c5: Pull complete 081a2ae8dc51: Pull complete f5ff4112905d: Pull complete 35864a4b7faf: Pull complete cdcc88215c01: Pull complete 94a860965551: Pull complete 7b37ce5d991a: Pull complete 9b0fd0c439c8: Pull complete 79ae9cc9ceef: Pull complete f587456f2eac: Pull complete 215bcd582847: Pull complete c3bbf763f965: Pull complete 96583be231d1: Pull complete Digest: sha256:0f278b73b82ec8910168f09343b8dc5405152482d2fac1f26473ffc12564fafa Status: Downloaded newer image for bitnami/zookeeper:latest Pulling nifi (apache/nifi:1.12.1)... 1.12.1: Pulling from apache/nifi d6ff36c9ec48: Pulling fs layer d6ff36c9ec48: Pull complete c958d65b3090: Pull complete edaf0a6b092f: Pull complete ffba832277c8: Pull complete 9687742a10f9: Pull complete 438df03a4d78: Pull complete b428ea9845bb: Pull complete e97cefb1594a: Pull complete 1ea915e95f07: Pull complete b988f1230121: Pull complete 066b86f87d5a: Pull complete 11325722f405: Pull complete Digest: sha256:bf7576ab7ad0bfe38c86be5baa47229d1644287984034dc9d5ff4801c5827115 Status: Downloaded newer image for apache/nifi:1.12.1 # 啟動(dòng)容器 Creating nifi-1121_nifi_1 ... done Creating nifi-1121_nifi_2 ... done Creating nifi-1121_nifi_3 ... done Creating zookeeper ... done # 至此啟動(dòng)完成
使用docker ps命令查看容器運(yùn)行狀況
laofeng@192 nifi-1.12.1 % docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b0974257ea3 apache/nifi:1.12.1 "../scripts/start.sh" 7 minutes ago Up 7 minutes 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32770->8080/tcp nifi-1121_nifi_2 19a9fbc4ec11 bitnami/zookeeper:latest "/opt/bitnami/script…" 7 minutes ago Up 7 minutes 2181/tcp, 2888/tcp, 3888/tcp, 8080/tcp zookeeper 058e826876e0 apache/nifi:1.12.1 "../scripts/start.sh" 7 minutes ago Up 7 minutes 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32769->8080/tcp nifi-1121_nifi_3 c4c02b6415eb apache/nifi:1.12.1 "../scripts/start.sh" 7 minutes ago Up 7 minutes 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32768->8080/tcp nifi-1121_nifi_1
根據(jù)PS命令的輸出，看到有四個(gè)活躍容器：zookeeper、nifi-1121_nifi_1、nifi-1121_nifi_2、nifi-1121_nifi_3。
有三個(gè)端口映射到了宿主機(jī)：0.0.0.0:32770->8080/tcp（nifi-1121_nifi_2），0.0.0.0:32769->8080/tcp（nifi-1121_nifi_3），0.0.0.0:32768->8080/tcp（nifi-1121_nifi_1）。
nifi集群中每個(gè)節(jié)點(diǎn)都可做為WebUI的入口，使用瀏覽器訪問其中一個(gè)節(jié)點(diǎn)http://localhost:32770/nifi.
注意：nifi容器8080端口映射到主機(jī)的端口是隨機(jī)，不同的宿主機(jī)，每次啟動(dòng)都不同，需要使用
docker ps查看具體映射端口號(hào)。
點(diǎn)擊菜單
彈出菜單
集群狀態(tài)
cluster-summary, 集群概況
nifi get-node , 獲取單個(gè)節(jié)點(diǎn)信息
nifi get-nodes，獲取節(jié)點(diǎn)列表
nifi connect-node，連接到節(jié)點(diǎn)
nifi disconnect-node，退出節(jié)點(diǎn)
nifi offload-node，有集群中離線節(jié)點(diǎn)
nifi delete-node，由集群中刪除節(jié)點(diǎn)
#進(jìn)入容器shell laofeng@192 nifi-1.12.1 % docker exec -it c4c02b6415eb /bin/bash nifi@c4c02b6415eb:/opt/nifi/nifi-current$ cd /opt/nifi/nifi-toolkit-1.12.1 nifi@c4c02b6415eb:/opt/nifi/nifi-toolkit-1.12.1$ bin/cli.sh _ ___ _ Apache (_) .' ..](_) , _ .--. __ _| |_ __ )\ [ `.-. | [ |'-| |-'[ | / \ | | | | | | | | | | ' ' [___||__][___][___] [___]', ,' `' CLI v1.12.1 Type 'help' to see a list of available commands, use tab to auto-complete. Session loaded from /home/nifi/.nifi-cli.config #集群概況 #> nifi cluster-summary Total node count: 3 Connected node count: 3 Clustered: true Connected to cluster: true # 獲取節(jié)點(diǎn)列表 #> nifi get-nodes # Node ID Node Address API Port Node Status - ------------------------------------ ------------ -------- ----------- 0 8dc6c433-68bc-4839-b49b-a8d7710b7b34 c4c02b6415eb 8080 CONNECTED 1 a30e4804-7136-4f68-a66b-f5f3b764d7f5 6b0974257ea3 8080 CONNECTED 2 184fa9f3-0595-4ab7-b07c-ddfd0b011956 058e826876e0 8080 CONNECTED # 返回一個(gè)節(jié)點(diǎn)的狀態(tài)，與節(jié)點(diǎn)列表命令相比并沒有額外的信息 #> nifi get-node --nifiNodeId 8dc6c433-68bc-4839-b49b-a8d7710b7b34 Node ID: 8dc6c433-68bc-4839-b49b-a8d7710b7b34 Node Address: c4c02b6415eb API Port: 8080 Node Status:CONNECTED~
使用docker-compose stop命令可以停止構(gòu)成nifi的集群容器運(yùn)行，但是容器會(huì)保留且處于不活躍的狀態(tài)，之后可以隨時(shí)使用docker-compose start命令將集群恢復(fù)運(yùn)行。
必須在docker-compose.yml文件路徑下，執(zhí)行命令。
停止
laofeng@192 nifi-1.12.1 % docker-compose stop Stopping nifi-1121_nifi_2 ... done Stopping zookeeper ... done Stopping nifi-1121_nifi_3 ... done Stopping nifi-1121_nifi_1 ... done
查看容器
# 使用 docker ps，已經(jīng)沒有活躍容器 laofeng@192 nifi-1.12.1 % docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES # 查看所有容器，包括停止的容器，發(fā)現(xiàn)nifi集群的四個(gè)容器還在。 laofeng@192 nifi-1.12.1 % docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b0974257ea3 apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Exited (137) 5 minutes ago nifi-1121_nifi_2 19a9fbc4ec11 bitnami/zookeeper:latest "/opt/bitnami/script…" About an hour ago Exited (143) 5 minutes ago zookeeper 058e826876e0 apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Exited (137) 5 minutes ago nifi-1121_nifi_3 c4c02b6415eb apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Exited (137) 5 minutes ago nifi-1121_nifi_1
恢復(fù)NiFi級(jí)群
# 執(zhí)行docker-compose start，因?yàn)椴恍枰獎(jiǎng)?chuàng)建容器和虛擬網(wǎng)絡(luò)，啟動(dòng)速度比較快 laofeng@192 nifi-1.12.1 % docker-compose start Starting zookeeper ... done Starting nifi ... done laofeng@192 nifi-1.12.1 % docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b0974257ea3 apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Up 12 seconds 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32771->8080/tcp nifi-1121_nifi_2 19a9fbc4ec11 bitnami/zookeeper:latest "/opt/bitnami/script…" About an hour ago Up 12 seconds 2181/tcp, 2888/tcp, 3888/tcp, 8080/tcp zookeeper 058e826876e0 apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Up 10 seconds 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32772->8080/tcp nifi-1121_nifi_3 c4c02b6415eb apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Up 9 seconds 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32773->8080/tcp nifi-1121_nifi_1
停止nifi集群的運(yùn)行并刪除容器，刪除虛擬網(wǎng)絡(luò)。
laofeng@192 nifi-1.12.1 % docker-compose down Stopping nifi-1121_nifi_2 ... done Stopping zookeeper ... done Stopping nifi-1121_nifi_3 ... done Stopping nifi-1121_nifi_1 ... done Removing nifi-1121_nifi_2 ... done Removing zookeeper ... done Removing nifi-1121_nifi_3 ... done Removing nifi-1121_nifi_1 ... done Removing network nifi-1121_default
關(guān)于“如何部署Apache NiFi Poc環(huán)境”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼