有關(guān)Apache NiFi的5大常見問題分別是什么

今天給大家介紹一下有關(guān)Apache NiFi的5大常見問題分別是什么。文章的內(nèi)容小編覺得不錯(cuò)，現(xiàn)在給大家分享一下，覺得有需要的朋友可以了解一下，希望對大家有所幫助，下面跟著小編的思路一起來閱讀吧。

MiNiFi是用于從遠(yuǎn)程位置的傳感器和設(shè)備上收集數(shù)據(jù)子集的代理。目的是幫助進(jìn)行數(shù)據(jù)的“第一英里收集”，并獲取盡可能接近其來源的數(shù)據(jù)。 

這些設(shè)備可以是服務(wù)器、工作站和便攜式計(jì)算機(jī)，也可以是傳感器、自動駕駛汽車、工廠中的機(jī)器等，您希望在其中使用MiNiFi中的某些NiFi功能來收集特定數(shù)據(jù)。在將數(shù)據(jù)發(fā)送到目的地之前，可以對其進(jìn)行過濾、選擇和分類。MiNiFi的目標(biāo)是使用Edge Flow Manager大規(guī)模管理整個(gè)流程，以便運(yùn)營或IT團(tuán)隊(duì)可以部署不同的流程定義并根據(jù)業(yè)務(wù)需要收集任何數(shù)據(jù)。以下是一些需要考慮的細(xì)節(jié)：

• NiFi被設(shè)計(jì)為通常位于數(shù)據(jù)中心或云中的中央位置，以在已知的外部系統(tǒng)（如數(shù)據(jù)庫、對象存儲等）中移動數(shù)據(jù)或從中收集數(shù)據(jù)。NiFi應(yīng)該被視為將數(shù)據(jù)移回的網(wǎng)關(guān)在異構(gòu)環(huán)境或混合云體系結(jié)構(gòu)中來回切換。

• MiNiFi在主機(jī)上本地運(yùn)行，進(jìn)行一些計(jì)算和邏輯運(yùn)算，并且僅將您關(guān)心的數(shù)據(jù)發(fā)送到外部系統(tǒng)以進(jìn)行數(shù)據(jù)分發(fā)。這樣的系統(tǒng)當(dāng)然可以是NiFi，但也可以是MQTT代理、云提供商服務(wù)等。MiNiFi還支持一些用例，在這些用例中，網(wǎng)絡(luò)帶寬可能受到限制，需要減少通過網(wǎng)絡(luò)發(fā)送的數(shù)據(jù)量。  

• MiNiFi代理有兩個(gè)版本：C ++和Java。MiNiFi C ++選項(xiàng)的占用空間非常?。◣譓B的內(nèi)存，很少的CPU），但是可用的處理器卻更少。MiNiFi Java選項(xiàng)是輕量級的NiFi單節(jié)點(diǎn)實(shí)例，是NiFi的無頭版本，他沒有用戶界面也沒有集群功能。盡管如此，它仍要求Java在主機(jī)上可用。

這是一個(gè)很好的問題，許多參加我的Live NiFi Demo Jam的人都問了這個(gè)問題。您可以通過以下方式確定何時(shí)使用NiFi和何時(shí)使用Kafka。 

• Kafka設(shè)計(jì)用于主要針對較小文件的面向流的用例，然而攝取大文件不是一個(gè)好主意。NiFi完全與數(shù)據(jù)大小無關(guān)，因?yàn)槲募笮∨cNiFi無關(guān)。

• Kafka就像一個(gè)將數(shù)據(jù)存儲在Kafka主題中的郵箱，等待應(yīng)用程序發(fā)布和/或使用它。NiFi就像郵遞員一樣，將數(shù)據(jù)傳遞到郵箱或其他目的地。

• NiFi提供了廣泛的協(xié)議（MQTT、Kafka協(xié)議、HTTP、Syslog、JDBC、TCP / UDP等）可以在數(shù)據(jù)導(dǎo)入時(shí)進(jìn)行交互。NiFi是一款出色、一致且獨(dú)特的軟件，可以管理您的所有數(shù)據(jù)提取。您可能要考慮將數(shù)據(jù)發(fā)送到Kafka，以用于多個(gè)下游應(yīng)用程序。但是，NiFi應(yīng)該成為獲取數(shù)據(jù)的網(wǎng)關(guān)，因?yàn)樗С侄喾N協(xié)議，并且可以在相同的簡單拖放界面中滿足數(shù)據(jù)需求，從而使ROI很高。  

• 使用NiFi將數(shù)據(jù)安全地移動到多個(gè)位置，尤其是采用多云策略時(shí)。

• Kafka Connect可以回答一些問題，但是當(dāng)您在移動數(shù)據(jù)時(shí)需要復(fù)雜的過濾、路由、擴(kuò)充和轉(zhuǎn)換時(shí)，這不是通用的解決方案。

• NiFi還基于可擴(kuò)展框架構(gòu)建，該框架為用戶提供了簡便的方法來擴(kuò)展NiFi的功能并快速構(gòu)建非常自定義的數(shù)據(jù)移動流。

我們的客戶使用NiFi公開REST API，供外部來源將數(shù)據(jù)發(fā)送到目的地。最常見的協(xié)議是HTTP。

• 如果您的目標(biāo)是獲取數(shù)據(jù)，則可以在NIFi中使用ListenHTTP處理器，讓它偵聽HTTP請求的給定端口，然后可以向其發(fā)送任何數(shù)據(jù)。

• 如果要使用NiFi提供Web服務(wù)，請查看HandleHTTPRequest和HandleHTTPResponse處理器。通過使用兩個(gè)處理器的組合，您將通過HTTP接收來自外部客戶端的請求。您將能夠?qū)φ埱笾械臄?shù)據(jù)進(jìn)行處理，并將自定義答案/結(jié)果發(fā)送回客戶端。例如，您可以使用NiFi通過HTTP訪問外部系統(tǒng)，例如FTP服務(wù)器。您將使用兩個(gè)處理器并通過HTTP發(fā)出請求。當(dāng)您在NIFi中收到查詢時(shí)，NiFi會針對FTP服務(wù)器進(jìn)行查詢以獲取文件，然后將文件發(fā)送回客戶端。

• 使用NiFi，所有這些獨(dú)特的請求都可以很好地?cái)U(kuò)展。在這種用例中，NiFi將根據(jù)需求進(jìn)行水平擴(kuò)展，并在NiFi實(shí)例的前面設(shè)置負(fù)載均衡器，以平衡集群中NiFi節(jié)點(diǎn)之間的負(fù)載。 

NiFi提供了非常細(xì)粒度的多租戶和策略模型。設(shè)置正確的策略以在多租戶環(huán)境中提供NiFi很容易。您可以輕松地在NiFi中使用不同的策略集定義多個(gè)流程組，因此您有一個(gè)專用于處理用例1的團(tuán)隊(duì)A的流程組，以及一個(gè)專用于用例2的團(tuán)隊(duì)B的流程組?？紤]：

• NiFi確保不同的團(tuán)隊(duì)不應(yīng)該訪問其他流程組。使用Apache Ranger或NiFi中的內(nèi)部策略可以輕松進(jìn)行設(shè)置。您可以讓多個(gè)團(tuán)隊(duì)在同一個(gè)NiFi環(huán)境中處理大量用例。  

• 在NiFi集群中，所有資源均由所有現(xiàn)有流共享，并且沒有資源隔離。例如，NiFi無法為用例＃1分配60％的資源，而為用例＃2分配40％的資源。對于關(guān)鍵用例，大多數(shù)客戶將擁有專用的NiFi群集，以確保滿足SLA。NiFi提供了監(jiān)視功能，以確保在群集內(nèi)正確使用資源并在群集過小時(shí)發(fā)出警報(bào)。   

• 在2021年，Cloudera將發(fā)布新解決方案，使客戶能夠在大小合適的專用NiFi群集中運(yùn)行NiFi流，并在自動縮放（上下）的k8上運(yùn)行。此選項(xiàng)可確保每個(gè)用例在一段時(shí)間內(nèi)使用所需的內(nèi)容，而不會影響其他用例。

對于某些用例，NiFi當(dāng)然可以代替ETL，也可以用于批處理。但是，應(yīng)該考慮用例所需的處理/轉(zhuǎn)換類型。在NiFi中，流文件是描述流過事件、對象和數(shù)據(jù)的方式。雖然您可以在NiFi中為每個(gè)Flow File執(zhí)行任何轉(zhuǎn)換，但您可能不想使用NiFi將Flow File基于公共列連接在一起或執(zhí)行某些類型的窗口聚合。在這種情況下，Cloudera建議使用其他解決方案。

那么有什么建議呢？

• 在流使用情況下，最好的選擇是使用NiFi中的記錄處理器將記錄發(fā)送到一個(gè)或多個(gè)Kafka主題。然后，基于我們對Eventador的收購，您可以讓Flink使用Continuous SQL對數(shù)據(jù)進(jìn)行所有想要的處理（加入流或執(zhí)行窗口操作）。  

• 在批處理用例中，您會將NiFi視為ELT而不是ETL（E =提取，T =轉(zhuǎn)換，L =加載）。NiFi會捕獲各種數(shù)據(jù)集，對每個(gè)數(shù)據(jù)集進(jìn)行所需的轉(zhuǎn)換（模式驗(yàn)證、格式轉(zhuǎn)換、數(shù)據(jù)清理等），然后將數(shù)據(jù)集發(fā)送到由Hive支持的數(shù)據(jù)倉庫中。將數(shù)據(jù)發(fā)送到那里后，NiFi可能會觸發(fā)Hive查詢以執(zhí)行聯(lián)合操作。

我希望這些答案有助于您確定如何使用NiFi以及它可以為您的業(yè)務(wù)需求帶來的好處的數(shù)據(jù)旅程。我們將通過問答環(huán)節(jié)主持更多現(xiàn)場演示，以涵蓋特定主題，例如監(jiān)控NiFi流量以及如何使用NiFi自動化流量部署。實(shí)際上，我們在NiFi上有很多問題值得他們參加！ 

以上就是有關(guān)Apache NiFi的5大常見問題分別是什么的全部內(nèi)容了，更多與有關(guān)Apache NiFi的5大常見問題分別是什么相關(guān)的內(nèi)容可以搜索億速云之前的文章或者瀏覽下面的文章進(jìn)行學(xué)習(xí)哈！相信小編會給大家增添更多知識,希望大家能夠支持一下億速云！