Kudu1.7有什么新功能

本篇內(nèi)容介紹了“Kudu1.7有什么新功能”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

1.Kudu1.7的新功能

1.Kudu現(xiàn)在開(kāi)始支持decimal的字段類型。

2.因?yàn)?a title="服務(wù)器" target="_blank" href="http://kemok4.com/">服務(wù)器或者磁盤故障導(dǎo)致tablets丟失副本，改進(jìn)Kudu用于自動(dòng)修復(fù)的策略。新的副本重新復(fù)制的策略是首先添加一個(gè)替換的tablet副本，然后再移除失敗的副本。而之前是先移除失敗的副本，然后再添加替換的tablet副本。在一個(gè)tablet server發(fā)生故障并在5分鐘以內(nèi)又快速返回的情況下，新的副本管理方案允許tablets的快速恢復(fù)。新方案還在頻繁發(fā)生服務(wù)器故障的集群上提供了更好的整體穩(wěn)定性。

3.kudu fs update_dirs工具現(xiàn)在支持刪除目錄。除非指定了--force參數(shù)，Kudu不允許刪除配置存儲(chǔ)tablet數(shù)據(jù)的目錄。如果指定了--force參數(shù)，則配置為使用該目錄的所有tablet副本在啟動(dòng)時(shí)將失敗，并在其他地方開(kāi)始復(fù)制，前提是其他地方有多數(shù)的副本。

4.用戶可以使用新的--fs_metadata_dir命令指定放置特定于tablet元數(shù)據(jù)的目錄。建議將其放置在高性能低延遲的設(shè)備上，比如SSD。如果未指定，則元數(shù)據(jù)將會(huì)放在--fs_wal_dir指定的目錄中，或者放在--fs_data_dirs的第一個(gè)條目指定的目錄中（如果早期部署中已存在元數(shù)據(jù)）。Kudu不會(huì)根據(jù)此配置自動(dòng)移動(dòng)現(xiàn)有元數(shù)據(jù)。

5.READ_YOUR_WRITES是一種新的掃描讀取模式。 在C++，Java和Python客戶端中創(chuàng)建一個(gè)新的scanner時(shí)，你可以指定READ_YOUR_WRITES。如果使用這種模式，客戶端在執(zhí)行讀取操作時(shí)，會(huì)知道此客戶端先前所有寫入和讀取。在此模式下讀取，可確保會(huì)話基于 "read-your-writes"和"read-your-reads"，同時(shí)最大限度地減少因等待未完成的寫入事務(wù)而導(dǎo)致的延遲。不過(guò)這還是一個(gè)實(shí)驗(yàn)性功能，需要等待后續(xù)版本的完善和穩(wěn)定。

6.tablet server的web UI的“掃描儀表盤”（/scans）增加了如下新功能：

• 顯示最近完成的掃描。

• Pseudo-SQL scan descriptor，簡(jiǎn)明地顯示所選字段和應(yīng)用的謂詞。

• 更完整，更好的文檔掃描統(tǒng)計(jì)信息。

7.Kudu daemons現(xiàn)在開(kāi)放了一個(gè)網(wǎng)頁(yè)，可以dump出每個(gè)服務(wù)器中運(yùn)行的每個(gè)線程的當(dāng)前stack trace信息。當(dāng)診斷性能問(wèn)題時(shí)，此信息可能會(huì)有幫助。

2.Kudu1.7的優(yōu)化和提升

2.默認(rèn)情況下，每個(gè)tablet副本現(xiàn)在跨三個(gè)數(shù)據(jù)目錄而不是所有數(shù)據(jù)目錄對(duì)數(shù)據(jù)塊進(jìn)行條帶化。 這降低了單個(gè)磁盤發(fā)生故障時(shí)對(duì)tablet造成的影響。性能測(cè)試表明該功能不會(huì)對(duì)性能產(chǎn)生影響。該功能適用于升級(jí)到Kudu1.7后創(chuàng)建的新副本。

2.Kudu服務(wù)器之前提供了啟用單獨(dú)的指標(biāo)日志的功能，該日志存儲(chǔ)服務(wù)器上可用的所有指標(biāo)的定期快照。此功能現(xiàn)在可以作為“診斷日志”的一部分，該功能默認(rèn)啟用。診斷日志包括定期dump出來(lái)的服務(wù)器指標(biāo)和線程堆棧的集合。默認(rèn)情況下，該診斷日志不會(huì)超過(guò)640MB，因?yàn)槭褂脡嚎s，實(shí)際會(huì)更小。

3.改進(jìn)了同步Java客戶端中的錯(cuò)誤處理，以便在拋出異常時(shí)，堆棧跟蹤指示調(diào)用客戶端函數(shù)的正確位置，而不是內(nèi)部工作線程的調(diào)用堆棧。來(lái)自工作線程的原始調(diào)用堆?？捎米饕种飘惓?suppressed exception)。

4.現(xiàn)在，Java客戶端與Kudu服務(wù)器在建立加密連接時(shí)，使用預(yù)定義的TLS密碼優(yōu)先級(jí)列表。此密碼列表與服務(wù)器到服務(wù)器通信首選的密碼列表相匹配，并確保最有效和最安全的密碼也是首選的。 當(dāng)Kudu客戶端在Java 8或更高版本上運(yùn)行時(shí)，可以顯著提高讀寫性能。

5.更新了kudu cluster ksck工具的報(bào)告，正在進(jìn)行的tablet拷貝的tablets和表會(huì)顯示為正在恢復(fù)。這項(xiàng)報(bào)告更新可以使更多的常用場(chǎng)景尤其是tablet拷貝有更少的告警。

6.改進(jìn)了插入包含許多字符串或二進(jìn)制字段的行的性能，尤其是在高并發(fā)寫入工作負(fù)載的情況下。

7.默認(rèn)情況下，掃描Kudu的Spark任務(wù)現(xiàn)在可以掃描非leader的副本。這使Spark更容易調(diào)度kudu-spark任務(wù)，并保證數(shù)據(jù)的本地性。你可以通過(guò)將leader_only傳給kudu.scanLocality選項(xiàng)來(lái)禁用此功能。

8.在穩(wěn)定狀態(tài)和突發(fā)活動(dòng)期間使用的OS線程數(shù)量，例如由節(jié)點(diǎn)故障觸發(fā)的Raft領(lǐng)導(dǎo)者選舉，已大幅減少，不應(yīng)再超過(guò)ulimit -u的值。在大多數(shù)情況下，運(yùn)行Kudu tablet的服務(wù)器不再需要增加ulimit -u或/proc/sys/kernel/threads-max的值。

9.已修復(fù)了稀疏列謂詞可能導(dǎo)致過(guò)多數(shù)據(jù)塊讀取的問(wèn)題。以前在這類掃描中，在多列上使用稀疏匹配的謂詞，Kudu會(huì)多次讀取和解碼相同的數(shù)據(jù)塊。這個(gè)修復(fù)可以將此類掃描的性能提升5-10倍。

10.提升了更新較大的值的性能，比如更新大于1KB的值的工作負(fù)載。

3.Wire Protocol兼容性

Kudu 1.7.0 / CDH 5.15.0與之前的Kudu版本的wire-compatible

1.Kudu1.7客戶端可以連接到運(yùn)行Kudu1.0或更高版本的服務(wù)器。如果客戶端使用的功能在目標(biāo)服務(wù)器上沒(méi)有，則會(huì)返回報(bào)錯(cuò)。

2.滾動(dòng)升級(jí)到Kudu1.7尚未得到充分的測(cè)試。我們不推薦對(duì)Kudu使用滾動(dòng)升級(jí)。你可以關(guān)閉集群中的所有節(jié)點(diǎn)，然后升級(jí)Kudu，然后再重啟。

3.除了下面提到的有關(guān)安全集群的限制之外，Kudu1.0客戶端可以連接到運(yùn)行Kudu 1.7的服務(wù)器。

Kudu1.3中引入的身份驗(yàn)證功能對(duì)Kudu1.7和1.3之前的版本之間的wire compatibility具有以下限制：

1.如果Kudu1.7集群配置了身份驗(yàn)證或加密設(shè)置為required，則早于Kudu1.3的客戶端無(wú)法連接。

2.如果Kudu1.7集群配置了身份驗(yàn)證并且加密設(shè)置為可選或禁用，則舊客戶端仍然可以連接。

4.客戶端庫(kù)兼容性

1.Kudu1.7的Java客戶端庫(kù)與Kudu1.6保持API與ABI兼容。針對(duì)Kudu1.6編寫的應(yīng)用程序可以在Kudu1.7客戶端庫(kù)進(jìn)行編譯和運(yùn)行，反之亦然。

2.Kudu1.7 C++客戶端與Kudu1.6的API和ABI向前兼容。針對(duì)Kudu1.6客戶端庫(kù)編寫和編譯的應(yīng)用程序無(wú)需修改Kudu1.7客戶端庫(kù)即可運(yùn)行。針對(duì)Kudu1.7客戶端庫(kù)編寫和編譯的應(yīng)用程序無(wú)需修改Kudu1.6客戶端庫(kù)即可運(yùn)行。

3.Kudu1.7 Python客戶端與Kudu1.6保持API兼容。針對(duì)Kudu1.6編寫的應(yīng)用程序可以繼續(xù)在Kudu1.7客戶端運(yùn)行，反之亦然。

4.在Kudu1.6的服務(wù)器上，使用Kudu1.7客戶端創(chuàng)建帶有decimal類型字段的表時(shí)會(huì)報(bào)錯(cuò)。同樣，使用Kudu1.6客戶端創(chuàng)建帶有decimal類型字段的表時(shí)會(huì)報(bào)錯(cuò)。

5.Kudu1.7/CDH5.15不兼容性改動(dòng)

1.新引入的副本管理方案與舊方案不兼容，因此無(wú)法將Kudu1.7之前的的Master Server與Kudu1.7的Tablet Server一起運(yùn)行，反之亦然。這是服務(wù)端的不兼容，并不會(huì)影響客戶端的兼容性。舊版本的Kudu客戶端可以運(yùn)行在新的Kudu服務(wù)端上。

2.先前可選的指標(biāo)日志在每行增加了可供人閱讀的時(shí)間戳。日志文件的路徑也發(fā)生了變化，“diagnostics”替換了文件名中的“metrics”。優(yōu)化了指標(biāo)日志僅包含連續(xù)樣本之間發(fā)生變化的那些指標(biāo)，并不包含實(shí)體屬性比如tablet分區(qū)信息。

“Kudu1.7有什么新功能”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！