kafka kerberos 認(rèn)證訪問與非認(rèn)證訪問共存下的ACL問題

在一個正在運(yùn)行的kafka集群中添加kerberos認(rèn)證和ACL權(quán)限控制，同時保證以前所有的producer\consumer服務(wù)不中斷

解決方式： 使kafka集群監(jiān)聽兩個端口，一個為無認(rèn)證連接，另一個為kerberos的認(rèn)證連接

這時候在配置ACL的時候出了問題：

假如我以kerberos認(rèn)證的方式連接kafka集群，那么我的用戶名是principal的primary部分。例如principal是  kafka/master@HZ.DATA.COM ,那么我的用戶名就是kafka。 這時候我只要給kafka這個用戶配置相應(yīng)的權(quán)限就可以了。

但是當(dāng)我以非認(rèn)證的方式連接kafka集群的時候，我會得到以下的錯誤：

[WARN ]16:06:55,440, [Class]NetworkClient, Error while fetching metadata with correlation id 1 : {test=UNKNOWN_TOPIC_OR_PARTITION}
org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [test]

或者在console-producer中的錯誤如下：

[2017-08-22 15:17:27,576] WARN Error while fetching metadata with correlation id 2 : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)
[2017-08-22 15:17:27,685] WARN Error while fetching metadata with correlation id 4 : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)
[2017-08-22 15:17:27,787] WARN Error while fetching metadata with correlation id 6 : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)
[2017-08-22 15:17:27,890] WARN Error while fetching metadata with correlation id 7 : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)
[2017-08-22 15:17:27,993] WARN Error while fetching metadata with correlation id 8 : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)

原因： 一旦為kerberos的用戶針對某個資源（比如topic）配置ACL之后，那么對于非認(rèn)證方式訪問的時候因為沒有權(quán)限所以訪問不到對應(yīng)的數(shù)據(jù)。

解決方法： 將kafka集群的日志設(shè)為debug級別后重啟，可以看到非認(rèn)證方式訪問kafka集群時的用戶為ANONYMOUS

                  1、給 ANONYMOUS配置相應(yīng)的權(quán)限即可

                  2、每一個topic都要為 ANONYMOUS設(shè)置權(quán)限畢竟不方便， 可以將ANONYMOUS設(shè)為super.users