Fayson使用impala-shell命令導(dǎo)出數(shù)據(jù)存在中文異常問題怎么解決

本篇內(nèi)容主要講解“Fayson使用impala-shell命令導(dǎo)出數(shù)據(jù)存在中文異常問題怎么解決”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Fayson使用impala-shell命令導(dǎo)出數(shù)據(jù)存在中文異常問題怎么解決”吧!

Fayson在使用impala-shell -i hosts -d default -f test.sql -o test.txt, 導(dǎo)出結(jié)果數(shù)據(jù)時，發(fā)現(xiàn)執(zhí)行SQL 報錯，提示錯誤信息如下Unknown Exception : 'ascii' codec can't encode characters in position 61-62: ordinal not in range(128)，看到這個異常，想必熟悉python的朋友知道這是python中文亂碼的問題，F(xiàn)ayson下面會詳細(xì)描述該問題和解決辦法

• 測試環(huán)境：

1.RedHat7.4

2.CDH5.16.1

首先我們使用impala-shell 創(chuàng)建一張表并插入一條數(shù)據(jù)包含中文字符，然后進(jìn)行查看

[hadoop2.macro.com:21000] > create table testimpala_shell (s1 string,s2 string);
[hadoop2.macro.com:21000] > insert into testimpala_shell values ("hello","你好");
[hadoop2.macro.com:21000] > select * from testimpala_shell;

然后執(zhí)行下列命令，并查看日志，發(fā)現(xiàn)異常如下：

impala-shell -i hadoop2.macro.com -d default -f test.sql -o test1.log
或者
impala-shell -i hadoop2.macro.com -d default -f test.sql > test.log 2>&1
或者
impala-shell -i hadoop2.macro.com -d default -q “select * from testimpala_shell” -o test1.log

同樣的語句在沒有中文字符的情況下可以正常執(zhí)行和導(dǎo)出結(jié)果數(shù)據(jù)

由于查詢在impala-shell 中沒有問題，在導(dǎo)出數(shù)據(jù)的時候才有問題，這是impala-shell的客戶端是由python編寫的，而Python無法自動將unicode對象寫入沒有設(shè)置默認(rèn)編碼的輸出流，所以導(dǎo)致該異常。對于該問題，修改impala-shell默認(rèn)編碼為utf-8即可解決該問題

vim /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py
#添加如下代碼：
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

然后重新執(zhí)行，發(fā)現(xiàn)已經(jīng)可以正常執(zhí)行

到此，相信大家對“Fayson使用impala-shell命令導(dǎo)出數(shù)據(jù)存在中文異常問題怎么解決”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！