Python的字符編碼匯總

這篇文章運(yùn)用簡(jiǎn)單易懂的例子給大家介紹Python的字符編碼匯總，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

一、常見(jiàn)編碼

ASCII：ASCII碼即美國(guó)標(biāo)準(zhǔn)信息交換碼(American Standard Code for Information Interchange)。由于計(jì)算機(jī)內(nèi)部所有信息最終都是一個(gè)二進(jìn)制值，而每一個(gè)二進(jìn)制位（bit）有0和1兩種狀態(tài)，因此八個(gè)二進(jìn)制位就可以組合出256種狀態(tài)，這被稱為一個(gè)字節(jié)（byte）。標(biāo)準(zhǔn)ASCII 碼一共規(guī)定了128個(gè)字符的編碼，這是因?yàn)橹皇褂昧撕竺嫫呶唬钋懊娴囊晃唤y(tǒng)一規(guī)定為0。之后IBM制定了128個(gè)擴(kuò)充字符，這些字符并非標(biāo)準(zhǔn)的ASCII碼，而是用來(lái)表示框線、音標(biāo)和其它歐洲非英語(yǔ)系的字母。

英語(yǔ)用128個(gè)符號(hào)編碼就夠了，但是用來(lái)表示其他語(yǔ)言，128個(gè)符號(hào)是不夠的，而且不同的國(guó)家使用不同的字母，有的國(guó)家使用的字符也遠(yuǎn)遠(yuǎn)超過(guò)256個(gè)，顯然ASCII已經(jīng)無(wú)法解決問(wèn)題了。那么有沒(méi)有一種統(tǒng)一且唯一的編碼方式呢？答案就是Unicode。

Unicode：Unicode是計(jì)算機(jī)科學(xué)領(lǐng)域里的一項(xiàng)業(yè)界標(biāo)準(zhǔn)，Unicode 是為了解決傳統(tǒng)的字符編碼方案的局限而產(chǎn)生的，它為每種語(yǔ)言中的每個(gè)字符設(shè)定了統(tǒng)一并且唯一的二進(jìn)制編碼，以滿足跨語(yǔ)言、跨平臺(tái)進(jìn)行文本轉(zhuǎn)換、處理的要求。

但是Unicode也是有問(wèn)題的，比如“中”字的Unicode編碼是十六進(jìn)制的4E2D，即二進(jìn)制的100111000101101占15位，也就是說(shuō)表示這個(gè)符號(hào)至少需要兩個(gè)字節(jié)，那么怎么知道這兩個(gè)字節(jié)是表示一個(gè)字符而不是分別表示兩個(gè)字符呢？也就是如何區(qū)分Unicode和ASCII？

UTF-8：UTF是“Unicode Transformation Format”的縮寫，可以翻譯成Unicode字符集轉(zhuǎn)換格式。UTF-8 就是在互聯(lián)網(wǎng)上使用最廣的一種Unicode的實(shí)現(xiàn)方式，其他實(shí)現(xiàn)方式還包括UTF-16（字符用兩個(gè)字節(jié)或四個(gè)字節(jié)表示）和UTF-32（字符用四個(gè)字節(jié)表示）。UTF-8最大的一個(gè)特點(diǎn)，就是它是一種變長(zhǎng)的編碼方式。它可以使用1~6個(gè)字節(jié)表示一個(gè)符號(hào)，根據(jù)不同的符號(hào)而變化字節(jié)長(zhǎng)度。對(duì)于某一個(gè)字符的UTF-8編碼，如果只有一個(gè)字節(jié)則其最高二進(jìn)制位為0；如果是多字節(jié)，其第一個(gè)字節(jié)從最高位開(kāi)始，連續(xù)的二進(jìn)制位值為1的個(gè)數(shù)決定了其編碼的位數(shù)，其余各字節(jié)均以10開(kāi)頭。

字節(jié)數(shù)   |  UTF-8編碼（二進(jìn)制）

　1       |    0xxxxxxx 

　2       |    110xxxxx 10xxxxxx

   3       |    1110xxxx 10xxxxxx 10xxxxxx 

   4       |    11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 

   5       |    111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 

   6       |    1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

很明顯對(duì)于“中”字使用UTF-8編碼需要使用三個(gè)字節(jié)，因此從“中”字的最后一個(gè)二進(jìn)制位開(kāi)始，依次從后向前填入格式中的x，多出的位補(bǔ)0。這樣就得到了“中”字的UTF-8編碼，結(jié)果為：11100100 10111000 10101101，即十六進(jìn)制的E4B8AD。

二、Python3編碼

Python中的編碼問(wèn)題困擾了我挺久的，尤其是Python2和Python3中還有區(qū)別，不過(guò)這里我只討論P(yáng)ython3中的編碼問(wèn)題。

Python3最重要的新特性大概要算是對(duì)文本和二進(jìn)制數(shù)據(jù)作了更為清晰的區(qū)分，文本總是Unicode，由str類型表示，二進(jìn)制數(shù)據(jù)則由bytes類型表示，而兩者之間的轉(zhuǎn)換由編碼（encode）和解碼（decode）實(shí)現(xiàn)。這里可以看一下Python的官方文檔：

str.encode(encoding="utf-8", errors="strict")
　　Return an encoded version of the string as a bytes object. Default encoding is 'utf-8'. errors may be given to 
　　set a different error handling scheme. The default for errors is 'strict', meaning that encoding errors raise 
　　a UnicodeError. Other possible values are 'ignore', 'replace', 'xmlcharrefreplace', 'backslashreplace' and any 
　　other name registered via  codecs.register_error(), see section Error Handlers. For a list of possible encodings, 
　　see section Stardard Encodings.
 
bytes.decode(encoding="utf-8", errors="strict")
　　Return a string decoded from the given bytes. Default encoding is 'utf-8'. errors may be given to set a different 
　　error handling scheme. The default for errors is 'strict', meaning that encoding errors raise a UnicodeError. 
　　Other possible values are 'ignore', 'replace' and any other name registered via codecs.register_error(), see 
　　section Error Handlers. For a list of possible encodings, see section Stardard Encodings.

可以看到str是沒(méi)有decode方法的，因?yàn)楸旧砭褪荱nicode編碼的，而bytes是沒(méi)有encode方法的，而且無(wú)論是encode還是decode默認(rèn)都是使用UTF-8編碼的，當(dāng)然我們還可以使用其他方式進(jìn)行編碼和解碼，比如：

s = "博客園"
print(s.encode())
print(s.encode("utf-16"))
print(s.encode("gbk"))
# b'\xe5\x8d\x9a\xe5\xae\xa2\xe5\x9b\xad'
# b'\xff\xfeZS\xa2[\xedV'
# b'\xb2\xa9\xbf\xcd\xd4\xb0'

那么對(duì)于某個(gè)數(shù)據(jù)來(lái)說(shuō)，如果我們不知道它的編碼格式，要怎么辦呢？在Python3中可以使用chardet模塊里的detect方法查看：

import chardet
print(chardet.detect(b'\xe5\x8d\x9a\xe5\xae\xa2\xe5\x9b\xad'))
print(chardet.detect(b'\xff\xfeZS\xa2[\xedV'))
{'encoding': 'utf-8', 'confidence': 0.87625, 'language': ''}
{'encoding': 'UTF-16', 'confidence': 1.0, 'language': ''}

detect方法會(huì)返回一個(gè)字典，包含編碼方式、檢測(cè)得到的概率和語(yǔ)言信息。可見(jiàn)，用chardet檢測(cè)編碼，使用簡(jiǎn)單，獲取到編碼后，再轉(zhuǎn)換為str，就可以方便后續(xù)處理。

三、文本編碼

首先新建一個(gè)文本文檔“test.txt”，內(nèi)容為：“博客園Blogs”，然后選擇“另存為”，可以看到默認(rèn)使用的是ANSI編碼：

那么這個(gè)ANSI編碼是什么呢？不同的國(guó)家和地區(qū)制定了不同的標(biāo)準(zhǔn)，由此產(chǎn)生了GB2312、GBK、Big5、Shift_JIS等各自的編碼標(biāo)準(zhǔn)。這些使用1至4個(gè)字節(jié)來(lái)代表一個(gè)字符的各種漢字延伸編碼方式，稱為ANSI編碼。而在簡(jiǎn)體中文Windows操作系統(tǒng)中，ANSI編碼就代表GBK編碼。那么假如我們使用了默認(rèn)的ANSI編碼即GBK編碼，在讀取文本的時(shí)候會(huì)出現(xiàn)什么情況呢？

with open("test.txt", 'r') as f:
    print(f.read())
# 博客園Blogs
with open("test.txt", 'r', encoding="gbk") as f:
    print(f.read())
# 博客園Blogs
with open("test.txt", 'r', encoding="utf-8") as f:
    print(f.read())
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb2 in position 0: invalid start byte

可以看到使用UTF-8編碼打開(kāi)的時(shí)候報(bào)錯(cuò)了，原因是有無(wú)法解碼的字符。那么如果我們保存的時(shí)候使用UTF-8編碼呢？

with open("test.txt", 'r') as f:
    print(f.read())
# 锘垮崥瀹㈠洯Blogs
with open("test.txt", 'r', encoding="gbk") as f:
    print(f.read())
# 锘垮崥瀹㈠洯Blogs
with open("test.txt", 'r', encoding="utf-8") as f:
    print(f.read())
# 博客園Blogs

很明顯看到在使用GBK編碼時(shí)出現(xiàn)亂碼了，原因就是編碼和解碼的方式不一致，導(dǎo)致最終出現(xiàn)了亂碼的情況。

四、URL編碼

URL即全球統(tǒng)一資源定位符（Uniform Resource Locator），一般來(lái)說(shuō)，URL只能使用英文字母、阿拉伯?dāng)?shù)字和某些標(biāo)點(diǎn)符號(hào)，不能使用其他文字和符號(hào)，這是因?yàn)榫W(wǎng)絡(luò)標(biāo)準(zhǔn)RFC1738做出了規(guī)定。這意味著，如果URL中有漢字，就必須編碼后使用。但是麻煩的是，RFC1738沒(méi)有規(guī)定具體的編碼方法，而是交給應(yīng)用程序（瀏覽器）自己決定。

這里我們可以任意打開(kāi)一個(gè)網(wǎng)頁(yè)，比如關(guān)于編碼的百度百科，可以看到瀏覽器顯示的鏈接沒(méi)有什么問(wèn)題：

復(fù)制一下，然后粘貼出來(lái)看一下：https://baike.baidu.com/item/%E7%BC%96%E7%A0%81/80092，可以看到“編碼”兩個(gè)字被瀏覽器自動(dòng)編碼成了“%E7%BC%96%E7%A0%81”。這里我們需要知道的是“編”的UTF-8編碼為：E7BC96，“碼”的UTF-8編碼為：E7A081，因此“%E7%BC%96%E7%A0%81”就是在每個(gè)字節(jié)前面加上一個(gè)“%”得到的，也就是說(shuō)URL路徑使用的是UTF-8編碼。

關(guān)于Python的字符編碼匯總就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。