Python字符編碼是什么

本文小編為大家詳細介紹“Python字符編碼是什么”，內(nèi)容詳細，步驟清晰，細節(jié)處理妥當，希望這篇“Python字符編碼是什么”文章能幫助大家解決疑惑，下面跟著小編的思路慢慢深入，一起來學習新知識吧。

1. 字符編碼簡介

1.1. ASCII

ASCII(American Standard Code for Information Interchange)，是一種單字節(jié)的編碼。計算機世界里一開始只有英文，而單字節(jié)可以表示256個不同的字符，可以表示所有的英文字符和許多的控制符號。不過ASCII只用到了其中的一半（\x80以下），這也是MBCS得以實現(xiàn)的基礎。

1.2. MBCS

然而計算機世界里很快就有了其他語言，單字節(jié)的ASCII已無法滿足需求。后來每個語言就制定了一套自己的編碼，由于單字節(jié)能表示的字符太少，而且同時也需要與ASCII編碼保持兼容，所以這些編碼紛紛使用了多字節(jié)來表示字符，如GBxxx、BIGxxx等等，他們的規(guī)則是，如果第一個字節(jié)是\x80以下，則仍然表示ASCII字符；而如果是\x80以上，則跟下一個字節(jié)一起（共兩個字節(jié)）表示一個字符，然后跳過下一個字節(jié)，繼續(xù)往下判斷。

這里，IBM發(fā)明了一個叫Code Page的概念，將這些編碼都收入囊中并分配頁碼，GBK是第936頁，也就是CP936。所以，也可以使用CP936表示GBK。

MBCS(Multi-Byte Character Set)是這些編碼的統(tǒng)稱。目前為止大家都是用了雙字節(jié)，所以有時候也叫做DBCS(Double-Byte Character Set)。必須明確的是，MBCS并不是某一種特定的編碼，Windows里根據(jù)你設定的區(qū)域不同，MBCS指代不同的編碼，而Linux里無法使用MBCS作為編碼。在Windows中你看不到MBCS這幾個字符，因為微軟為了更加洋氣，使用了ANSI來嚇唬人，記事本的另存為對話框里編碼ANSI就是MBCS。同時，在簡體中文Windows默認的區(qū)域設定里，指代GBK。

1.3. Unicode

后來，有人開始覺得太多編碼導致世界變得過于復雜了，讓人腦袋疼，于是大家坐在一起拍腦袋想出來一個方法：所有語言的字符都用同一種字符集來表示，這就是Unicode。

最初的Unicode標準UCS-2使用兩個字節(jié)表示一個字符，所以你常?？梢月牭経nicode使用兩個字節(jié)表示一個字符的說法。但過了不久有人覺得256*256太少了，還是不夠用，于是出現(xiàn)了UCS-4標準，它使用4個字節(jié)表示一個字符，不過我們用的最多的仍然是UCS-2。

UCS(Unicode Character Set)還僅僅是字符對應碼位的一張表而已，比如"漢"這個字的碼位是6C49。字符具體如何傳輸和儲存則是由UTF(UCS Transformation Format)來負責。

一開始這事很簡單，直接使用UCS的碼位來保存，這就是UTF-16，比如，"漢"直接使用\x6C\x49保存(UTF-16-BE)，或是倒過來使用\x49\x6C保存(UTF-16-LE)。但用著用著美國人覺得自己吃了大虧，以前英文字母只需要一個字節(jié)就能保存了，現(xiàn)在大鍋飯一吃變成了兩個字節(jié)，空間消耗大了一倍……于是UTF-8橫空出世。

UTF-8是一種很別扭的編碼，具體表現(xiàn)在他是變長的，并且兼容ASCII，ASCII字符使用1字節(jié)表示。然而這里省了的必定是從別的地方摳出來的，你肯定也聽說過UTF-8里中文字符使用3個字節(jié)來保存吧？4個字節(jié)保存的字符更是在淚奔……（具體UCS-2是怎么變成UTF-8的請自行搜索）

另外值得一提的是BOM(Byte Order Mark)。我們在儲存文件時，文件使用的編碼并沒有保存，打開時則需要我們記住原先保存時使用的編碼并使用這個編碼打開，這樣一來就產(chǎn)生了許多麻煩。（你可能想說記事本打開文件時并沒有讓選編碼？不妨先打開記事本再使用文件 -> 打開看看）而UTF則引入了BOM來表示自身編碼，如果一開始讀入的幾個字節(jié)是其中之一，則代表接下來要讀取的文字使用的編碼是相應的編碼：

BOM_UTF8 '\xef\xbb\xbf'
BOM_UTF16_LE '\xff\xfe'
BOM_UTF16_BE '\xfe\xff'

并不是所有的編輯器都會寫入BOM，但即使沒有BOM，Unicode還是可以讀取的，只是像MBCS的編碼一樣，需要另行指定具體的編碼，否則解碼將會失敗。

你可能聽說過UTF-8不需要BOM，這種說法是不對的，只是絕大多數(shù)編輯器在沒有BOM時都是以UTF-8作為默認編碼讀取。即使是保存時默認使用ANSI(MBCS)的記事本，在讀取文件時也是先使用UTF-8測試編碼，如果可以成功解碼，則使用UTF-8解碼。記事本這個別扭的做法造成了一個BUG：如果你新建文本文件并輸入"姹塧"然后使用ANSI(MBCS)保存，再打開就會變成"漢a"，你不妨試試 ：）

2. Python2.x中的編碼問題

2.1. str和unicode

str和unicode都是basestring的子類。嚴格意義上說，str其實是字節(jié)串，它是unicode經(jīng)過編碼后的字節(jié)組成的序列。對UTF-8編碼的str'漢'使用len()函數(shù)時，結果是3，因為實際上，UTF-8編碼的'漢' == '\xE6\xB1\x89'。

unicode才是真正意義上的字符串，對字節(jié)串str使用正確的字符編碼進行解碼后獲得，并且len(u'漢') == 1。

再來看看encode()和decode()兩個basestring的實例方法，理解了str和unicode的區(qū)別后，這兩個方法就不會再混淆了：

# coding: UTF-8
 
u = u'漢'
print repr(u) # u'\u6c49'
s = u.encode('UTF-8')
print repr(s) # '\xe6\xb1\x89'
u2 = s.decode('UTF-8')
print repr(u2) # u'\u6c49'
 
# 對unicode進行解碼是錯誤的
# s2 = u.decode('UTF-8')
# 同樣，對str進行編碼也是錯誤的
# u2 = s.encode('UTF-8')

需要注意的是，雖然對str調(diào)用encode()方法是錯誤的，但實際上Python不會拋出異常，而是返回另外一個相同內(nèi)容但不同id的str；對unicode調(diào)用decode()方法也是這樣。很不理解為什么不把encode()和decode()分別放在unicode和str中而是都放在basestring中，但既然已經(jīng)這樣了，我們就小心避免犯錯吧。

2.2. 字符編碼聲明

源代碼文件中，如果有用到非ASCII字符，則需要在文件頭部進行字符編碼的聲明，如下：

#-*- coding: UTF-8 -*-

實際上Python只檢查#、coding和編碼字符串，其他的字符都是為了美觀加上的。另外，Python中可用的字符編碼有很多，并且還有許多別名，還不區(qū)分大小寫，比如UTF-8可以寫成u8。參見

另外需要注意的是聲明的編碼必須與文件實際保存時用的編碼一致，否則很大幾率會出現(xiàn)代碼解析異?！，F(xiàn)在的IDE一般會自動處理這種情況，改變聲明后同時換成聲明的編碼保存，但文本編輯器控們需要小心 ：）

2.3. 讀寫文件

內(nèi)置的open()方法打開文件時，read()讀取的是str，讀取后需要使用正確的編碼格式進行decode()。write()寫入時，如果參數(shù)是unicode，則需要使用你希望寫入的編碼進行encode()，如果是其他編碼格式的str，則需要先用該str的編碼進行decode()，轉成unicode后再使用寫入的編碼進行encode()。如果直接將unicode作為參數(shù)傳入write()方法，Python將先使用源代碼文件聲明的字符編碼進行編碼然后寫入。

# coding: UTF-8
 
f = open('test.txt')
s = f.read()
f.close()
print type(s) # <type 'str'>
# 已知是GBK編碼，解碼成unicode
u = s.decode('GBK')
 
f = open('test.txt', 'w')
# 編碼成UTF-8編碼的str
s = u.encode('UTF-8')
f.write(s)
f.close()

另外，模塊codecs提供了一個open()方法，可以指定一個編碼打開文件，使用這個方法打開的文件讀取返回的將是unicode。寫入時，如果參數(shù)是unicode，則使用open()時指定的編碼進行編碼后寫入；如果是str，則先根據(jù)源代碼文件聲明的字符編碼，解碼成unicode后再進行前述操作。相對內(nèi)置的open()來說，這個方法比較不容易在編碼上出現(xiàn)問題。

# coding: GBK
 
import codecs
 
f = codecs.open('test.txt', encoding='UTF-8')
u = f.read()
f.close()
print type(u) # <type 'unicode'>
 
f = codecs.open('test.txt', 'a', encoding='UTF-8')
# 寫入unicode
f.write(u)
 
# 寫入str，自動進行解碼編碼操作
# GBK編碼的str
s = '漢'
print repr(s) # '\xba\xba'
# 這里會先將GBK編碼的str解碼為unicode再編碼為UTF-8寫入
f.write(s) 
f.close()

2.4. 與編碼相關的方法

sys/locale模塊中提供了一些獲取當前環(huán)境下的默認編碼的方法。

import sys
import locale
 
def p(f):
    print '%s.%s(): %s' % (f.__module__, f.__name__, f())
 
# 返回當前系統(tǒng)所使用的默認字符編碼
p(sys.getdefaultencoding)
 
# 返回用于轉換Unicode文件名至系統(tǒng)文件名所使用的編碼
p(sys.getfilesystemencoding)
 
# 獲取默認的區(qū)域設置并返回元祖(語言, 編碼)
p(locale.getdefaultlocale)
 
# 返回用戶設定的文本數(shù)據(jù)編碼
# 文檔提到this function only returns a guess
p(locale.getpreferredencoding)
 
# \xba\xba是'漢'的GBK編碼
# mbcs是不推薦使用的編碼，這里僅作測試表明為什么不應該用
print r"'\xba\xba'.decode('mbcs'):", repr('\xba\xba'.decode('mbcs'))
 
#在筆者的Windows上的結果(區(qū)域設置為中文(簡體, 中國))
#sys.getdefaultencoding(): gbk
#sys.getfilesystemencoding(): mbcs
#locale.getdefaultlocale(): ('zh_CN', 'cp936')
#locale.getpreferredencoding(): cp936
#'\xba\xba'.decode('mbcs'): u'\u6c49'

3.建議

3.1.字符編碼聲明

使用字符編碼聲明，并且同一工程中的所有源代碼文件使用相同的字符編碼聲明。

這點是一定要做到的。

3.2. 拋棄str，全部使用unicode。

按引號前先按一下u最初做起來確實很不習慣而且經(jīng)常會忘記再跑回去補，但如果這么做可以減少90%的編碼問題。如果編碼困擾不嚴重，可以不參考此條。

3.3. 使用codecs.open()替代內(nèi)置的open()。

如果編碼困擾不嚴重，可以不參考此條。

3.4. 絕對需要避免使用的字符編碼：MBCS/DBCS和UTF-16。

這里說的MBCS不是指GBK什么的都不能用，而是不要使用Python里名為'MBCS'的編碼，除非程序完全不移植。

Python中編碼'MBCS'與'DBCS'是同義詞，指當前Windows環(huán)境中MBCS指代的編碼。Linux的Python實現(xiàn)中沒有這種編碼，所以一旦移植到Linux一定會出現(xiàn)異常！另外，只要設定的Windows系統(tǒng)區(qū)域不同，MBCS指代的編碼也是不一樣的。

分別設定不同的區(qū)域運行2.4小節(jié)中的代碼的結果：

#中文(簡體, 中國)
#sys.getdefaultencoding(): gbk
#sys.getfilesystemencoding(): mbcs
#locale.getdefaultlocale(): ('zh_CN', 'cp936')
#locale.getpreferredencoding(): cp936
#'\xba\xba'.decode('mbcs'): u'\u6c49'
 
#英語(美國)
#sys.getdefaultencoding(): UTF-8
#sys.getfilesystemencoding(): mbcs
#locale.getdefaultlocale(): ('zh_CN', 'cp1252')
#locale.getpreferredencoding(): cp1252
#'\xba\xba'.decode('mbcs'): u'\xba\xba'
 
#德語(德國)
#sys.getdefaultencoding(): gbk
#sys.getfilesystemencoding(): mbcs
#locale.getdefaultlocale(): ('zh_CN', 'cp1252')
#locale.getpreferredencoding(): cp1252
#'\xba\xba'.decode('mbcs'): u'\xba\xba'
 
#日語(日本)
#sys.getdefaultencoding(): gbk
#sys.getfilesystemencoding(): mbcs
#locale.getdefaultlocale(): ('zh_CN', 'cp932')
#locale.getpreferredencoding(): cp932
#'\xba\xba'.decode('mbcs'): u'\uff7a\uff7a'

可見，更改區(qū)域后，使用mbcs解碼得到了不正確的結果，所以，當我們需要使用'GBK'時，應該直接寫'GBK'，不要寫成'MBCS'。

UTF-16同理，雖然絕大多數(shù)操作系統(tǒng)中'UTF-16'是'UTF-16-LE'的同義詞，但直接寫'UTF-16-LE'只是多寫3個字符而已，而萬一某個操作系統(tǒng)中'UTF-16'變成了'UTF-16-BE'的同義詞，就會有錯誤的結果。實際上，UTF-16用的相當少，但用到的時候還是需要注意。

讀到這里，這篇“Python字符編碼是什么”文章已經(jīng)介紹完畢，想要掌握這篇文章的知識點還需要大家自己動手實踐使用過才能領會，如果想了解更多相關內(nèi)容的文章，歡迎關注億速云行業(yè)資訊頻道。