Python字符編碼知識點(diǎn)有哪些

本篇內(nèi)容主要講解“Python字符編碼知識點(diǎn)有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“Python字符編碼知識點(diǎn)有哪些”吧!

1.字符編碼

【所謂unicode】

unicode是一種類似于符號集的抽象編碼，它只規(guī)定了符號的二進(jìn)制代碼，卻沒有規(guī)定這個(gè)二進(jìn)制代碼應(yīng)該如何存儲。也就是它只是一種內(nèi)部表示，不能直接保存。所以存儲時(shí)需要規(guī)定一種存儲形式，比如utf-8和utf-16等。理論上unicode是一種能夠容納全世界所有語言文字的編碼方案。（其他編碼格式不再多說）

【所謂GB碼】

GB就是“國標(biāo)”的意思，即：中華人民共和國國家標(biāo)準(zhǔn)。GB碼是面向漢字的編碼，包括GB2312（GB2312-80），GBK，GB18030，表示范圍從小到大遞增，而且基本是向下兼容的。此外經(jīng)常遇到一種叫做CP936的編碼，實(shí)際上可以大概看做是GBK。

【判斷編碼】

1、使用isinstance(s, str)來判斷一個(gè)字符串是否為一般字符串（str為ascii類型的字符串，utf-8、utf-16、GB2312、GBK等都是ascii類型的字符串）；

使用isinstance(s, unicode)來判斷一個(gè)字符串是否為unicode編碼形式的字符串（unicode編碼的字符串才是unicode類型的字符串）。

2、使用type()或者.__class__

在編碼正確的情況下：

例如：stra = "中", 則使用type(stra)的結(jié)果是<type 'str'>，表明為ascii類型字符串；

例如：strb = u"中", 則使用type(strb)的結(jié)果是<type 'unicode'>，表明為unicode類型字符串。

tmp_str = 'tmp_str'
print tmp_str.__class__ #<type 'str'>
print type(tmp_str) #<type 'str'>
print type(tmp_str).__name__ #str
tmp_str = u'tmp_str'
print tmp_str.__class__ #<type 'unicode'>
print type(tmp_str) #<type 'unicode'>
print type(tmp_str).__name__ #unicode

3、最好的辦法是使用chardet判斷，特別是在web相關(guān)的操作中，例如抓取html頁面內(nèi)容時(shí)，頁面的charset標(biāo)簽只是標(biāo)示編碼，有時(shí)候不對，而且頁面內(nèi)容中一些中文可能超出了標(biāo)示編碼的范圍，此時(shí)用charset檢測最為方便準(zhǔn)確。

（1）安裝辦法：下載chardet后，將解壓得到的chardet文件夾放在Python安裝目錄的\Lib\site-packages目錄下，在程序中使用import chardet即可。

（2）使用辦法1：檢測全部內(nèi)容判斷編碼

import urllib2
import chardet
res = urllib2.urlopen('//www.jb51.net')
res_cont = res.read()
res.close()
print chardet.detect(res_cont) #{'confidence': 0.99, 'encoding': 'utf-8'}

detect函數(shù)返回值為一個(gè)包含2個(gè)鍵值對的字典，第一個(gè)是檢測置信度，第二個(gè)就是檢測到的編碼形式。

（3）使用辦法2：檢測部分內(nèi)容判斷編碼，提高速度

import urllib2
from chardet.universaldetector import UniversalDetector
res = urllib2.urlopen('//www.jb51.net')
detector = UniversalDetector()
for line in res.readlines():
 #detect untill reach threshold
 detector.feed(line)
 if detector.done:
 break
detector.close()
res.close()
print detector.result
#{'confidence': 0.99, 'encoding': 'utf-8'}

【轉(zhuǎn)換編碼】

1、從具體的編碼（ISO-8859-1[ASCII碼]，utf-8，utf-16，GBK，GB2312等）轉(zhuǎn)換為unicode，直接使用unicode(s, charset)或者s.decode(charset)，其中charset為s的編碼（注意unicode在使用decode()時(shí)會出錯(cuò)）；

#將任意字符串轉(zhuǎn)換為unicode
def to_unicode(s, encoding):
 if isinstance(s, unicode):
 return s
 else:
 return unicode(s, encoding)

注意：這里在decode()的時(shí)候，如果遇到非法字符（比如不標(biāo)準(zhǔn)的全角空格\\xa3\\xa0，或者\(yùn)\xa4\\x57，真正的全角空格是\\xa1\\xa1），就會報(bào)錯(cuò)。

解決辦法：采用'ignore'模式，即：stra.decode('...', 'ignore').encode('utf-8')。

解釋：decode的函數(shù)原型是decode([encoding],[errors='strict'])，可以用第二個(gè)參數(shù)控制錯(cuò)誤處理的策略。

默認(rèn)的參數(shù)就是strict，代表遇到非法字符時(shí)拋出異常；如果設(shè)置為ignore，則會忽略非法字符；如果設(shè)置為replace，則會用?取代非法字符；如果設(shè)置為xmlcharrefreplace，則使用XML的字符引用。

2、從unicode轉(zhuǎn)換為具體的編碼，也是直接用s.encode(charset)，其中s為unicode編碼，charset為具體的編碼（注意非unicode在使用encode()時(shí)會出錯(cuò)）；

3、自然地，從一種具體編碼轉(zhuǎn)換為另一種具體編碼，就可以先decode成unicode再encode成最終編碼了。

【python命令行編碼（系統(tǒng)編碼）】

用python自帶的locale模塊來檢測命令行的默認(rèn)編碼（也就是系統(tǒng)的編碼）和設(shè)置命令行編碼：

import locale
#get coding type
print locale.getdefaultlocale() #('zh_CN', 'cp936')
#set coding type
locale.setlocale(locale.LC_ALL, locale='zh_CN.GB2312')
print locale.getlocale() #('zh_CN', 'gb2312')

表明當(dāng)前系統(tǒng)的內(nèi)部編碼是cp936，近似于GBK。實(shí)際上中文XP和WIN7的系統(tǒng)內(nèi)部編碼都是cp936（GBK）。

【python代碼中的編碼】

1、python代碼中的字符串在未被指定編碼的情況下，默認(rèn)編碼與代碼文件本身的編碼一致。舉個(gè)例子：str = '中文'這個(gè)字符串，如果是在utf8編碼的代碼文件中，該字符串就是utf8編碼；如果是在gb2312的文件中，該字符串就是gb2312編碼。那么代碼文件本身的編碼怎么知道呢？

（1）自己指定代碼文件的編碼：在代碼文件的頭部加上“#-*- coding:utf-8 -*-”來聲明該代碼文件為utf-8編碼。此時(shí)未被指定編碼的字符串的編碼都變成了utf-8。

（2）在沒有指定代碼文件的編碼時(shí)，創(chuàng)建代碼文件時(shí)使用的是python默認(rèn)采用的編碼（一般來說是ascii碼，在windows中實(shí)際保存為cp936（GBK）編碼）。通過sys.getdefaultencoding()和sys.setdefaultencoding('...')來獲取和設(shè)置該默認(rèn)編碼。

import sys
reload(sys)
print sys.getdefaultencoding() #ascii
sys.setdefaultencoding('utf-8')
print sys.getdefaultencoding() #utf-8

結(jié)合（1）和（2）做個(gè)試驗(yàn)：指定代碼文件編碼為utf-8時(shí)，用notepad++打開顯示的是utf-8無DOM編碼；未指定代碼文件編碼時(shí)，用notepad++打開顯示的是ANSI編碼（壓縮編碼，默認(rèn)的保存編碼形式）。

（3）如何永久地將python默認(rèn)采用的編碼設(shè)置為utf-8呢？有2種方法：

第一個(gè)方法<不推薦>：編輯site.py，修改setencoding()函數(shù)，強(qiáng)制設(shè)置為 utf-8；

第二個(gè)方法<推薦>：增加一個(gè)名為 sitecustomize.py的文件，存放在安裝目錄下的\Lib\site-packages目錄下

sitecustomize.py是在site.py被import執(zhí)行的，因?yàn)?sys.setdefaultencoding()是在site.py的結(jié)尾處被刪除的，所以可以在 sitecustomize.py使用 sys.setdefaultencoding()。

2、python代碼中的字符串如果被指定了編碼，舉個(gè)例子：str = u'中文'，該字符串的編碼被指定為unicode（即python的內(nèi)部編碼）。

（1）這里有個(gè)誤區(qū)需要注意！假如在py文件中有如下代碼：

stra = u"中"
print stra.encode("gbk")

按上面說的stra是unicode形式，直接encode稱gbk編碼應(yīng)該沒問題??？但是實(shí)際執(zhí)行時(shí)會報(bào)錯(cuò)“UnicodeEncodeError: 'gbk' codec can't encode character u'\\xd6' in position 0: illegal multibyte sequence”。

原因在于：python解釋器在導(dǎo)入python代碼文件并執(zhí)行時(shí)，會先查看文件頭有沒有編碼聲明（例如#coding:gbk等）。如果發(fā)現(xiàn)聲明，會將文件中的字符串都先解釋成unicode的形式（這里先用默認(rèn)編碼gbk（cp936）將stra解碼成unicode編碼'd6d0'后保存），之后執(zhí)行stra.encode('gbk')時(shí)，由于stra已經(jīng)是unicode編碼且'd6d0'在gbk的編碼范圍內(nèi)，所以編碼不會出現(xiàn)錯(cuò)誤；如果文件頭沒有編碼聲明，則不會進(jìn)行上述過程中的解碼操作（這里就直接使用stra的unicode編碼'd6'），之后執(zhí)行stra.encode('gbk')時(shí)，由于'd6'不在gbk的編碼范圍所以報(bào)錯(cuò)。

（2）為避免這種類型的錯(cuò)誤，最好在代碼文件頭上聲明編碼，或者麻煩點(diǎn)每次使用setdefaultencoding()。

（3）總的來說就是unicode是python解釋器的內(nèi)碼，所有代碼文件在導(dǎo)入并執(zhí)行時(shí)，python解釋器會先將字符串使用你指定的編碼形式解碼成unicode，然后再進(jìn)行各種操作。所以不管是對字符串的操作，還是正則表達(dá)式，還是讀寫文件等等最好都通過unicode來進(jìn)行。

【python中其他編碼】

文件系統(tǒng)的編碼：sys.getfilesystemencoding()

終端的輸入編碼：sys.stdin.encoding

終端的輸出編碼：sys.stdout.encoding

到此，相信大家對“Python字符編碼知識點(diǎn)有哪些”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！