您好,登錄后才能下訂單哦!
這篇文章主要講解了“Python內(nèi)建類型str源碼分析”,文中的講解內(nèi)容簡(jiǎn)單清晰,易于學(xué)習(xí)與理解,下面請(qǐng)大家跟著小編的思路慢慢深入,一起來(lái)研究和學(xué)習(xí)“Python內(nèi)建類型str源碼分析”吧!
計(jì)算機(jī)存儲(chǔ)的基本單位是字節(jié),由8個(gè)比特位組成。由于英文只由26個(gè)字母加若干符號(hào)組成,因此英文字符可以直接用字節(jié)來(lái)保存。但是其他語(yǔ)言(例如中日韓等),由于字符眾多,不得不使用多個(gè)字節(jié)來(lái)進(jìn)行編碼。
隨著計(jì)算機(jī)技術(shù)的傳播,非拉丁文字符編碼技術(shù)不斷發(fā)展,但是仍然存在兩個(gè)比較大的局限性:
不支持多語(yǔ)言:一種語(yǔ)言的編碼方案不能用于另外一種語(yǔ)言
沒(méi)有統(tǒng)一標(biāo)準(zhǔn):例如中文就有GBK、GB2312、GB18030等多種編碼標(biāo)準(zhǔn)
由于編碼方式不統(tǒng)一,開(kāi)發(fā)人員就需要在不同編碼之間來(lái)回轉(zhuǎn)換,不可避免地會(huì)出現(xiàn)很多錯(cuò)誤。為了解決這類不統(tǒng)一問(wèn)題,Unicode標(biāo)準(zhǔn)被提出了。Unicode對(duì)世界上大部分文字系統(tǒng)進(jìn)行整理、編碼,讓計(jì)算機(jī)可以用統(tǒng)一的方式處理文本。Unicode目前已經(jīng)收錄了超過(guò)14萬(wàn)個(gè)字符,天然地支持多語(yǔ)言。(Unicode的uni就是“統(tǒng)一”的詞根)
Python在3之后,str對(duì)象內(nèi)部改用Unicode表示,因此在源碼中成為Unicode對(duì)象。使用Unicode表示的好處是:程序核心邏輯統(tǒng)一使用Unicode,只需在輸入、輸出層進(jìn)行解碼、編碼,可最大程度地避免各種編碼問(wèn)題。
圖示如下:
問(wèn)題:由于Unicode收錄字符已經(jīng)超過(guò)14萬(wàn)個(gè),每個(gè)字符至少需要4個(gè)字節(jié)來(lái)保存(這里應(yīng)該是因?yàn)?個(gè)字節(jié)不夠,所以才用4個(gè)字節(jié),一般不會(huì)使用3個(gè)字節(jié))。而英文字符用ASCII碼表示僅需要1個(gè)字節(jié),使用Unicode反而會(huì)使頻繁使用的英文字符的開(kāi)銷變?yōu)樵瓉?lái)的4倍。
首先我們來(lái)看一下Python中不同形式的str對(duì)象的大小差異:
>>> sys.getsizeof('ab') - sys.getsizeof('a') 1 >>> sys.getsizeof('一二') - sys.getsizeof('一') 2 >>> sys.getsizeof('????????') - sys.getsizeof('????') 4
由此可見(jiàn),Python內(nèi)部對(duì)Unicode對(duì)象進(jìn)行了優(yōu)化:根據(jù)文本內(nèi)容,選擇底層存儲(chǔ)單元。
Unicode對(duì)象底層存儲(chǔ)根據(jù)文本字符的Unicode碼位范圍分成三類:
PyUnicode_1BYTE_KIND:所有字符碼位在U+0000到U+00FF之間
PyUnicode_2BYTE_KIND:所有字符碼位在U+0000到U+FFFF之間,且至少有一個(gè)字符的碼位大于U+00FF
PyUnicode_1BYTE_KIND:所有字符碼位在U+0000到U+10FFFF之間,且至少有一個(gè)字符的碼位大于U+FFFF
對(duì)應(yīng)枚舉如下:
enum PyUnicode_Kind { /* String contains only wstr byte characters. This is only possible when the string was created with a legacy API and _PyUnicode_Ready() has not been called yet. */ PyUnicode_WCHAR_KIND = 0, /* Return values of the PyUnicode_KIND() macro: */ PyUnicode_1BYTE_KIND = 1, PyUnicode_2BYTE_KIND = 2, PyUnicode_4BYTE_KIND = 4 };
根據(jù)不同的分類,選擇不同的存儲(chǔ)單元:
/* Py_UCS4 and Py_UCS2 are typedefs for the respective unicode representations. */ typedef uint32_t Py_UCS4; typedef uint16_t Py_UCS2; typedef uint8_t Py_UCS1;
對(duì)應(yīng)關(guān)系如下:
文本類型 | 字符存儲(chǔ)單元 | 字符存儲(chǔ)單元大?。ㄗ止?jié)) |
---|---|---|
PyUnicode_1BYTE_KIND | Py_UCS1 | 1 |
PyUnicode_2BYTE_KIND | Py_UCS2 | 2 |
PyUnicode_4BYTE_KIND | Py_UCS4 | 4 |
由于Unicode內(nèi)部存儲(chǔ)結(jié)構(gòu)因文本類型而異,因此類型kind必須作為Unicode對(duì)象公共字段進(jìn)行保存。Python內(nèi)部定義了一些標(biāo)志位,作為Unicode公共字段:(介于筆者水平有限,這里的字段在后續(xù)內(nèi)容中不會(huì)全部介紹,大家后續(xù)可以自行了解。抱拳~)
interned:是否為interned機(jī)制維護(hù)
kind:類型,用于區(qū)分字符底層存儲(chǔ)單元大小
compact:內(nèi)存分配方式,對(duì)象與文本緩沖區(qū)是否分離
asscii:文本是否均為純ASCII
通過(guò)PyUnicode_New函數(shù),根據(jù)文本字符數(shù)size以及最大字符maxchar初始化Unicode對(duì)象。該函數(shù)主要是根據(jù)maxchar為Unicode對(duì)象選擇最緊湊的字符存儲(chǔ)單元以及底層結(jié)構(gòu)體:(源碼比較長(zhǎng),這里就不列出了,大家可以自行了解,下面以表格形式展現(xiàn))
maxchar < 128 | 128 <= maxchar < 256 | 256 <= maxchar < 65536 | 65536 <= maxchar < MAX_UNICODE | |
---|---|---|---|---|
kind | PyUnicode_1BYTE_KIND | PyUnicode_1BYTE_KIND | PyUnicode_2BYTE_KIND | PyUnicode_4BYTE_KIND |
ascii | 1 | 0 | 0 | 0 |
字符存儲(chǔ)單元大小(字節(jié)) | 1 | 1 | 2 | 4 |
底層結(jié)構(gòu)體 | PyASCIIObject | PyCompactUnicodeObject | PyCompactUnicodeObject | PyCompactUnicodeObject |
C源碼:
typedef struct { PyObject_HEAD Py_ssize_t length; /* Number of code points in the string */ Py_hash_t hash; /* Hash value; -1 if not set */ struct { unsigned int interned:2; unsigned int kind:3; unsigned int compact:1; unsigned int ascii:1; unsigned int ready:1; unsigned int :24; } state; wchar_t *wstr; /* wchar_t representation (null-terminated) */ } PyASCIIObject;
源碼分析:
length:文本長(zhǎng)度
hash:文本哈希值
state:Unicode對(duì)象標(biāo)志位
wstr:緩存C字符串的一個(gè)wchar_t指針,以“\0”結(jié)束(這里和我看的另一篇文章講得不太一樣,另一個(gè)描述是:ASCII文本緊接著位于PyASCIIObject結(jié)構(gòu)體后面,我個(gè)人覺(jué)得現(xiàn)在的這種說(shuō)法比較準(zhǔn)確,畢竟源碼結(jié)構(gòu)體后面沒(méi)有別的字段了)
圖示如下:
(注意這里state字段后面有一個(gè)4字節(jié)大小的空洞,這是結(jié)構(gòu)體字段內(nèi)存對(duì)齊造成的現(xiàn)象,主要是為了優(yōu)化內(nèi)存訪問(wèn)效率)
ASCII文本由wstr指向,以’abc’和空字符串對(duì)象’'為例:
如果文本不全是ASCII,Unicode對(duì)象底層便由PyCompactUnicodeObject結(jié)構(gòu)體保存。C源碼如下:
/* Non-ASCII strings allocated through PyUnicode_New use the PyCompactUnicodeObject structure. state.compact is set, and the data immediately follow the structure. */ typedef struct { PyASCIIObject _base; Py_ssize_t utf8_length; /* Number of bytes in utf8, excluding the * terminating \0. */ char *utf8; /* UTF-8 representation (null-terminated) */ Py_ssize_t wstr_length; /* Number of code points in wstr, possible * surrogates count as two code points. */ } PyCompactUnicodeObject;
PyCompactUnicodeObject在PyASCIIObject的基礎(chǔ)上增加了3個(gè)字段:
utf8_length:文本UTF8編碼長(zhǎng)度
utf8:文本UTF8編碼形式,緩存以避免重復(fù)編碼運(yùn)算
wstr_length:wstr的“長(zhǎng)度”(這里所謂的長(zhǎng)度沒(méi)有找到很準(zhǔn)確的說(shuō)法,筆者也不太清楚怎么能打印出來(lái),大家可以自行研究下)
注意到,PyASCIIObject中并沒(méi)有保存UTF8編碼形式,這是因?yàn)锳SCII本身就是合法的UTF8,這也是ASCII文本底層由PyASCIIObject保存的原因。
結(jié)構(gòu)圖示:
PyUnicodeObject則是Python中str對(duì)象的具體實(shí)現(xiàn)。C源碼如下:
/* Strings allocated through PyUnicode_FromUnicode(NULL, len) use the PyUnicodeObject structure. The actual string data is initially in the wstr block, and copied into the data block using _PyUnicode_Ready. */ typedef struct { PyCompactUnicodeObject _base; union { void *any; Py_UCS1 *latin1; Py_UCS2 *ucs2; Py_UCS4 *ucs4; } data; /* Canonical, smallest-form Unicode buffer */ } PyUnicodeObject;
在日常開(kāi)發(fā)時(shí),要結(jié)合實(shí)際情況注意字符串拼接前后的內(nèi)存大小差別:
>>> import sys >>> text = 'a' * 1000 >>> sys.getsizeof(text) 1049 >>> text += '????' >>> sys.getsizeof(text) 4080
如果str對(duì)象的interned標(biāo)志位為1,Python虛擬機(jī)將為其開(kāi)啟interned機(jī)制,
源碼如下:(相關(guān)信息在網(wǎng)上可以看到很多說(shuō)法和解釋,這里筆者能力有限,暫時(shí)沒(méi)有找到最確切的答案,之后補(bǔ)充。抱拳~但是我們通過(guò)分析源碼應(yīng)該是能看出一些門(mén)道的)
/* This dictionary holds all interned unicode strings. Note that references to strings in this dictionary are *not* counted in the string's ob_refcnt. When the interned string reaches a refcnt of 0 the string deallocation function will delete the reference from this dictionary. Another way to look at this is that to say that the actual reference count of a string is: s->ob_refcnt + (s->state ? 2 : 0) */ static PyObject *interned = NULL; void PyUnicode_InternInPlace(PyObject **p) { PyObject *s = *p; PyObject *t; #ifdef Py_DEBUG assert(s != NULL); assert(_PyUnicode_CHECK(s)); #else if (s == NULL || !PyUnicode_Check(s)) return; #endif /* If it's a subclass, we don't really know what putting it in the interned dict might do. */ if (!PyUnicode_CheckExact(s)) return; if (PyUnicode_CHECK_INTERNED(s)) return; if (interned == NULL) { interned = PyDict_New(); if (interned == NULL) { PyErr_Clear(); /* Don't leave an exception */ return; } } Py_ALLOW_RECURSION t = PyDict_SetDefault(interned, s, s); Py_END_ALLOW_RECURSION if (t == NULL) { PyErr_Clear(); return; } if (t != s) { Py_INCREF(t); Py_SETREF(*p, t); return; } /* The two references in interned are not counted by refcnt. The deallocator will take care of this */ Py_REFCNT(s) -= 2; _PyUnicode_STATE(s).interned = SSTATE_INTERNED_MORTAL; }
可以看到,源碼前面還是做一些基本的檢查。我們可以看一下37行和50行:將s添加到interned字典中時(shí),其實(shí)s同時(shí)是key和value(這里我不太清楚為什么會(huì)這樣做),所以s對(duì)應(yīng)的引用計(jì)數(shù)是+2了的(具體可以看PyDict_SetDefault()的源碼),所以在50行時(shí)會(huì)將計(jì)數(shù)-2,保證引用計(jì)數(shù)的正確。
考慮下面的場(chǎng)景:
>>> class User: def __init__(self, name, age): self.name = name self.age = age >>> user = User('Tom', 21) >>> user.__dict__ {'name': 'Tom', 'age': 21}
由于對(duì)象的屬性由dict保存,這意味著每個(gè)User對(duì)象都要保存一個(gè)str對(duì)象‘name’,這會(huì)浪費(fèi)大量的內(nèi)存。而str是不可變對(duì)象,因此Python內(nèi)部將有潛在重復(fù)可能的字符串都做成單例模式,這就是interned機(jī)制。Python具體做法就是在內(nèi)部維護(hù)一個(gè)全局dict對(duì)象,所有開(kāi)啟interned機(jī)制的str對(duì)象均保存在這里,后續(xù)需要使用的時(shí)候,先創(chuàng)建,如果判斷已經(jīng)維護(hù)了相同的字符串,就會(huì)將新創(chuàng)建的這個(gè)對(duì)象回收掉。
示例:
由不同運(yùn)算生成’abc’,最后都是同一個(gè)對(duì)象:
>>> a = 'abc' >>> b = 'ab' + 'c' >>> id(a), id(b), a is b (2752416949872, 2752416949872, True)
感謝各位的閱讀,以上就是“Python內(nèi)建類型str源碼分析”的內(nèi)容了,經(jīng)過(guò)本文的學(xué)習(xí)后,相信大家對(duì)Python內(nèi)建類型str源碼分析這一問(wèn)題有了更深刻的體會(huì),具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云,小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章,歡迎關(guān)注!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。