大數(shù)據(jù)開發(fā)中itertools.chain()函數(shù)怎么用

這篇文章主要介紹了大數(shù)據(jù)開發(fā)中itertools.chain()函數(shù)怎么用，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

你想在多個(gè)對(duì)象執(zhí)行相同的操作，但是這些對(duì)象在不同的容器中，你希望代碼在不失可讀性的情況下避免寫重復(fù)的循環(huán)

from itertools import chain 
a = [1, 2, 3, 4] 
b = ['x', 'y', 'z'] 
for x in chain(a, b): 
    print(x) 
1 
2 
3 
4 
x 
y 
z

好處：如果采用a+b的方式遍歷，那么要求a和b的類型一致，如果數(shù)據(jù)再大一點(diǎn)會(huì)，會(huì)消耗內(nèi)存，而chain是通過(guò)創(chuàng)建迭代器，依次返回可迭代對(duì)象的元素

如何把一個(gè) itertools.chain 對(duì)象轉(zhuǎn)換為一個(gè)數(shù)組

list_of_numbers = [[1, 2], [3], []]
import itertools
chain = itertools.chain(*list_of_numbers)

第一種比較簡(jiǎn)單，直接采用 list 方法，如下所示：

list(chain)

但缺點(diǎn)有兩個(gè)：

• 會(huì)在外層多嵌套一個(gè)列表

• 效率并不高

第二個(gè)就是利用 numpy 庫(kù)的方法 np.fromiter ，示例如下：

>>> import numpy as np
>>> from itertools import chain
>>> list_of_numbers = [[1, 2], [3], []]
>>> np.fromiter(chain(*list_of_numbers), dtype=int)
array([1, 2, 3])

對(duì)比兩種方法的運(yùn)算時(shí)間，如下所示：

>>> list_of_numbers = [[1, 2]*1000, [3]*1000, []]*1000
>>> np.fromiter(chain(*list_of_numbers), dtype=int)
10 loops, best of 3: 103 ms per loop
>>> np.array(list(chain(*list_of_numbers)))
1 loops, best of 3: 199 ms per loop

可以看到采用 numpy 方法的運(yùn)算速度會(huì)更快。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“大數(shù)據(jù)開發(fā)中itertools.chain()函數(shù)怎么用”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!