python怎么實(shí)現(xiàn)單機(jī)處理大文件

發(fā)布時(shí)間：2021-12-18 13:58:56 來(lái)源：億速云閱讀：170 作者：iii 欄目：大數(shù)據(jù)

本篇內(nèi)容介紹了“python怎么實(shí)現(xiàn)單機(jī)處理大文件”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

下面的討論基于的假定：可以單獨(dú)處理一行數(shù)據(jù)，行間數(shù)據(jù)相關(guān)性為零。

方法一：

僅使用 Python 內(nèi)置模板，逐行讀取到內(nèi)存。

使用 yield，好處是解耦讀取操作和處理操作：

def python_read(filename):
    with open(filename,'r',encoding='utf-8') as f:
        while  True:
            line = f.readline()
            if not line:
                return
            yield line

以上每次讀取一行，逐行迭代，逐行處理數(shù)據(jù)

if __name__ == '__main__':
    g = python_read('./data/movies.dat')
    for c in g:
        print(c)
        # process c

方法二：

方法一有缺點(diǎn)，逐行讀入，頻繁的 IO 操作拖累處理效率。是否有一次 IO ，讀取多行的方法？

pandas 包 read_csv 函數(shù)，參數(shù)有 38 個(gè)之多，功能非常強(qiáng)大。

關(guān)于單機(jī)處理大文件，read_csv 的 chunksize 參數(shù)能做到，它被設(shè)置為 5，意味著一次讀取 5 行。

def pandas_read(filename,sep=',',chunksize=5):
    reader = pd.read_csv(filename,sep,chunksize=chunksize)
    while  True:
        try:
            yield reader.get_chunk()
        except StopIteration:
            print('---Done---')
            break

使用如同方法一：

if __name__ == '__main__':
    g = pandas_read('./data/movies.dat',sep="::")
    for c in g:
        print(c)
        # process c

“python怎么實(shí)現(xiàn)單機(jī)處理大文件”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

向AI問(wèn)一下細(xì)節(jié)

python怎么實(shí)現(xiàn)單機(jī)處理大文件

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽