golang如何高效處理大文件

這篇文章主要介紹了golang如何高效處理大文件，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

使用Pandas分塊處理大文件

問題：今天在處理快手的用戶數(shù)據(jù)時，遇到了一個差不多600M的txt文本，用sublime打開都蹦了，我用pandas.read_table()去讀，差不多花了近2分鐘，最后打開發(fā)現(xiàn)差不多3千萬行數(shù)據(jù)。這僅僅是打開，如果要處理不知得多費勁。

解決：我翻了一下文檔，這一類讀取文件的函數(shù)有兩個參數(shù)：chunksize、iterator

原理就是不一次性把文件數(shù)據(jù)讀入內(nèi)存中，而是分多次。

1、指定chunksize分塊讀取文件

read_csv 和 read_table 有一個 chunksize 參數(shù)，用以指定一個塊大小(每次讀取多少行)，返回一個可迭代的 TextFileReader 對象。

table=pd.read_table(path+'kuaishou.txt',sep='t',chunksize=1000000)
for df in table:
    對df處理
    #如df.drop(columns=['page','video_id'],axis=1,inplace=True)
    #print(type(df),df.shape)打印看一下信息

我這里又對文件進行了劃分，分成若干個子文件分別處理（沒錯，to_csv也同樣有chunksize參數(shù)）

2、指定iterator=True

iterator=True同樣返回的是TextFileReader對象

reader = pd.read_table('tmp.sv', sep='t', iterator=True)
df=reader.get_chunk(10000)
#通過get_chunk(size)，返回一個size行的塊
#接著同樣可以對df處理

直接看看pandas文檔在這一方面的內(nèi)容吧。

golang適合做什么

golang可以做服務(wù)器端開發(fā)，但golang很適合做日志處理、數(shù)據(jù)打包、虛擬機處理、數(shù)據(jù)庫代理等工作。在網(wǎng)絡(luò)編程方面，它還廣泛應(yīng)用于web應(yīng)用、API應(yīng)用等領(lǐng)域。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“golang如何高效處理大文件”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!