溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Python基于read(size)方法讀取超大文件

發(fā)布時間：2020-09-29 16:41:58 來源：腳本之家 閱讀：196 作者：我太難了008 欄目：開發(fā)技術(shù)

pyhon讀取文件很方便,但是,如果文件很大,而且還是一行文件,那就蛋疼了. 不過還好有read(size)方法,這個方法就是每次讀取size大小的數(shù)據(jù)到內(nèi)存中

下面來個示例

def readlines(f, separator):
  '''
  讀取大文件方法
  :param f:  文件句柄
  :param separator:  每一行的分隔符
  :return:
  '''
  buf = ''
  while True:
    while separator in buf:
      position = buf.index(separator) # 分隔符的位置
      yield buf[:position] # 切片, 從開始位置到分隔符位置
      buf = buf[position + len(separator):] # 再切片,將yield的數(shù)據(jù)切掉,保留剩下的數(shù)據(jù)

    chunk = f.read(4096) # 一次讀取4096的數(shù)據(jù)到buf中
    if not chunk: # 如果沒有讀到數(shù)據(jù)
      yield buf # 返回buf中的數(shù)據(jù)
      break # 結(jié)束
    buf += chunk # 如果read有數(shù)據(jù) ,將read到的數(shù)據(jù)加入到buf中


with open('text.txt',encoding='utf-8') as f:
  for line in readlines(f,'|||'):
    # 為什么readlines函數(shù)能夠使用for循環(huán)遍歷呢, 因為這個函數(shù)里面有yield關(guān)鍵字呀, 有它就是一個生成器函數(shù) ......
    print(line)

測試文件text.txt

fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb欽鐵桿jdlfdl|||tedsthfdskfdk

打印結(jié)果

fgshfsljflsjfls
fyhdiyfdfhn
fudofdb欽鐵桿jdlfdl
tedsthfdskfdk

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。

向AI問一下細節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手