python讀取大文件怎么分割

小億
138
2024-02-01 11:48:42

在處理大文件時(shí)，可以使用以下方法將其分割為較小的塊：

  1. 使用open()函數(shù)以二進(jìn)制模式打開(kāi)大文件。
  2. 使用read()函數(shù)逐塊讀取文件的一部分，并存儲(chǔ)在一個(gè)列表或字符串中。
  3. 對(duì)于每個(gè)塊，可以執(zhí)行所需的操作，如處理數(shù)據(jù)或?qū)懭肫渌募?/li>
  4. 重復(fù)步驟2和3，直到整個(gè)文件被讀取和處理。
  5. 關(guān)閉文件。

以下是一個(gè)示例代碼，演示了如何將大文件分割為較小的塊：

def split_file(file_path, chunk_size):
    with open(file_path, 'rb') as file:
        chunk = file.read(chunk_size)
        while chunk:
            # 處理每個(gè)塊，這里只是打印塊的大小
            print(len(chunk))
            
            chunk = file.read(chunk_size)

# 使用示例
split_file('large_file.txt', 1024)  # 每個(gè)塊的大小為1024字節(jié)

在上述示例中，split_file()函數(shù)接受文件路徑和塊的大小作為參數(shù)。它使用with語(yǔ)句打開(kāi)文件，并使用read()函數(shù)讀取每個(gè)塊。在每個(gè)塊上執(zhí)行所需的操作，這里只是打印塊的大小。然后，重復(fù)這個(gè)過(guò)程，直到整個(gè)文件被讀取和處理。

0 踩