PHP中的大文件讀取操作

PHP大文件讀取操作

簡單的文件讀取，一般我們會使用 file_get_contents() 這類方式來直接獲取文件的內(nèi)容。不過這種函數(shù)有個嚴重的問題是它會把文件一次性地加載到內(nèi)存中，也就是說，它會受到內(nèi)存的限制。因此，加載大文件的時候是絕對不能使用這種方式的。我們還是先看看這種方式加載的例子。

// 普通的文件讀取 一個2.4G的SQL導出文件
$fileName= './2020-02-23.sql';

// file_get_contents
$fileInfo = file_get_contents($fileName);
// Fatal error: Allowed memory size of 134217728 bytes exhausted

// file
$fileInfo = file($fileName);
// Fatal error: Allowed memory size of 134217728 bytes exhausted

// fopen + fread
$fileHandle = fopen($fileName, 'r');
$fileInfo = fread($fileHandle, filesize($fileName));
// Fatal error: Allowed memory size of 134217728 bytes exhausted

上述三種形式的文件加載讀取方式都是不能加載這么大的文件的，當然，你也可以修改 php.ini 中的相關配置讓他們能夠加載成功，但我們并不推薦這樣使用，畢竟內(nèi)存資源相比硬盤資源還是要寶貴的多。

以下的方式是可以直接讀取這種大文件的：

// readfile 只能直接輸出
echo readfile($fileName);

// fopen + fgetc 如果單
$fileHandle = fopen($fileName, 'r');
// 輸出單字符直到 end-of-file
while(!feof($fileHandle)) {
    echo fgetc($fileHandle);
}
fclose($fileHandle);

// SplFileObject
$fileObject = new SplFileObject($fileName, 'r');
while(!$fileObject->eof()){
    echo $fileObject->fgetc();
}

第一個 readfile() ，讀取文件后就直接打印了，不能進行其他操作，適用于直接顯示大文件內(nèi)容時使用。

第二個 fopen() 配合 fgetc() 或 fgets() 是讀取這種大文件的標配。fopen() 獲取文件句柄，fgetc() 按字符讀取，fgets() 按行讀取。像這個 mysqldump 出來的文件，一行也可能非常的大，所以我們就只能直接按字符讀取。

第三個是SPL擴展庫為我們提供的面向?qū)ο笫降?fopen() 操作，建議新的開發(fā)中如果有讀取大文件的需求最好使用這種形式的寫法，畢竟SPL函數(shù)庫已經(jīng)是PHP的標準函數(shù)庫了，而且面向?qū)ο蟮牟僮餍问揭哺拥闹髁鳌?/p>

上面三種讀取方式都有一個要注意的點是，我們將大文件讀取后不應該再保存到變量中，應該直接打印顯示、入庫或者寫到其他文件中。因為直接讀取到一個變量中就和前面的直接讀取到內(nèi)存的方式一樣了，那還不如直接去修改下 php.ini 的配置然后使用最上方的方式直接讀取到內(nèi)存方便。還是那句話，內(nèi)存留給真正需要它的地方，這種大文件，最好還是進行硬盤的IO操作。

測試代碼：https://github.com/zhangyue0503/dev-blog/blob/master/php/202003/source/PHP%E5%A4%A7%E6%96%87%E4%BB%B6%E8%AF%BB%E5%8F%96%E6%93%8D%E4%BD%9C.php