您好,登錄后才能下訂單哦!
本篇內(nèi)容介紹了“PHP怎么在兩個(gè)大文件中找出相同記錄”的有關(guān)知識(shí),在實(shí)際案例的操作過程中,不少人都會(huì)遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
給定a,b兩個(gè)文件, 分別有x,y行數(shù)據(jù), 其中(x, y均大于10億), 機(jī)器內(nèi)存限制100M,該如何找出其中相同的記錄?
處理該問題的困難主要是無法將這海量數(shù)據(jù)一次性讀進(jìn)內(nèi)存中.
一次性讀不進(jìn)內(nèi)存中,那么是否可以考慮多次呢?如果可以,那么多次讀入要怎么計(jì)算相同的值呢?
我們可以用分治思想, 大而化小。相同字符串的值hash過后是相等的, 那么我們可以考慮使用hash取模, 將記錄分散到n個(gè)文件中。這個(gè)n怎么取呢?PHP 100M內(nèi)存,數(shù)組大約可以存100w的數(shù)據(jù), 那么按a,b記錄都只有10億行來算, n至少要大于200。
此時(shí)有200個(gè)文件,相同的記錄肯定在同一個(gè)文件中,并且每個(gè)文件都可以全部讀進(jìn)內(nèi)存。那么可以依次找出這200個(gè)文件中各自相同的記錄,然后輸出到同一個(gè)文件中,得到的最終結(jié)果就是a, b兩個(gè)文件中相同的記錄。
找一個(gè)小文件中相同的記錄很簡(jiǎn)單了吧,將每行記錄作為hash表的key, 統(tǒng)計(jì)key的出現(xiàn)次數(shù)>=2就可以了。
10億個(gè)文件太大了,實(shí)操浪費(fèi)時(shí)間,達(dá)到實(shí)踐目的即可。
問題規(guī)??s小為: 1M內(nèi)存限制, a, b各有10w行記錄, 內(nèi)存限制可以用PHP的ini_set('memory_limit', '1M');
來限制。
生成隨機(jī)數(shù)用于填充文件:
/** * 生成隨機(jī)數(shù)填充文件 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 輸出文件名 * @param int $batch 按多少批次生成數(shù)據(jù) * @param int $batchSize 每批數(shù)據(jù)的大小 */ function generate(string $filename, int $batch=1000, int $batchSize=10000) { for ($i=0; $i<$batch; $i++) { $str = ''; for ($j=0; $j<$batchSize; $j++) { $str .= rand($batch, $batchSize) . PHP_EOL; // 生成隨機(jī)數(shù) } file_put_contents($filename, $str, FILE_APPEND); // 追加模式寫入文件 } } generate('a.txt', 10); generate('b.txt', 10);
將a.txt
, b.txt
通過hash取模的方式分割到n個(gè)文件中.
/** * 用hash取模方式將文件分散到n個(gè)文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 輸入文件名 * @param int $mod 按mod取模 * @param string $dir 文件輸出目錄 */ function spiltFile(string $filename, int $mod=20, string $dir='files') { if (!is_dir($dir)){ mkdir($dir); } $fp = fopen($filename, 'r'); while (!feof($fp)){ $line = fgets($fp); $n = crc32(hash('md5', $line)) % $mod; // hash取模 $filepath = $dir . '/' . $n . '.txt'; // 文件輸出路徑 file_put_contents($filepath, $line, FILE_APPEND); // 追加模式寫入文件 } fclose($fp); } spiltFile('a.txt'); spiltFile('b.txt');
執(zhí)行 splitFile
函數(shù), 得到如下圖 files
目錄的20個(gè)文件。
現(xiàn)在需要查找20個(gè)文件中相同的記錄, 其實(shí)也就是找一個(gè)文件中的相同記錄,操作個(gè)20次。
找一個(gè)文件中的相同記錄:
/** * 查找一個(gè)文件中相同的記錄輸出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $inputFilename 輸入文件路徑 * @param string $outputFilename 輸出文件路徑 */ function search(string $inputFilename, $outputFilename='output.txt') { $table = []; $fp = fopen($inputFilename, 'r'); while (!feof($fp)) { $line = fgets($fp); !isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未設(shè)置的值設(shè)1,否則自增 } fclose($fp); foreach ($table as $line => $count) { if ($count >= 2){ // 出現(xiàn)大于2次的則是相同的記錄,輸出到指定文件中 file_put_contents($outputFilename, $line, FILE_APPEND); } } }
找出所有文件相同記錄:
/** * 從給定目錄下文件中分別找出相同記錄輸出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $dirs 指定目錄 * @param string $outputFilename 輸出文件路徑 */ function searchAll($dirs='files', $outputFilename='output.txt') { $files = scandir($dirs); foreach ($files as $file) { $filepath = $dirs . '/' . $file; if (is_file($filepath)){ search($filepath, $outputFilename); } } }
到這里已經(jīng)解決了大文件處理的空間問題,那么時(shí)間問題該如何處理? 單機(jī)可通過利用CPU的多核心處理,不夠的話通過多臺(tái)服務(wù)器處理。
<?php ini_set('memory_limit', '1M'); // 內(nèi)存限制1M /** * 生成隨機(jī)數(shù)填充文件 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 輸出文件名 * @param int $batch 按多少批次生成數(shù)據(jù) * @param int $batchSize 每批數(shù)據(jù)的大小 */ function generate(string $filename, int $batch=1000, int $batchSize=10000) { for ($i=0; $i<$batch; $i++) { $str = ''; for ($j=0; $j<$batchSize; $j++) { $str .= rand($batch, $batchSize) . PHP_EOL; // 生成隨機(jī)數(shù) } file_put_contents($filename, $str, FILE_APPEND); // 追加模式寫入文件 } } /** * 用hash取模方式將文件分散到n個(gè)文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 輸入文件名 * @param int $mod 按mod取模 * @param string $dir 文件輸出目錄 */ function spiltFile(string $filename, int $mod=20, string $dir='files') { if (!is_dir($dir)){ mkdir($dir); } $fp = fopen($filename, 'r'); while (!feof($fp)){ $line = fgets($fp); $n = crc32(hash('md5', $line)) % $mod; // hash取模 $filepath = $dir . '/' . $n . '.txt'; // 文件輸出路徑 file_put_contents($filepath, $line, FILE_APPEND); // 追加模式寫入文件 } fclose($fp); } /** * 查找一個(gè)文件中相同的記錄輸出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $inputFilename 輸入文件路徑 * @param string $outputFilename 輸出文件路徑 */ function search(string $inputFilename, $outputFilename='output.txt') { $table = []; $fp = fopen($inputFilename, 'r'); while (!feof($fp)) { $line = fgets($fp); !isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未設(shè)置的值設(shè)1,否則自增 } fclose($fp); foreach ($table as $line => $count) { if ($count >= 2){ // 出現(xiàn)大于2次的則是相同的記錄,輸出到指定文件中 file_put_contents($outputFilename, $line, FILE_APPEND); } } } /** * 從給定目錄下文件中分別找出相同記錄輸出到指定文件中 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $dirs 指定目錄 * @param string $outputFilename 輸出文件路徑 */ function searchAll($dirs='files', $outputFilename='output.txt') { $files = scandir($dirs); foreach ($files as $file) { $filepath = $dirs . '/' . $file; if (is_file($filepath)){ search($filepath, $outputFilename); } } } // 生成文件 generate('a.txt', 10); generate('b.txt', 10); // 分割文件 spiltFile('a.txt'); spiltFile('b.txt'); // 查找記錄 searchAll('files', 'output.txt');
“PHP怎么在兩個(gè)大文件中找出相同記錄”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。