溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
使用PHP怎么在兩個文件中找出相同的記錄？很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。
引言
給定a，b兩個文件, 分別有x，y行數(shù)據(jù), 其中(x, y均大于10億), 機(jī)器內(nèi)存限制100M，該如何找出其中相同的記錄?<!--more-->
處理該問題的困難主要是無法將這海量數(shù)據(jù)一次性讀內(nèi)內(nèi)存中.
一次性讀不進(jìn)內(nèi)存中，那么是否可以考慮多次呢？如果可以，那么多次讀入要怎么計算相同的值呢？
我們可以用分治思想， 大而化小。相同字符串的值hash過后是相等的, 那么我們可以考慮使用hash取模, 將記錄分散到n個文件中。這個n怎么取呢？ PHP 100M內(nèi)存，數(shù)組大約可以存100w的數(shù)據(jù), 那么按a,b記錄都只有10億行來算, n至少要大于200。
此時有200個文件，相同的記錄肯定在同一個文件中，并且每個文件都可以全部讀進(jìn)內(nèi)存。那么可以依次找出這200個文件中各自相同的記錄，然后輸出到同一個文件中，得到的最終結(jié)果就是a, b兩個文件中相同的記錄。
找一個小文件中相同的記錄很簡單了吧，將每行記錄作為hash表的key, 統(tǒng)計key的出現(xiàn)次數(shù)>=2就可以了。
10億各文件太大了，實操浪費時間，達(dá)到實踐目的即可。
問題規(guī)?？s小為: 1M內(nèi)存限制, a, b各有10w行記錄, 內(nèi)存限制可以用PHP的ini_set('memory_limit', '1M');來限制。
生成隨機(jī)數(shù)用于填充文件:
/**
* 生成隨機(jī)數(shù)填充文件
* Author: ClassmateLin
* Email: classmatelin.site@gmail.com
* Site: https://www.classmatelin.top
* @param string $filename 輸出文件名
* @param int $batch 按多少批次生成數(shù)據(jù)
* @param int $batchSize 每批數(shù)據(jù)的大小
*/
function generate(string $filename, int $batch=1000, int $batchSize=10000)
{
for ($i=0; $i<$batch; $i++) {
$str = '';
for ($j=0; $j<$batchSize; $j++) {
$str .= rand($batch, $batchSize) . PHP_EOL; // 生成隨機(jī)數(shù)
}
file_put_contents($filename, $str, FILE_APPEND); // 追加模式寫入文件
}
}
generate('a.txt', 10);
generate('b.txt', 10);將a.txt, b.txt通過hash取模的方式分割到n個文件中.
/**
* 用hash取模方式將文件分散到n個文件中
* Author: ClassmateLin
* Email: classmatelin.site@gmail.com
* Site: https://www.classmatelin.top
* @param string $filename 輸入文件名
* @param int $mod 按mod取模
* @param string $dir 文件輸出目錄
*/
function spiltFile(string $filename, int $mod=20, string $dir='files')
{
if (!is_dir($dir)){
mkdir($dir);
}
$fp = fopen($filename, 'r');
while (!feof($fp)){
$line = fgets($fp);
$n = crc32(hash('md5', $line)) % $mod; // hash取模
$filepath = $dir . '/' . $n . '.txt'; // 文件輸出路徑
file_put_contents($filepath, $line, FILE_APPEND); // 追加模式寫入文件
}
fclose($fp);
}
spiltFile('a.txt');
spiltFile('b.txt');執(zhí)行splitFile函數(shù), 得到如下圖files目錄的20個文件。
現(xiàn)在需要查找20個文件中相同的記錄, 其實也就是找一個文件中的相同記錄，操作個20次。
找一個文件中的相同記錄:
/**
* 查找一個文件中相同的記錄輸出到指定文件中
* Author: ClassmateLin
* Email: classmatelin.site@gmail.com
* Site: https://www.classmatelin.top
* @param string $inputFilename 輸入文件路徑
* @param string $outputFilename 輸出文件路徑
*/
function search(string $inputFilename, $outputFilename='output.txt')
{
$table = [];
$fp = fopen($inputFilename, 'r');
while (!feof($fp))
{
$line = fgets($fp);
!isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未設(shè)置的值設(shè)1，否則自增
}
fclose($fp);
foreach ($table as $line => $count)
{
if ($count >= 2){ // 出現(xiàn)大于2次的則是相同的記錄，輸出到指定文件中
file_put_contents($outputFilename, $line, FILE_APPEND);
}
}
}找出所有文件相同記錄:
/**
* 從給定目錄下文件中分別找出相同記錄輸出到指定文件中
* Author: ClassmateLin
* Email: classmatelin.site@gmail.com
* Site: https://www.classmatelin.top
* @param string $dirs 指定目錄
* @param string $outputFilename 輸出文件路徑
*/
function searchAll($dirs='files', $outputFilename='output.txt')
{
$files = scandir($dirs);
foreach ($files as $file)
{
$filepath = $dirs . '/' . $file;
if (is_file($filepath)){
search($filepath, $outputFilename);
}
}
}到這里已經(jīng)解決了大文件處理的空間問題，那么時間問題該如何處理? 單機(jī)可通過利用CPU的多核心處理，不夠的話通過多臺服務(wù)器處理。
<?php
ini_set('memory_limit', '1M'); // 內(nèi)存限制1M
/**
* 生成隨機(jī)數(shù)填充文件
* Author: ClassmateLin
* Email: classmatelin.site@gmail.com
* Site: https://www.classmatelin.top
* @param string $filename 輸出文件名
* @param int $batch 按多少批次生成數(shù)據(jù)
* @param int $batchSize 每批數(shù)據(jù)的大小
*/
function generate(string $filename, int $batch=1000, int $batchSize=10000)
{
for ($i=0; $i<$batch; $i++) {
$str = '';
for ($j=0; $j<$batchSize; $j++) {
$str .= rand($batch, $batchSize) . PHP_EOL; // 生成隨機(jī)數(shù)
}
file_put_contents($filename, $str, FILE_APPEND); // 追加模式寫入文件
}
}
/**
* 用hash取模方式將文件分散到n個文件中
* Author: ClassmateLin
* Email: classmatelin.site@gmail.com
* Site: https://www.classmatelin.top
* @param string $filename 輸入文件名
* @param int $mod 按mod取模
* @param string $dir 文件輸出目錄
*/
function spiltFile(string $filename, int $mod=20, string $dir='files')
{
if (!is_dir($dir)){
mkdir($dir);
}
$fp = fopen($filename, 'r');
while (!feof($fp)){
$line = fgets($fp);
$n = crc32(hash('md5', $line)) % $mod; // hash取模
$filepath = $dir . '/' . $n . '.txt'; // 文件輸出路徑
file_put_contents($filepath, $line, FILE_APPEND); // 追加模式寫入文件
}
fclose($fp);
}
/**
* 查找一個文件中相同的記錄輸出到指定文件中
* Author: ClassmateLin
* Email: classmatelin.site@gmail.com
* Site: https://www.classmatelin.top
* @param string $inputFilename 輸入文件路徑
* @param string $outputFilename 輸出文件路徑
*/
function search(string $inputFilename, $outputFilename='output.txt')
{
$table = [];
$fp = fopen($inputFilename, 'r');
while (!feof($fp))
{
$line = fgets($fp);
!isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未設(shè)置的值設(shè)1，否則自增
}
fclose($fp);
foreach ($table as $line => $count)
{
if ($count >= 2){ // 出現(xiàn)大于2次的則是相同的記錄，輸出到指定文件中
file_put_contents($outputFilename, $line, FILE_APPEND);
}
}
}
/**
* 從給定目錄下文件中分別找出相同記錄輸出到指定文件中
* Author: ClassmateLin
* Email: classmatelin.site@gmail.com
* Site: https://www.classmatelin.top
* @param string $dirs 指定目錄
* @param string $outputFilename 輸出文件路徑
*/
function searchAll($dirs='files', $outputFilename='output.txt')
{
$files = scandir($dirs);
foreach ($files as $file)
{
$filepath = $dirs . '/' . $file;
if (is_file($filepath)){
search($filepath, $outputFilename);
}
}
}
// 生成文件
generate('a.txt', 10);
generate('b.txt', 10);
// 分割文件
spiltFile('a.txt');
spiltFile('b.txt');
// 查找記錄
searchAll('files', 'output.txt');看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機(jī)網(wǎng)站二維碼