使用Lazy Collections來提高 Laravel Excel讀取性能的方法

這篇文章將為大家詳細(xì)講解有關(guān)使用Lazy Collections來提高 Laravel Excel讀取性能的方法，小編覺得挺實(shí)用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

在 Laravel 6 中添加了一種新類型的集合: Lazy Collections。 如果需要處理非常大的數(shù)據(jù)集（數(shù)千或數(shù)百萬行）而不會遇到內(nèi)存限制，那么它們是非常棒的。

我最近的任務(wù)是在工作中的一個項(xiàng)目中重構(gòu) Excel 導(dǎo)出。 問題是，由于數(shù)據(jù)集太大，Laravel 無法處理，導(dǎo)出無法再創(chuàng)建。 數(shù)據(jù)庫查詢返回了大約 300,000 個結(jié)果！ 應(yīng)用程序產(chǎn)生超時或一直內(nèi)存不足。

一種天真的方法是增加超時時間或內(nèi)存限制，并希望下次出現(xiàn)問題時，另一個人會處理這個問題。 但這不是我的工作方式。 我不喜歡創(chuàng)可貼。 我喜歡具體的、長期的解決方案。

Laravel Excel 擴(kuò)展包已經(jīng)相當(dāng)靈活。 通過在使用 FromQuery-concerns 時使用「chunks」，它在減少數(shù)據(jù)庫負(fù)載方面做得很好。 然而，我們的導(dǎo)出仍然很難處理大數(shù)據(jù)集。

我和我的同事討論過，我們是否應(yīng)該完全重寫這個特性：將導(dǎo)出推送到隊(duì)列中，并在導(dǎo)出結(jié)束時向用戶發(fā)送通知。 然而，這個功能在這個應(yīng)用程序中只是一個很小的東西。 對我們來說，僅僅為了一個簡單的導(dǎo)出而增加如此多的開銷是沒有意義的。

那天晚些時候，我有一個小小的「我發(fā)現(xiàn)了」的時刻，因?yàn)槲矣浀?Laravel 中有 LazyCollections 這個東東。

我重新編寫了導(dǎo)出：它現(xiàn)在使用 FromCollection-concern，而不是 FromQuery。 我必須對 collection() 方法進(jìn)行的惟一更改是將查詢構(gòu)建器鏈末尾的 get() 方法替換為 cursor()。

下面是我們導(dǎo)出功能的簡化版本。 Request 對象通過構(gòu)造函數(shù)傳遞，因此我們可以根據(jù)用戶在 UI 中選擇的內(nèi)容對查詢進(jìn)行調(diào)整。

<?php 
namespace App\Exports;
use App\User;
use Maatwebsite\Excel\Concerns\Exportable;
use Maatwebsite\Excel\Concerns\FromCollection;
use Illuminate\Http\Request;
class UsersExport implements FromCollection
{
    use Exportable;
    protected Request $request;
    public function __construct(Request $request)
    {
        $this->request = $request;
    }
    public function collection()
    {
        return User::query()
            ->when($this->request->get('include_subscribed'), function ($q) {
                return $q->where('is_subscribed', true);
            })
            ->cursor(); // ← 重要的一點(diǎn)
    }
}

我相信你在你的項(xiàng)目中遇到了內(nèi)存問題。 你增加了內(nèi)存限制，希望問題已經(jīng)解決了 (我自己已經(jīng)做過無數(shù)次了)。

如果是在 Laravel 項(xiàng)目中，我希望，我可以讓你重新查看該代碼并使用 LazyCollections 重寫。

修復(fù)這個問題非常有趣，所以我做了一個小小的基準(zhǔn)測試：我們的導(dǎo)出現(xiàn)在可以輕松地導(dǎo)出數(shù)百萬行，而不會遇到內(nèi)存限制。 太酷了！

關(guān)于“使用Lazy Collections來提高 Laravel Excel讀取性能的方法”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。