您好,登錄后才能下訂單哦!
本篇內(nèi)容介紹了“.NET多種數(shù)據(jù)庫大數(shù)據(jù)批量插入分析”的有關(guān)知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
大數(shù)據(jù)操作ORM性能瓶頸在實體轉(zhuǎn)換上面,并且不能使用常規(guī)的Sql去實現(xiàn)
當(dāng)列越多轉(zhuǎn)換越慢,SqlSugar將轉(zhuǎn)換性能做到極致,并且采用數(shù)據(jù)庫最佳API
操作數(shù)據(jù)庫達到極限性能
BulkCopy性能遠(yuǎn)強于現(xiàn)有市場的 ORM框架,比 EFCore Efcore.Bulkextension快30%
BulkUpdate吊打現(xiàn)有所有框架是EFCoreEfcore.Bulkextension 2-3倍之快
//插入 100萬 10秒不到 db.Fastest<RealmAuctionDatum>().BulkCopy(GetList());//性能 比現(xiàn)有任何Bulkcopy都要快30% //更新 db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList());//更新 吊打所有框架N倍,30列100萬8秒更新完 db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList(),new string[]{"id"},new string[]{"name","time"})//無主鍵用法 //表設(shè)置別名 db.Fastest<RealmAuctionDatum>().AS("tableName").BulkCopy(GetList())
數(shù)據(jù)庫 | API | 支持自增 |
---|---|---|
SqlSever | 全支持 | 是 |
連接字符串要加AllowLoadLocalInfile=true | 全支持 | 是 |
PgSql | 全支持 | 否 |
Oracle | BulkCopy | 否 |
插入方案SqlSugar VS EFCoreEFCore.BulkExtensions
10萬條數(shù)據(jù) 30列 ,可以看出EFCore.BulkExtensions在第一插入性能非常慢,正常情況下大數(shù)據(jù)插入也就比第一次
在更新方面SqlSugar也利用了bulkCopy方式進行更新,這一方面.NET 除了EFCore.BulkExtensions
并沒有發(fā)現(xiàn)有相關(guān)的產(chǎn)品(收費除外),在更新操作方案 SqlSugar基本上是獨一無二的
EFCore.BulkExtensions缺點只支持 SqlServer并且性能不如SqlSugar
比如Sqlite ... 還不支持怎么辦?
答:Sqlite普通插入加上事務(wù)就已經(jīng)是市場上優(yōu)秀水平了 (后續(xù)爭取在技術(shù)上有突破支持SQLITE)
db.Insertable(insertObj).ExecuteReturnIdentity();//普通插入并不慢 ,列不多情況1秒可以插入1萬
什么情況用db.Fastest
答: db.Fastest主要是用于大數(shù)據(jù)插入、更新處理,如果1000條以下就沒有必要使用了,畢竟支持的API沒有普通插入豐富,在小數(shù)據(jù)插入上也并沒有太多優(yōu)勢,db.Fastest性能主要強大1000以上的數(shù)據(jù)處理
老版本可以這么用,性能不如db.Fastest
//(3)、blukCopy插入 //只適合1萬以上超大數(shù)據(jù)插入或者上面數(shù)據(jù)插入慢情況,小數(shù)據(jù)插入性能不行,不是所有庫都支持 db.Insertable(List<實體>).UseSqlServer().ExecuteBulkCopy() db.Insertable(List<實體>).UseMySql().ExecuteBulkCopy()//高版本Mysql.data驅(qū)動,連接字符串要加AllowLoadLocalInfile=true db.Insertable(List<實體>).UseOracle().ExecuteBulkCopy()//5.0.3.8-Preview
“.NET多種數(shù)據(jù)庫大數(shù)據(jù)批量插入分析”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實用文章!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。