溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

導(dǎo)入大量數(shù)據(jù)，比如300G數(shù)據(jù)，導(dǎo)出500G數(shù)據(jù)需要考慮的問題

發(fā)布時(shí)間：2020-08-08 02:52:32 來源：ITPUB博客 閱讀：236 作者：e71hao 欄目：關(guān)系型數(shù)據(jù)庫
1.假設(shè)導(dǎo)入到99%，你花了8個(gè)小時(shí)，但是最后，你設(shè)置表空間數(shù)據(jù)不夠，導(dǎo)入報(bào)錯(cuò)，怎么辦？
這次導(dǎo)入會不會報(bào)錯(cuò)？會不會回滾？
空間不夠，是致命錯(cuò)誤。會回滾。但是有個(gè)參數(shù)，resumable,resumable=y resumable_timeout=28800允許我們掛起，等待一段時(shí)間。


2.導(dǎo)入大量數(shù)據(jù)，花的時(shí)間很長。我們要知道，進(jìn)度是怎么樣了？是否掛起？是否仍在導(dǎo)入？
第一，設(shè)置響應(yīng)參數(shù)feedback=10000000，第二，看插入日志
第三，看資源管理器中相關(guān)進(jìn)程cpu，硬盤是否在使用 ，第四 看寫入文件是否有變化
第五，最好的方式是看會話v$session中有個(gè)sql_id,這個(gè)字段就是記錄了當(dāng)前會話正在進(jìn)行執(zhí)行什么sql語句。
3.怎么樣導(dǎo)入更快？
設(shè)置表nologging.直接路徑導(dǎo)入。暫時(shí)不導(dǎo)入索引。
insert /*+append*/ into card_trade_detail

4.切割大文件的操作。大文件比如300G，你會遇到這樣一些問題，比如，你拷貝一個(gè)300G文件從硬盤到移動硬盤，剛開始很快，600M/s,到后面變成30M/s,頭疼吧。這樣我們導(dǎo)出的時(shí)候需要進(jìn)行文件切割。把大文件切割成小分件，比如切割成5G拷貝，也很慢。




5.以下是一些經(jīng)驗(yàn)數(shù)據(jù)
(1)486萬 225秒,每個(gè)segment 840M  451萬：49秒  497萬：53  一年的數(shù)據(jù)文件434G
當(dāng)前數(shù)據(jù)量是1.1億，創(chuàng)建索引為：
create index idx_ctd_card_inner_no_gl on CARD_TRADE_DETAIL(card_inner_no) global tablespace cardidx01;
花去時(shí)間為：369秒，索引大小是4G .
(2)1.1億數(shù)據(jù)索引 uk_ctd_gl_1 7個(gè)字段建立唯一索引，花去時(shí)間為253秒，索引大小為6.8G
(3)18億數(shù)據(jù)索引 uk_ctd_gl_1 7個(gè)字段建立主鍵索引，索引大小為144G;
(4)導(dǎo)入300G數(shù)據(jù)，在dellr730機(jī)器上上插入花時(shí)8個(gè)小時(shí)。
在dellr730機(jī)器，18億數(shù)據(jù)索引 uk_ctd_gl_1 7個(gè)字段建立主鍵索引，索引大小為112G，建立52分鐘。
(5)最后我說下其中比較坑爹的一次部署：把18億500G數(shù)據(jù)導(dǎo)出來，花時(shí)40分鐘。把225G數(shù)據(jù)導(dǎo)出到優(yōu)盤，時(shí)間是5小時(shí)。從優(yōu)盤拷貝到客戶電腦中轉(zhuǎn)機(jī)1小時(shí)。從中轉(zhuǎn)機(jī)拷貝到aix系統(tǒng)，6小時(shí)。導(dǎo)入數(shù)據(jù)時(shí)間是5小時(shí)。
向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手