溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

存儲COS之間的數(shù)據(jù)該怎么進行遷移

發(fā)布時間:2021-12-21 14:32:05 來源:億速云 閱讀:126 作者:柒染 欄目:云計算

存儲COS之間的數(shù)據(jù)該怎么進行遷移,針對這個問題,這篇文章詳細介紹了相對應(yīng)的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

下面介紹騰訊云 COS 間遷移,應(yīng)如何配置全托管公網(wǎng)遷移任務(wù),實現(xiàn)數(shù)據(jù)遷移。

準備工作

一、騰訊云對象存儲

1. 創(chuàng)建目標存儲空間,用于存放遷移的數(shù)據(jù)。

2. 創(chuàng)建用于遷移的子用戶并授予相關(guān)權(quán)限:

  • 登錄騰訊云訪問管理控制臺。

  • 在左導(dǎo)航欄中選擇【用戶】>【用戶列表】,進入用戶列表頁面。

  • 新建子用戶,勾選編程訪問及騰訊云控制臺訪問。

  • 搜索并勾選 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。

  • 完成子用戶創(chuàng)建并保存子用戶名,訪問登錄密碼,SecretId,SecretKey。

說明: 遷移服務(wù)也可以使用主賬號操作,但是出于安全考慮,建議新建子用戶并使用子用戶 API 密鑰進行遷移,遷移完成后刪除。

操作步驟

一、登錄遷移服務(wù)平臺

1. 登錄控制臺找到遷移服務(wù)平臺 ,在左導(dǎo)航欄中單擊進入【遷移工具】頁面。

2. 找到【文件遷移工具】模塊,單擊【立即使用】,進入文件遷移工具配置頁面。

二、新建遷移任務(wù)

1. 在文件遷移工具頁面,單擊【新建任務(wù)】,進入新建文件遷移任務(wù)界面,進行遷移參數(shù)的設(shè)置。

2. 設(shè)置遷移任務(wù)名稱。

任務(wù)名稱:字符長度為1至60個字符,允許的字符為中文、英文、0-9、_、-。此處設(shè)置的名稱,將用于在任務(wù)列表中查看遷移狀態(tài)和遷移進度。

3. 設(shè)置要遷移的文件來源。
此處遷移源服務(wù)提供商應(yīng)選擇騰訊云 COS,并在下方 AccessKey,SecretKey 文本框中輸入先前新建用于遷移的騰訊云子用戶SecretId,SecretKey。源對象存儲桶列表可在填入密鑰后單擊下拉框右側(cè)刷新按鈕獲取。
 

4. 選擇文件存儲方式。
根據(jù)遷移的需求,設(shè)定遷移后文件的存儲方式,可以選擇:標準存儲、低頻存儲、保持原存儲屬性、歸檔存儲。
 

5. 選擇 Header 設(shè)置。
如果源桶中的文件設(shè)定了 Header/Tag 并且需要在遷移后保留,請選擇保留或設(shè)置替換規(guī)則。
 

6. 設(shè)定遷移規(guī)則。
選擇對指定桶中的全部文件進行遷移,或僅遷移指定前綴的文件。

7. 指定遷移任務(wù)的開始時間。
如需在指定時間開始遷移,開啟此開關(guān)并設(shè)定開始時間。

8. 設(shè)定最高并發(fā)數(shù)。
各公有云廠商的對象存儲都有最高并發(fā)限制。為確保業(yè)務(wù)穩(wěn)定,請在遷移前與源廠商確認并設(shè)置最高遷移可用 QPS。
 

9. 選擇要遷移到的目標位置。
在遷移目標信息中,輸入用于遷移的騰訊云子用戶 SecretId,SecretKey。目標對象存儲桶列表可在填入密鑰后單擊下拉框右側(cè)刷新按鈕獲取。
 

10. 指定遷移到目標桶的指定目錄。


例如:
源桶中的文件/a.txt,/dir/b.txt兩個文件,文本框中填寫“dest”,那么遷移后這兩個文件在目標桶中的路徑為:/dest/a.txt,/dest/dir/b.txt。
如果文本框中填寫dest/20180901,那么遷移后這兩個文件在目標桶中的路徑為:/dest/20180901/a.txt,/dest/20180901/dir/b.txt。

注意:若遷移源與目標源有內(nèi)容不同,名稱相同的文件,建議在【同名文件】配置處選擇【跳過(保留目標桶中已有的同名文件)】,系統(tǒng)默認選擇【覆蓋(源桶中的文件會覆蓋目標桶中的同名文件)】。若在遷移過程中文件內(nèi)容有變化,需要進行二次遷移。

  • 若遷移源與目標源有內(nèi)容不同,名稱相同的文件,建議在【同名文件】配置處選擇【跳過(保留目標桶中已有的同名文件)】,系統(tǒng)默認選擇【覆蓋(源桶中的文件會覆蓋目標桶中的同名文件)】。

  • 若在遷移過程中文件內(nèi)容有變化,需要進行二次遷移。

  • 保存到根目錄:直接將源桶中的文件按原始相對路徑保存到目標桶的根目錄。

  • 保存到指定目錄:將源桶中的文件保持原始相對路徑保存到指定目錄中。

11. 選擇遷移模式。

  • 新建遷移任務(wù)后立即啟動全托管遷移:選擇托管遷移,用戶單擊“新建并啟動”后 MSP 服務(wù)將通過公網(wǎng)訪問源存儲進行遷移。

  • 新建遷移任務(wù)后手動下載 Agent 啟動遷移:選擇 Agent 模式遷移,用戶在單擊“新建并啟動”后,將僅創(chuàng)建任務(wù)配置,需要用戶手動下載 Agent 在遷移源一側(cè)的服務(wù)器上部署之后才會正式啟動遷移。Agent 模式適用于已有專線希望通過專線遷移的場景。

12. 單擊【新建并啟動】,即可啟動遷移任務(wù)。

三、遷移狀態(tài)和進度

在文件遷移工具主界面中,可以查看所有文件遷移任務(wù)的狀態(tài)和進度:

  • “任務(wù)完成”狀態(tài),綠色是任務(wù)完成并且所有文件都遷移成功,黃色是遷移任務(wù)完成但部分文件遷移失敗。

  • 單擊“重試失敗任務(wù)”鏈接后,該任務(wù)中失敗的文件將會重試遷移,已經(jīng)成功遷移的文件不會重傳。

  • 單擊“導(dǎo)出”鏈接可以導(dǎo)出遷移過程中失敗的文件列表。

四、遷移完成時間

遷移速度由遷移過程中涉及到的每一個環(huán)節(jié)的最低速度決定,同時受到網(wǎng)絡(luò)傳輸速度和最大并發(fā)數(shù)影響。

影響因素有:

影響因素說明
遷出源的讀取速度數(shù)據(jù)源的讀取速度因不同的服務(wù)商而不同,通常:
  • 傳輸速度在50Mbps - 200Mbps之間。

  • 文件讀取并發(fā)在500 - 3000之間(大量小文件的傳輸受并發(fā)限制)。

MSP 平臺的傳輸速度MSP 平臺提供最大200Mbps的遷移帶寬。
遷入目標位置的寫入速度騰訊云對象存儲 COS:寫入傳輸速度200Mbps,寫入并發(fā)500 - 800之間。
整體遷移速度會是6MByte - 25MByte(即21GB/小時 - 87GB/小時)之間。

關(guān)于存儲COS之間的數(shù)據(jù)該怎么進行遷移問題的解答就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識。

向AI問一下細節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

cos
AI