datastage獲取csv文件，并插入數(shù)據庫

datastage操作流程

文檔創(chuàng)建人： 月夜楓

日期：20180112

版本：V1.0

1、處理文件

本次項目的源文件來源于10.126.124.39服務器，39服務器并未開啟ftp功能，但是開啟了目錄共享功能.

1.1、使用bat批處理腳本先將源數(shù)據拷貝到本地服務器10.126.124.14中

1.2、同時將多個文件進行合并，方便后續(xù)datastage調用，提高效率，否則需要多次運行datastage中job

2、創(chuàng)建job，準備全局job參數(shù)

創(chuàng)建job，對job進行參數(shù)配置，主要包含：鏈接服務器參數(shù)，鏈接數(shù)據庫參數(shù)，在數(shù)據轉換過程中需要的系統(tǒng)參數(shù)

3、創(chuàng)建ftp源組件

3.1、在job界面，palette欄，獲取一個process相關組件Ftp,設置 properties參數(shù)

注：connect參數(shù)是源文件所在服務器的ftp的登陸賬號密碼，需要網絡管理員設置。

3.2、Format參數(shù)設置

3.3、column參數(shù)設置，選擇自己創(chuàng)建的table difination,自動引入，在4.1有具體創(chuàng)建步驟

3.4、配置好參數(shù)，檢查配置問題。

在3.1圖中，有一個view data，若配置成功，則可以通過在此可以讀取到數(shù)據。

注：若出現(xiàn)中文亂碼，在下面進行更改字符集

點擊下面按鍵更改

選擇NLS，更改字符集

4、創(chuàng)建Nettza數(shù)據庫目標組件

4.1、需要創(chuàng)建一個nettza數(shù)據庫對應的table difinition組件，保存在對應的目錄底下，后續(xù)使用。

創(chuàng)建步驟：在主頁面

import-à table difinition-à Start Connector Import Wizard -à Nettza Connector

-à錄入賬號密碼地址等相關信息 -à選擇需要的表，或已經創(chuàng)建的表

4.2、創(chuàng)建數(shù)據庫目標組件

在job界面，palette欄，獲取一個database選擇nettza connector，配置相關參數(shù)

配置column參數(shù)和3.3方式一樣，再此不重復講解。

5、創(chuàng)建transformer轉換規(guī)則

創(chuàng)建transformer,在job界面，palette欄，獲取兩個link箭頭按照數(shù)據扭轉方向進行連接三個組件。

設置transformer的參數(shù)

1、需要點擊下圖按鈕1進行組件column的1對1關聯(lián)

2、若需要對目標表的數(shù)據進行處理選擇下圖2的地方進行選擇，可以更改數(shù)據類型，對目標數(shù)據進行轉換等操作

6、測試

保存文件，編譯，運行，錄入參數(shù)進行運行，根據日志進行測試，排查bug

7、制作windows定時任務

1、進入定時任務管理器

開始，控制面板，系統(tǒng)和安全，管理工具，任務計劃，打開之后

界面如下

右鍵“任務計劃程序”，創(chuàng)建任務，錄入任務名稱和描述

最后需要錄入管理員賬戶密碼

2、更改定時任務

雙擊點開任務的屬性，注意更改屬性為不管是否登陸與否都要運行，并使用最高權限運行。