historian數(shù)據(jù)庫通過一系列機(jī)制來保證數(shù)據(jù)的準(zhǔn)確性，這些機(jī)制涉及數(shù)據(jù)獲取、存儲、復(fù)制以及檢索等各個環(huán)節(jié)。以下是相關(guān)介紹：
數(shù)據(jù)獲取
- 高效數(shù)據(jù)獲取：Wonderware Historian作為實時數(shù)據(jù)庫，能夠高效和高速地獲取數(shù)據(jù)，通過存儲數(shù)據(jù)的時間戳、數(shù)據(jù)質(zhì)量和數(shù)據(jù)值來確保數(shù)據(jù)的準(zhǔn)確性。
- 支持多種數(shù)據(jù)源：包括I/O Servers、Application Server、SDK以及外部數(shù)據(jù)導(dǎo)入，確保數(shù)據(jù)的多樣性和完整性。
數(shù)據(jù)存儲
- 高壓縮比存儲：采用History Block（數(shù)據(jù)塊）的方式，以高壓縮比存儲實際的過程數(shù)據(jù)，減少磁盤空間占用。
- 自動匯總數(shù)據(jù)：對于每個數(shù)值型標(biāo)簽，系統(tǒng)自動創(chuàng)建本地復(fù)制來計算匯總數(shù)據(jù)，加速數(shù)據(jù)檢索性能。
數(shù)據(jù)冗余及復(fù)制
- 完善的冗余機(jī)制：通過配置，讓數(shù)據(jù)源同時分發(fā)數(shù)據(jù)到兩臺數(shù)據(jù)庫，保障數(shù)據(jù)的連續(xù)性。
- 數(shù)據(jù)復(fù)制功能：支持簡單復(fù)制和匯總復(fù)制，包括中央化數(shù)據(jù)管理、多對多復(fù)制及本地到云端復(fù)制等業(yè)務(wù)方式。
數(shù)據(jù)檢索
- 標(biāo)準(zhǔn)SQL查詢語言：采用集成SQL Server的方式，提供標(biāo)準(zhǔn)的SQL查詢語言來檢索數(shù)據(jù)，確保數(shù)據(jù)的易檢索性。
數(shù)據(jù)清洗策略
- 數(shù)據(jù)缺失值處理：對每個字段計算其缺失值比例，根據(jù)缺失比例和字段重要性進(jìn)行分別制定戰(zhàn)略。
- 數(shù)據(jù)值不匹配處理：以半自動校驗半人工方式來找出可能存在的問題，并去除不需要的字符。
- 數(shù)據(jù)重復(fù)處理：去重的主要目的是保留能顯示特征的唯一數(shù)據(jù)記錄，但需注意重復(fù)記錄的特殊用途。
- 數(shù)據(jù)不合理處理：利用分箱、聚類、回歸等方式發(fā)現(xiàn)離群值，然后進(jìn)行人工處理。
- 數(shù)據(jù)字段格式不統(tǒng)一處理：整合多種來源數(shù)據(jù)時，將其處理成一致的格式利于后期統(tǒng)一數(shù)據(jù)分析。
- 數(shù)據(jù)無用處理：若非必須，則不進(jìn)行非需求數(shù)據(jù)清洗。
數(shù)據(jù)治理
- 數(shù)據(jù)質(zhì)量計劃：了解大多數(shù)錯誤發(fā)生的位置，確定根本原因并構(gòu)建管理數(shù)據(jù)的計劃。
- 源端數(shù)據(jù)更正：在數(shù)據(jù)成為系統(tǒng)中的臟數(shù)據(jù)之前進(jìn)行修復(fù)。
- 測量數(shù)據(jù)準(zhǔn)確性：通過數(shù)據(jù)質(zhì)量監(jiān)控工具實現(xiàn)對企業(yè)數(shù)據(jù)的實時測量。
- 管理數(shù)據(jù)和重復(fù)項：主動檢測并刪除重復(fù)項，并進(jìn)行標(biāo)準(zhǔn)化、規(guī)范化處理。
- 補(bǔ)齊數(shù)據(jù)：定義和完成缺失信息的過程，使用可靠的第三方數(shù)據(jù)來源。
數(shù)據(jù)準(zhǔn)確性提升策略
- 數(shù)據(jù)清洗的好處：提高數(shù)據(jù)質(zhì)量、提升分析的準(zhǔn)確性、支持業(yè)務(wù)決策、減少存儲成本、確保數(shù)據(jù)時效性。
通過上述機(jī)制，historian數(shù)據(jù)庫能夠確保數(shù)據(jù)的準(zhǔn)確性，為工業(yè)領(lǐng)域的數(shù)據(jù)分析和應(yīng)用提供可靠的支持。
