計算機數據管理論文

　　在網絡環境下，計算機數據與日俱增，給企業帶來數據量的急劇上升的同時，也帶來了數據如何管理的問題。下面是學習啦小編給大家推薦的計算機數據管理論文，希望大家喜歡!

　　計算機數據管理論文篇一

　　《數據倉庫數據源管理研究與實踐》

　　摘 要：論述數據倉庫系統數據源管理的意義、對象、內容和方法，基于此，開發建設數據源管理系統，并應用到對ERP系統業務數據的接入管理，取得預期的成效。

　　關鍵詞：數據倉庫 數據源 數據源管理

　　中圖分類號：TP392 文獻標識碼：A 文章編號：1007-3973(2013)012-202-03

　　1 引言

　　數據倉庫(Data Warehouse)是所有DSS(Decision Support System)處理的基礎，是一個面向主題(Subject Oriented)的、集成的(Integrated)、相對穩定的(Non-Volatile)、反映歷史變化(Time Variant)的數據集合，用于支持管理決策。一般來說，數據倉庫應具有以下幾個方面的作用：(1)存儲企業級的基礎數據和共享數據;(2)為各業務應用系統提供共享數據;(3)為業務部門提供綜合數據查詢分析功能;(4)為企業管理層提供分析決策信息。

　　數據倉庫系統的數據一般是通過數據源從業務源系統中抽取，由此數據源是數據獲取的首要環節和關鍵點，當面對眾多業務源系統，面對海量數據的抽取時，就迫切需要一套完整高效的方法和工具對數據源進行管理，為數據倉庫系統數據的準確性、完整性和及時性提供支持。

　　2 數據源管理概述

　　2.1 數據源定義

　　數據源是指業務源系統(以下簡稱源系統)中向數據倉庫提供業務數據的技術對象，數據倉庫系統通過數據源來抽取源系統中的業務數據。在源系統中，數據源可以是各種技術對象，如數據庫表、視圖、XML文件、文本文件或程序等。

　　相對應的，在數據倉庫系統中一般也有相應的技術對象對應于源系統中的數據源，用于存儲業務源系統的數據。在源系統和數據倉庫系統之間存在著各種數據傳輸技術和工具，用來進行數據抽取和傳輸，比如各種專業化的數據抽取工具(ETL)、WebService技術、數據庫連接技術(DB Connect)等等。

　　2.2 數據源管理意義

　　數據源管理是數據倉庫數據管理的重要組成部分，更是數據接入管理的主要內容。數據源管理的目標是：(1)確保數據倉庫系統能準確、完整和及時地接收到業務數據，防止因數據源變更對數據倉庫數據造成的各種不良影響。(2)讓業務人員、信息管理人員和技術人員等各級各類人員清楚地了解和知曉數據倉庫系統已接入了哪些業務數據，為業務人員與技術人員建立起溝通的橋梁。(3)減少因不了解數據倉庫系統數據而造成的數據重復接入、重復建設或利用不充分等現象，促進數據倉庫系統數據模型的完善提升和數據共享能力提高。

　　3 數據源管理的對象、內容和方法

　　3.1 數據源管理的對象

　　3.1.1 數據源

　　數據源涉及到數據的業務類別、數據結構、抽取方式等信息，可分類歸納為業務屬性、技術屬性、數據項屬性和運行屬性四類，以反映數據源的各方面內容。

　　業務屬性用于說明數據源所涉及的業務數據情況，比如是哪些種類的業務數據，什么業務邏輯條件、組織條件和時間條件下的業務數據，這是數據源管理的核心價值所在。數據源業務屬性主要通過數據源名稱和數據源描述來表達，此外還包含數據的業務類別(比如財務類、營銷類等)、數據業務類型(比如主數據、交易數據等)等信息。

　　數據項屬性是指數據源中可提供的業務數據項(也稱字段)信息，主要有數據項的技術名稱、中文名稱、說明、數據類型、數據長度、小數位數、關鍵字標識等。

　　技術屬性是指數據源的物理實現，說明數據源的技術對象和類型，主要包括：數據源對象的技術名稱;技術類型，如表、視圖等;當前版本;使用狀態，如在用、未用、廢棄;增量支持，說明數據源是否支持以增量方式提供數據。

　　運行屬性指數據倉庫系統基于數據源抽取業務數據的相關具體信息。運行屬性往往是根據業務、技術和管理的需要而確定的，并且往往是設置在數據抽取工具上。運行屬性通常包括：數據的抽取頻率和觸發時間;數據的抽取方式，分為全量或增量，全量是指抽取數據源中的全部數據，增量是指抽取數據源中自上次抽取后變化的業務數據;推送方式，分為推、送兩種方式，推是指源系統主動發起數據的傳輸，拉是指數據倉庫系統主動發起數據的傳輸;數據傳輸技術，是指數據傳輸的技術方式，包括WebService、RFC、數據庫直連(DBLINK)、ETL工具等。

　　3.1.2 數據源構造對象

　　一個數據源本身往往是由程序、表或視圖等多個技術對象構建而成，這些技術對象是數據源的構造對象。顯然構造對象的變化會對數據源產生影響。事實上這些構造對象本身也可能存在依賴關系，并且是多對多的依賴關系。同樣，對這些技術對象需要關注其技術名稱、技術類型和主要功能作用。

　　3.2 數據源管理的內容

　　數據源管理的主要工作應包括配置管理，變更管理和運行管理等。此外基于數據源管理的特點，從實際工作角度出發還應區分清楚數據源管理的分工職責等。

　　3.2.1 配置管理

　　數據源配置管理的主要任務是建立起數據源配置清單，記錄數據源的各項屬性信息，分析和記錄數據源及其構造對象之間的相互依賴關系。數據源配置清單的建立是數據源管理的基礎工作。數據源配置清單可以服務于各級各類人員，業務管理人員可以了解數據中心從業務系統抽取了哪些數據，項目實施人員可以充分了解和共享現有數據，避免重復建設，信息運維人員可以了解數據接入情況，以及數據源詳細配置。

　　3.2.2 變更管理

　　數據源變更管理是數據源管理的重點，能否及時發現數據源變更，并能夠有效處理變更。這直接關系到數據抽取的準確性、完整性和及時性。數據源變更的情況有三類：(1)技術對象構造的變化，這是指數據源或其構造對象在邏輯結構上的變化，這類變化往往會直接導致數據抽取任務失敗，運維人員比較容易發現數據抽取錯誤，進而進行排查分析解決，實際工作中這類錯誤最為常見;(2)單純的業務邏輯變化，比如一個業務代碼及其邏輯含義的變化，這類變化一般不會導致數據抽取任務的失敗，錯誤很隱秘，因而也很難發現，往往是最終用戶通過應用功能發現數據存在離譜現象，才能逐步分析解決，而且整個排查分析過程也會很艱難，實際工作中這種情況也存在;(3)信息系統的物理變化，比如服務器有調整，IP地址或域名有變化等，這類錯誤一般是立刻容易發現的，也比較容易解決，在實際工作中較少發生。

　　變更管理的主要任務就是解決以下幾個問題：(1)及時發現數據源的變更，這是數據源管理的難點。及時發現是指在應用變更之前盡早發現它們對數據源的影響，這需要以知曉數據源(及其構造對象)的變更之處為前提。(2)分析數據源變更的影響。在發現數據源有變更之后，應盡快分析數據源變更的影響，判斷數據源變更對數據倉庫系統的影響范圍、程度和具體技術對象。(3)提出數據源變更影響的解決方案。在數據源變更之前，應盡快提出相應的解決方案來消除或減輕對數據倉庫系統造成不良影響，解決方案的實施應與數據源變更相協調一致。(4)及時調整維護數據源配置清單。最后應及時調整維護數據源配置清單，使配置清單始終能反映系統實際狀況。總之，一個高水平的管理是應該盡量做到數據源變更前及時發現，迅速完成變更影響分析，有效提出解決方案，并有序加以實施。

　　3.2.3 運行管理

　　運行管理主要任務是監控數據源運行情況。了解數據源運行參數，包括運行頻率、觸發時間、抽取方式、數據傳輸技術等。關注數據源運行結果，確保數據倉庫及時準確地抽取到源系統業務數據。分析數據源運行效率，了解數據抽取過程中耗用的時間和消耗系統資源情況。通過監測數據源運行情況，合理調整數據源配置與抽取策略，提高數據接入質量，改善系統運行效率。

　　3.2.4 分工協作

　　由于數據源存在于業務源系統中，并且對數據倉庫系統有著緊密的聯系。因此，業務源系統和數據倉庫系統兩端都必須開展數據源管理，明確分工，各盡其責，密切溝通，協調一致，通力合作，只有這樣才能管理好數據源，才能有效提高數據抽取的準確性和可靠性。

　　業務源系統技術人員應研究數據源及其構造對象的結構、狀態及相互依賴關系，建立和維護數據源配置清單;在源系統變更實施前，應充分了解技術對象的變更情況，分析它們對數據源可能造成的影響，并及時通知數據倉庫系統技術人員。數據倉庫系統技術人員應及時分析數據源變化對數據倉庫系統造成的影響，并與業務源系統技術人員協調一致，明確相應的解決方案，有序進行數據源的變更。

　　3.3 數據源管理的方法

　　要做好數據源管理還需采取必要的信息化工具，通過工具的應用，實現手工管理無法實現的任務，提升數據源管控效率。

　　(1)采用信息化工具是實現數據源管理要求的必然體現。業務系統的數據源及其關聯對象數量龐大，復雜的系統往往具有數千個技術對象，技術對象之間存在著大量的邏輯關系，依靠手工管理是很難做到準確和高效，難以實現數據源變更影響分析等要求。(2)企業往往有多個業務源系統，有各自不同數據源，通過信息化的手段可以把不同業務源系統的數據源統一地整合起來，進而可以較為完整地反映企業數據的整體狀況。(3)通過信息化工具，可以實現數據源信息共享，滿足業務、信息和技術等各級各類人員對信息管理的不同要求。

　　4 數據源管理實踐

　　基于上述數據源管理的理念，以某公司SAP BW數據倉庫為例，將SAP ERP系統數據源作為切入點，設計開發了一套數據源管理系統，系統架構見圖1。數據源管理系統由應用功能、數據庫和接口三部分組成。應用功能主要實現數據源查詢展現、維護同步和變更預警等功能;數據庫主要存儲了數據源及其相關信息;接口部分主要實現對ERP系統數據源技術對象的獲取。

　　4.1 系統主要功能

　　4.1.1 數據源查詢

　　數據源查詢實現數據源信息共享。用戶可以設置條件以樹狀導航方式查看數據源清單，對業務人員來說，著重關注數據源的業務含義，如數據源名稱、業務類別、數據源描述、來源系統等;對信息管理和技術人員來說，在了解掌握業務含義的基礎上，可進一步了解數據源的技術細節，如數據源的來源系統、技術名稱、技術類型、抽取方式、抽取技術、抽取頻率等，有利于數據源的管理、開發和運維工作。

　　4.1.2 數據源同步

　　數據源同步是一項關鍵功能，實現ERP系統數據源配置信息自動同步到數據源管理系統。它可自動獲取ERP系統的數據源對象技術信息，輔以人工分析和說明數據源技術對象的業務屬性，更新數據源管理系統中的數據源信息，保證數據源管理系統與ERP系統技術對象的一致性。該項功能可以顯著地減少數據源信息維護工作量，同時也為數據源變更預警功能奠定基礎。

　　4.1.3 數據源變更預警

　　數據源變更預警實現ERP系統數據源及其構造對象變更自動提醒。該功能將列出ERP系統中數據源結構或數據原表等技術對象的最新變化，通過人工甄別，分析這些變化對BW數據源造成的影響，以便能對相關數據源及數據倉庫相關模型進行及時調整，減少對數據倉庫數據抽取的不良影響。

　　4.2 關鍵技術

　　實現數據源管理系統要解決以下幾個主要技術難點：(1)需要研究ERP業務系統的數據源技術對象存儲方式，這需要跟蹤系統的內部結構，不斷進行驗證測試，才能掌握數據源存儲方式。(2)需要研究數據源的構造對象，厘清數據源與構造對象的對應關系，這項工作已經涉及到源系統內部的數據邏輯結構的研究。(3)研究和建立數據源變更自動預警機制，能夠及時發現源系統數據源或其構造對象的更變，并在數據源系統自動提示，該項工作是系統建設的關鍵，也是技術難點。

　　4.3 實踐成效

　　數據源管理系統投入運行后，顯著提升了ERP系統數據源管理能力。(1)各級各類人員很容易就能掌握ERP系統中哪些數據接入了數據倉庫，以及所有相關的業務、技術、運行情況等信息，為滿足數據共享需求，以及技術和業務人員之間的溝通提供了條件。(2)對數據源整體情況的掌握，直接避免了因難以了解數據接入現狀而導致數據源重復開發的問題，促進了數據共享水平提升。(3)數據源變更事前預警功能達到變更提醒100%準確，避免了因各種變更導致數據不能正常更新到數據倉庫的問題，從根本上彌補了ERP系統數據源變更管理的空白。

　　5 總結與展望

　　本文對數據源管理的對象和內容進行了分析和定義，開創性地提出了建立數據源配置清單及數據源變更事前預警功能，并將相關理念用于實踐，取得了顯著成效。后續可拓展實踐領域，將其運用到各種異構的源系統數據源管理中，且可延伸管理范圍，進一步分析構建數據模型和數據輸出相關管理功能，實現數據流全過程管理。

　　參考文獻：

　　[1] William H. Inmon.Building the Data Warehouse[M].4th ed.New York：Wiley，2005.

點擊下頁還有更多>>>計算機數據管理論文