摘要：針對石油行業(yè)信息系統數據異構分布、形成信息孤島等問(wèn)題，設計了Web服務(wù)異構數據集成框架。在此基礎上，對Web服務(wù)異構數據集成算法展開(kāi)了研究，該算法對運行時(shí)的Web服務(wù)進(jìn)行評估，考慮了性能、可靠性等指標，選取最優(yōu)的Web服務(wù)作為數據集成服務(wù)，以提高數據集成的效率和效果。模擬實(shí)驗對數據集成的效果進(jìn)行了驗證，實(shí)驗結果表明本數據集成框架和算法能高效、可靠地解決石油行業(yè)異構數據集成問(wèn)題。
關(guān)鍵詞：石油行業(yè);數據集成;Web 服務(wù);可靠性;異構
中圖分類(lèi)號：TP311 文獻標識碼：A 文章編號：1009-3044（2019）03-0012-02
1 研究背景
信息的深化應用是XX石油公司在日益激烈的市場(chǎng)競爭中處于優(yōu)勢地位的關(guān)鍵。在信息化建設過(guò)程中，由于信息系統在不同的時(shí)期內建設，XX石油公司無(wú)法做到對核心數據庫和應用進(jìn)行規劃和分析，沒(méi)有形成圍繞核心數據庫進(jìn)行信息系統開(kāi)發(fā)的理念，由于內容標準驗證滯后，各個(gè)應用系統之間的數據定義和數據模型互為不同，應用接口和數據交換沒(méi)有標準;系統運行在不同的軟硬件平臺上，數據不能相互共享，歷盡艱辛建設的一個(gè)個(gè)IT支持系統變成了信息孤島。
因此，尋找一種對運行在不同操作系統、分布在不同網(wǎng)絡(luò )位置、不同廠(chǎng)商的數據庫的數據進(jìn)行集成的方法刻不容緩。另一方面，數據集成系統部署在動(dòng)態(tài)多變的網(wǎng)絡(luò )環(huán)境中，其面臨的環(huán)境變得更加復雜和不確定，因此數據集成系統的性能和可靠性保障也是需要解決的關(guān)鍵問(wèn)題。
2 研究現狀
為了實(shí)現企業(yè)數據資源的共享集成，已有學(xué)者在數據集成方面做了大量的工作。文獻[1]提出了數據倉庫的概念，即建立一個(gè)數據庫，由ETL（Extract， Transform and Load）工具定期從數據源過(guò)濾數據然后裝載到數據倉庫，供用戶(hù)查詢(xún)，但是該方法投入的費用昂貴，開(kāi)發(fā)周期長(cháng)，而且很難做到與數據源保持實(shí)時(shí)同步。為了實(shí)現異構平臺上的數據集成，各大廠(chǎng)商紛紛推出了自己的集成平臺，如IBM在2003年7月推出了DB2信息集成軟件[2]，目的是整合異構環(huán)境中的網(wǎng)絡(luò )信息;ODI（Oracle Data Integrator）是Oracle公司針對Oracle數據庫推出的數據集成平臺[3]，它能滿(mǎn)足用戶(hù)一般需求，支持高性能審批等優(yōu)點(diǎn);微軟公司推出的MSSIS（Microsoft SQL server2005 integration services） 是利用數據倉原理實(shí)現的[4]，是一種性能較高的集成平臺。這些解決方案存在的主要問(wèn)題是他們都是基于自己的產(chǎn)品進(jìn)行的數據集成，對其他廠(chǎng)家的數據庫兼容性不高。
XX石油公司的關(guān)鍵業(yè)務(wù)系統運行在不同的軟硬件平臺上，現有的解決方案無(wú)法滿(mǎn)足其數據集成的要求。因此，研究如何對XX石油公司的系統數據進(jìn)行全面的集成，對提升XX石油公司的信息化能力、提高員工和客戶(hù)的滿(mǎn)意度具有深遠的意義。
3 Web服務(wù)異構數據集成框架及算法
3.1 Web服務(wù)異構數據集成框架
XX石油公司關(guān)鍵業(yè)務(wù)系統的數據具有明顯的異構性和分布性，其平臺、數據格式和語(yǔ)義等方面存在較大差異。為了解決以上異構數據的集成問(wèn)題，本文采用Web 服務(wù)作為異構數據集成平臺關(guān)鍵技術(shù)。Web服務(wù)是使用SOAP進(jìn)行通訊 、使用UDDI進(jìn)行發(fā)布和使用WSDL進(jìn)行描述的一種新型的分布式計算模型[5]。Web服務(wù)是一項新型技術(shù)，它最大的優(yōu)點(diǎn)是使分布在網(wǎng)絡(luò )上運行在不同操作系統、使用不同編程語(yǔ)言的應用程序無(wú)須借助第三方軟件或硬件，通過(guò)標準的XML消息傳遞機制，可實(shí)現數據集成、數據交換等操作，因此本文采用Web服務(wù)關(guān)鍵技術(shù)對異構數據進(jìn)行集成是可行的。
本文采用的是虛擬化視圖法中的中介系統（Mediated System）體系結構進(jìn)行數據集成[6]，其工作方式是用戶(hù)只需訪(fǎng)問(wèn)中介系統的地址，無(wú)須了解各數據源的訪(fǎng)問(wèn)方法、模式和位置。圖1是本文的基于中介系統的數據集成框架。在整個(gè)框架中主要模塊有Web服務(wù)數據集成中介（Web Services data integration medium），Web服務(wù)應用服務(wù)器群（Web service application server）和UDDI。
數據集成中介平臺的主要功能是攔截用戶(hù)的消息，解釋消息的內容、調用相應遠端的Web服務(wù)進(jìn)行數據抽取并實(shí)現相應的業(yè)務(wù)邏輯，最后把結果返回給用戶(hù)。同時(shí)為了提高數據集成的可靠性和性能，在企業(yè)廣域網(wǎng)內同時(shí)發(fā)布多個(gè)功能相同的Web服務(wù)，并對Web服務(wù)的存活情況、性能等狀態(tài)進(jìn)行實(shí)時(shí)監測，以便挑選出性能、可靠性最高的服務(wù)對異構數據進(jìn)行抽取和組合。具體包括：1）SOAP消息攔截器（Message Interceptor，MI），其功能是對用戶(hù)請求消息進(jìn)行攔截，并把數據集成后的處理結果返回給用戶(hù); 2）情境感知器（Context Detector，CD）負責探測遠端Web服務(wù)的運行時(shí)狀態(tài)，如執行時(shí)間、性能、可靠性等指標;3）業(yè)務(wù)邏輯執行器（Business Logic Actuator， BLA），數據集成業(yè)務(wù)通過(guò)Web服務(wù)組合來(lái)完成，BLA負責把用戶(hù)請求分解，調用相關(guān)的Web服務(wù)進(jìn)行數據抽取，并根據業(yè)務(wù)邏輯對數據進(jìn)行計算和集成;4）集成數據庫（Integrated Database，ID）主要的作用是保存數據抽取的中間結果、運算后的最終結果和Web服務(wù)評價(jià)結果，同時(shí)還保存集成業(yè)務(wù)系統的重要數據;5）失效檢測器（Failure Detector，FD）負責定期向遠端Web服務(wù)發(fā)送SOAP消息，以獲取其存活狀態(tài)。
Web服務(wù)應用服務(wù)器群部署核心數據抽取Web 服務(wù)，負責對數據庫服務(wù)器（Database server）上的數據進(jìn)行抽取。為了提高數據集成的性能和可靠性，Web服務(wù)采用冗余的方式進(jìn)行部署，即在多臺服務(wù)器中部署功能相同的Web服務(wù)。圖1中的WS1表示數據庫1（Data Server 1）的數據抽取Web服務(wù)，WS2表示數據庫2的數據抽取Web服務(wù)，依此類(lèi)推……核心Web服務(wù)發(fā)布到企業(yè)私有的UDDI服務(wù)器上，并以服務(wù)組（Service Group）的方式對功能相同的Web服務(wù)進(jìn)行管理，數據集成中介平臺與UDDI交換獲取服務(wù)組成員。
3.2 服務(wù)選擇算法和集成算法
關(guān)鍵業(yè)務(wù)系統進(jìn)行數據集成后所面臨的環(huán)境更加復雜、應用動(dòng)態(tài)變化，為了提高數據集成的可靠性，在眾多功能相同的Web服務(wù)中尋找一個(gè)負載率、可靠性、集成速度最優(yōu)Web服務(wù)作為數據抽取服務(wù)是關(guān)鍵的，以下是Web服務(wù)選擇算法描述：
綜上數據集成框架和運行時(shí)因素評估的Web服務(wù)選擇算法，提出了本文的基于多因素運行時(shí)評估的異構數據集成算法HDIRE（HeterogeneousData Integration algorithm based on Runtime factors Evaluation），其核心思想是在中介系統中記錄每個(gè)服務(wù)執行任務(wù)所需的時(shí)間、可靠性等要素，并對這些要素進(jìn)行計算，最終選擇最優(yōu)的服務(wù)作為數據集成服務(wù)，算法的執行過(guò)程是：1）用戶(hù)首先訪(fǎng)問(wèn)Web服務(wù)數據集成中介，集成中介的攔截器（MI）攔截用戶(hù)消息，業(yè)務(wù)邏輯執行器（BLA）解釋用戶(hù)消息，對用戶(hù)消息進(jìn)行分解，分解后得到相應所需的數據源;2）根據CD對運行時(shí)Web服務(wù)的評估情況，選取性能、可靠性最高服務(wù)作為數據的抽取服務(wù);3）數據抽取完畢后BLA對業(yè)務(wù)邏輯進(jìn)行處理，并把處理結果返回給用戶(hù)。
4 異構數據集成在石油行業(yè)中的應用驗證
我們把設計好的原型系統部署在石油企業(yè)的廣域網(wǎng)中進(jìn)行驗證，選取兩個(gè)運行環(huán)境差別很大的業(yè)務(wù)系統進(jìn)行異構數據集成。中介系統部署在8核CPU、64G內存、操作系統是Windows2008上;UDDI服務(wù)部署在另一個(gè)服務(wù)器上。本實(shí)驗是對業(yè)務(wù)系統A的數據和業(yè)務(wù)系統B的數據進(jìn)行集成，自動(dòng)集成這兩個(gè)業(yè)務(wù)系統的銷(xiāo)售數據。業(yè)務(wù)系統A的數據庫是Sybase，運行在A(yíng)IX操作系統中;業(yè)務(wù)系統B的數據庫Oracle，操作系統是LINUX。每個(gè)系統的數據集成功能對應一個(gè)Web服務(wù)，為提高Web服務(wù)的可靠性，每個(gè)Web服務(wù)部署2個(gè)副本，通過(guò)UDII進(jìn)行發(fā)布供中介系統調用，中介系統實(shí)時(shí)對這兩個(gè)副本進(jìn)行失效檢測和對其性能、負載、執行時(shí)間等指標進(jìn)行實(shí)時(shí)評估，選擇存活并且性能較好的Web服務(wù)作為數據集成服務(wù)。當用戶(hù)點(diǎn)擊數據集成界面的銷(xiāo)售數據集成按鈕時(shí)，A業(yè)務(wù)系統和B業(yè)務(wù)系統的銷(xiāo)量便能顯示出來(lái)，達到了數據集成預期的效果。
為了測試本文HDIRE算法的性能，本文采用Loadrunner性能測試軟件模擬1000個(gè)用戶(hù)同時(shí)訪(fǎng)問(wèn)數據集成平臺，在實(shí)驗中將統計用戶(hù)請求平均響應時(shí)間，分別進(jìn)行兩種情形測試：1）不考慮運行時(shí)因素的數據集成算法（標記為Normal-DI）;2）本文的HDIRE算法。測試結果如圖2所示：
從實(shí)驗結果看出，一方面，本文的數據集成研究可以對運行在不同操作系統的異構數據集進(jìn)行集成;另一方面，由于本文考慮了對運行時(shí)的性能和可靠性進(jìn)行評估，即在服務(wù)組中挑選出一個(gè)可靠性、性能最高的Web服務(wù)進(jìn)行數據集成，所以減少了用戶(hù)請求的平均響應時(shí)間。
5 結論
本文從XX石油公司的信息系統實(shí)際出發(fā)，研究現有系統的數據集成、共享等問(wèn)題。在研究過(guò)程中我們結合目前比較流行的Web服務(wù)技術(shù)和虛擬化視圖，提出了Web服務(wù)數據集成框架，在此框架基礎上給出了數據集成算法，該算法考慮了Web服務(wù)的可靠性、執行時(shí)間和性能，目標是提高數據集成的性能和可靠性。模擬實(shí)驗表明，本文的解決方案一方面可對異構數據進(jìn)行集成，另一面在數據集成質(zhì)量保障方面獲得較好的優(yōu)化效果。
參考文獻：
[1] Ab1teboul，Agrawal，Bernstein P， Carey M， Ceri S， Croft B. The Lowell Database Research Self-Assessment Meeting[C]. Lowell Massachusetts，2003.
[2]劉軍.IBM DB2 簡(jiǎn)介[EB/OL].http：//soft.chinabyte.com/23/8288023.shtml，2008-09-01/2010-3-10.
[3]Mark Rittman.實(shí)時(shí)數據集成簡(jiǎn)介[EB/OL].
http：///technology/global/cn/artieles/rittman-odi.html，2010-03-10/2010-3-10.
[4]Microsoft.概述（Integration Services）[EB/OL]. http：//msdn.microsoft.com/zh-cn/library/ms14126.aspx，2009-07/2010-3-10.
[5] 范小芹，蔣昌俊，王俊麗，等.隨機QoS感知的可靠Web服務(wù)組合[J].軟件學(xué)報，2009，20（3）：546-556.
[6] Wu W，Yu C，Doan A，Meng W.An Interactive Clustering-based Approach to Integrating Source Query Interfaces on the Deep Web. Porc. Of the ACM SIGMOD Int’l Conf.on Management of Data（SIGMOD 2004）[C].ACM Press，2004：95-106.
【通聯(lián)編輯：代影】
