節能減排監控系統的計算框架研究論文
摘要:海量采集數據的存儲和高并發(fā)訪(fǎng)問(wèn)、節能減排計算業(yè)務(wù)的快速增長(cháng)及計算邏輯的頻繁變化,使得目前基于Windows技術(shù)的計算框架的處理能力和擴展性成為節能減排系統應用深化過(guò)程中的瓶頸。針對遇到的問(wèn)題,設計了基于Linux系統、Hadoop大數據技術(shù)和Lua腳本驅動(dòng)的分布式計算框架,將復雜的計算業(yè)務(wù)拆分成彼此獨立的可重用計算組件,利用Lua腳本技術(shù)實(shí)現計算組件之間的關(guān)聯(lián)關(guān)系和計算組件的計算邏輯。目前,利用這種計算框架建立了節能減排計算平臺,為江蘇全省所有統調燃煤機組環(huán)保電價(jià)考核業(yè)務(wù)提供高吞吐量、高擴展性和高效可靠的計算服務(wù)。
關(guān)鍵詞:節能減排;分布式計算;腳本技術(shù);Lua;Hadoop;HBase
江蘇省自2006年開(kāi)始建立了“燃煤機組煙氣脫硫實(shí)時(shí)監控及信息管理系統”,經(jīng)過(guò)多年的努力,先后建立起脫硫、脫硝、除塵等各類(lèi)節能減排應用。隨著(zhù)應用的深化,采集數據由最初的3000測點(diǎn)擴展到目前的40萬(wàn)測點(diǎn)。數據量隨之劇增。同時(shí),計算業(yè)務(wù)也日趨復雜,算法邏輯頻繁調整,目前的數據庫服務(wù)器和計算服務(wù)器承受了巨大的資源壓力。為了解決當前出現的問(wèn)題,本文提出了一個(gè)基于大數據技術(shù)的節能減排分布式計算框架,要求能夠適應多變的業(yè)務(wù)需求以及高并發(fā)的數據處理要求。節能減排分布式計算框架是一套基于Linux系統、Hadoop大數據平臺,支持Lua腳本驅動(dòng)的計算平臺,它具有較高的擴展性和數據并發(fā)處理能力,支持海量數據存儲,能夠解決當前系統中遇到的各類(lèi)問(wèn)題。
1計算框架需求分析
節能減排分布式計算框架的建立是為節能減排系統服務(wù)的,數據計算模型與節能減排具體應用密切相關(guān)。目前主要考慮三種業(yè)務(wù)的計算模型。脫硫業(yè)務(wù):對脫硫相關(guān)設備的測點(diǎn)數據進(jìn)行處理和統計,對統計結果進(jìn)行深層次的分析。脫硝業(yè)務(wù):對脫硝相關(guān)設備的測點(diǎn)數據進(jìn)行處理和統計,對統計結果進(jìn)行深層次的分析。除塵業(yè)務(wù):對除塵相關(guān)設備的測點(diǎn)數據進(jìn)行處理和統計,對統計結果進(jìn)行深層次的分析。
2系統整體架構
節能減排分布式計算框架構建在Linux操作系統上,在實(shí)現上分為三層結構:數據庫服務(wù)系統、公共服務(wù)系統、平臺服務(wù)系統,結構如圖1所示。
2.1數據庫服務(wù)系統
由大數據系統(Hadoop)和關(guān)系型數據庫系統(DB2)構成,其中大數據系統(Hadoop)是核心,關(guān)系型數據庫系統用于輔助支撐。Hadoop主要用于存儲歷史數據、結果數據、檔案數據、分布式計算框架管理數據。
2.2公共服務(wù)系統
公共服務(wù)系統是分布式計算框架的數據處理核心,負責數據訪(fǎng)問(wèn)驅動(dòng)接口、腳本驅動(dòng)引擎、安全處理、日志處理以及計算框架和應用的異常處理。根據分布式計算框架的特性,公共服務(wù)系統將會(huì )對外暴露出多個(gè)數據接口,用于上層應用的數據訪(fǎng)問(wèn)、數據處理、業(yè)務(wù)算法實(shí)現以及腳本驅動(dòng)。
2.3平臺服務(wù)系統
平臺服務(wù)系統包括:腳本編輯系統、平臺運行系統、輔助系統。腳本編輯系統具有業(yè)務(wù)算法配置、腳本編寫(xiě)和管理功能;平臺運行系統具有任務(wù)調度、執行功能,腳本編輯系統編寫(xiě)的腳本將通過(guò)運行系統驅動(dòng);輔助系統包括外部歷史數據、檔案數據的導入和存儲。
3節能減排大數據中心
節能減排分布式計算框架將數據分成四類(lèi),分別是:現場(chǎng)實(shí)時(shí)采集數據、計算結果、檔案數據、分布式計算框架管理數據。數據的存儲基于Hadoop系統的HBase數據庫。Hadoop的核心是HDFS和MapReduce,HDFS為海量數據提供存儲,MapReduce為海量數據提供檢索計算[1]。HBase是一個(gè)分布式的、面向列的開(kāi)源數據庫,它在Hadoop之上提供了非結構化的數據存儲能力[2]。
3.1現場(chǎng)實(shí)時(shí)采集數據
在分布式計算框架中,現場(chǎng)實(shí)時(shí)采集的數據存儲于歷史數據表中。節能減排分布式計算框架中最大測點(diǎn)數約40萬(wàn),大部分測點(diǎn)數據的采集周期為每10秒,數據量巨大?紤]到節能減排數據的規模以及大數據檢索性能,歷史數據表按年分表存儲。歷史數據存儲以測點(diǎn)編碼、小時(shí)時(shí)間為行檢索關(guān)鍵字,存儲對應小時(shí)的歷史數據,該測點(diǎn)的一個(gè)小時(shí)數據按四個(gè)列族方式存儲,每個(gè)列族存儲15分鐘數據。
3.2結果數據
結果數據包括節能減排相關(guān)計算業(yè)務(wù)的處理結果,包括脫硫、脫硝、除塵小時(shí)排放數據、考核數據和事件統計數據等。每種應用數據都是基于特定的計算單元(應用相關(guān)的具有內在邏輯關(guān)系的一組測點(diǎn))的多個(gè)測點(diǎn)數據按照一定的邏輯關(guān)系計算所得,因而計算結果數據在Hadoop中的存儲以計算單元編碼、時(shí)間為檢索關(guān)鍵字,按照應用要求建立列族存儲結果數據。
3.3檔案數據
節能減排分布式計算框架的建立是為節能減排的各種應用服務(wù),目前應用相關(guān)檔案數據主要是與電廠(chǎng)、設備、采集關(guān)系比較緊密的一些配置信息數據。各種檔案表中以檔案的'編碼為檢索關(guān)鍵字,根據具體的檔案信息建立列族存儲數據。
3.4分布式計算框架管理數據
分布式計算框架內除了需要處理的歷史數據外,還包括支撐系統運行的框架管理數據,如:賬戶(hù)數據、腳本信息數據、日志數據等。帳號數據是分布式計算框架中的登錄用戶(hù)信息,帳號信息作用于腳本任務(wù)執行的全過(guò)程。腳本信息數據是由腳本編輯系統生成的腳本信息,計算框架依賴(lài)腳本信息進(jìn)行任務(wù)調度和計算,并產(chǎn)生最終的結果數據。日志數據是計算框架根據規則產(chǎn)生的各種操作日志信息,方便數據回溯和跟蹤。
4分布式計算框架
節能減排分布式計算框架是基于Linux上Hadoop系統的計算平臺,是為了適應節能減排復雜多變的應用業(yè)務(wù)而開(kāi)發(fā)的、支持腳本編程的計算平臺,它以L(fǎng)ua腳本技術(shù)為支撐,融合了節能減排的計算業(yè)務(wù)特性。節能減排分布式計算框架的任務(wù)執行通過(guò)任務(wù)調度節點(diǎn)控制;任務(wù)調度節點(diǎn)將腳本發(fā)送給計算節點(diǎn);計算節點(diǎn)調用底層的Lua腳本驅動(dòng)引擎完成任務(wù)執行。任務(wù)調度節點(diǎn)與計算節點(diǎn)之間的關(guān)系如圖2所示。圖2任務(wù)調度節點(diǎn)與計算節點(diǎn)之間的關(guān)系計算節點(diǎn)具有線(xiàn)性擴展性,可以根據需要任意增加節點(diǎn)數量。計算節點(diǎn)會(huì )將任務(wù)的執行情況反饋給任務(wù)調度節點(diǎn),由任務(wù)調度節點(diǎn)更新數據庫中的任務(wù)狀態(tài)。
4.1任務(wù)調度節點(diǎn)
根據腳本編輯系統生成的腳本信息以及快照表中的測點(diǎn)最新數據時(shí)標信息,生成可以執行的腳本任務(wù),并將腳本任務(wù)分派給計算節點(diǎn)。
4.2計算節點(diǎn)
接收任務(wù)調度節點(diǎn)分派的腳本任務(wù),啟動(dòng)任務(wù)執行序列運行任務(wù)。每個(gè)計算節點(diǎn)中可以有多個(gè)任務(wù)執行序列并發(fā)執行腳本任務(wù)。
4.3任務(wù)執行序列
任務(wù)執行序列是計算節點(diǎn)中的最小任務(wù)執行單元,它從全局任務(wù)隊列中獲取任務(wù),并將任務(wù)腳本分解為多個(gè)腳本塊,根據腳本塊之間的串聯(lián)關(guān)系依次調用Lua腳本驅動(dòng)引擎執行腳本塊。
4.4Lua腳本驅動(dòng)引擎
Lua是一門(mén)擴展式程序設計語(yǔ)言,它作為一個(gè)強大、輕量的嵌入式腳本語(yǔ)言,可供任何需要的程序使用。其最大的特點(diǎn)是:可擴展、簡(jiǎn)單、高效率、跨平臺[3]。在Lua腳本的基礎上,結合節能減排分布式計算框架的特點(diǎn),對Lua接口進(jìn)行了擴充,使得腳本驅動(dòng)引擎能夠訪(fǎng)問(wèn)計算框架內的各種資源。擴充的接口包括:Hadoop訪(fǎng)問(wèn)接口、關(guān)系數據庫訪(fǎng)問(wèn)接口、內存控制接口、任務(wù)調度接口、任務(wù)執行接口、安全控制接口、日志管理接口。在分布式計算框架中,為了方便Lua腳本的編寫(xiě),以及實(shí)現多設備、多應用之間的腳本共享,使用了以下兩種技術(shù):1)腳本分塊。支持將一個(gè)腳本分解為多個(gè)腳本塊,每個(gè)腳本塊完成單一的功能,通過(guò)計算框架內部的執行序列實(shí)現腳本塊串聯(lián)。2)腳本塊共享。對于不同應用,可以將相同的計算功能定義為獨立的腳本塊,實(shí)現共享,減輕腳本編程工作量。
4.5Hadoop訪(fǎng)問(wèn)接口
Hadoop是一個(gè)能夠對海量數據進(jìn)行分布式處理的軟件框架,它具有可靠、高效的特性,且易于擴展。在Hadoop的基礎上,結合節能減排分布式計算框架的特性,對Hadoop的訪(fǎng)問(wèn)接口進(jìn)行了規劃,在節能減排大數據中心四類(lèi)數據之間實(shí)現了統一的數據訪(fǎng)問(wèn)接口。
5結論
基于Linux系統和大數據Hadoop平臺,以L(fǎng)ua腳本技術(shù)驅動(dòng)的節能減排分布式計算框架,通過(guò)計算節點(diǎn)的線(xiàn)性擴展能力提高了數據吞吐量,通過(guò)腳本分塊和共享技術(shù)提高了算法的兼容性和可擴展性,從而有效地解決了當前節能減排系統中海量數據并發(fā)操作和算法多變問(wèn)題。
作者:王其祥 周春蕾 孫栓柱 單位:江蘇方天電力技術(shù)有限公司
參考文獻
[1]TomWhite.Hadoop權威指南(2版),周敏奇,王曉玲,等,譯.2011.
[2]LarsGeorge.HBase權威指南.代志遠,劉佳,等,譯.2013.
[3]RobertoIerusalimschy.ProgramminginLua.2005.
【節能減排監控系統的計算框架研究論文】相關(guān)文章:
基于云計算的網(wǎng)絡(luò )監控系統研究論文10-31
制氧信息化系統與節能減排研究論文10-28
基于云計算的網(wǎng)絡(luò )監控系統研究分析論文10-31
鋼鐵企業(yè)節能減排研究論文10-25
工業(yè)鍋爐節能減排方法研究論文10-25
火電廠(chǎng)鍋爐節能減排研究論文10-26
我國節能減排政策傳導機制研究論文10-25
化工工藝節能減排技術(shù)研究論文10-26
合成氨工業(yè)節能減排研究論文10-29