節能減排監控系統的計算框架研究論文

　　摘要:海量采集數據的存儲和高并發(fā)訪(fǎng)問(wèn)、節能減排計算業(yè)務(wù)的快速增長(cháng)及計算邏輯的頻繁變化，使得目前基于Windows技術(shù)的計算框架的處理能力和擴展性成為節能減排系統應用深化過(guò)程中的瓶頸。針對遇到的問(wèn)題，設計了基于Linux系統、Hadoop大數據技術(shù)和Lua腳本驅動(dòng)的分布式計算框架，將復雜的計算業(yè)務(wù)拆分成彼此獨立的可重用計算組件，利用Lua腳本技術(shù)實(shí)現計算組件之間的關(guān)聯(lián)關(guān)系和計算組件的計算邏輯。目前，利用這種計算框架建立了節能減排計算平臺，為江蘇全省所有統調燃煤機組環(huán)保電價(jià)考核業(yè)務(wù)提供高吞吐量、高擴展性和高效可靠的計算服務(wù)。

　　關(guān)鍵詞:節能減排；分布式計算；腳本技術(shù)；Lua；Hadoop；HBase

　　江蘇省自2006年開(kāi)始建立了“燃煤機組煙氣脫硫實(shí)時(shí)監控及信息管理系統”，經(jīng)過(guò)多年的努力，先后建立起脫硫、脫硝、除塵等各類(lèi)節能減排應用。隨著(zhù)應用的深化，采集數據由最初的3000測點(diǎn)擴展到目前的40萬(wàn)測點(diǎn)。數據量隨之劇增。同時(shí)，計算業(yè)務(wù)也日趨復雜，算法邏輯頻繁調整，目前的數據庫服務(wù)器和計算服務(wù)器承受了巨大的資源壓力。為了解決當前出現的問(wèn)題，本文提出了一個(gè)基于大數據技術(shù)的節能減排分布式計算框架，要求能夠適應多變的業(yè)務(wù)需求以及高并發(fā)的數據處理要求。節能減排分布式計算框架是一套基于Linux系統、Hadoop大數據平臺，支持Lua腳本驅動(dòng)的計算平臺，它具有較高的擴展性和數據并發(fā)處理能力，支持海量數據存儲，能夠解決當前系統中遇到的各類(lèi)問(wèn)題。

　　1計算框架需求分析

　　節能減排分布式計算框架的建立是為節能減排系統服務(wù)的，數據計算模型與節能減排具體應用密切相關(guān)。目前主要考慮三種業(yè)務(wù)的計算模型。脫硫業(yè)務(wù)：對脫硫相關(guān)設備的測點(diǎn)數據進(jìn)行處理和統計，對統計結果進(jìn)行深層次的分析。脫硝業(yè)務(wù)：對脫硝相關(guān)設備的測點(diǎn)數據進(jìn)行處理和統計，對統計結果進(jìn)行深層次的分析。除塵業(yè)務(wù)：對除塵相關(guān)設備的測點(diǎn)數據進(jìn)行處理和統計，對統計結果進(jìn)行深層次的分析。

　　2系統整體架構

　　節能減排分布式計算框架構建在Linux操作系統上，在實(shí)現上分為三層結構：數據庫服務(wù)系統、公共服務(wù)系統、平臺服務(wù)系統，結構如圖1所示。

　　2.1數據庫服務(wù)系統

　　由大數據系統（Hadoop）和關(guān)系型數據庫系統（DB2）構成，其中大數據系統（Hadoop）是核心，關(guān)系型數據庫系統用于輔助支撐。Hadoop主要用于存儲歷史數據、結果數據、檔案數據、分布式計算框架管理數據。

　　2.2公共服務(wù)系統

　　公共服務(wù)系統是分布式計算框架的數據處理核心，負責數據訪(fǎng)問(wèn)驅動(dòng)接口、腳本驅動(dòng)引擎、安全處理、日志處理以及計算框架和應用的異常處理。根據分布式計算框架的特性，公共服務(wù)系統將會(huì )對外暴露出多個(gè)數據接口，用于上層應用的數據訪(fǎng)問(wèn)、數據處理、業(yè)務(wù)算法實(shí)現以及腳本驅動(dòng)。

　　2.3平臺服務(wù)系統

　　平臺服務(wù)系統包括：腳本編輯系統、平臺運行系統、輔助系統。腳本編輯系統具有業(yè)務(wù)算法配置、腳本編寫(xiě)和管理功能；平臺運行系統具有任務(wù)調度、執行功能，腳本編輯系統編寫(xiě)的腳本將通過(guò)運行系統驅動(dòng)；輔助系統包括外部歷史數據、檔案數據的導入和存儲。

　　3節能減排大數據中心

　　節能減排分布式計算框架將數據分成四類(lèi)，分別是：現場(chǎng)實(shí)時(shí)采集數據、計算結果、檔案數據、分布式計算框架管理數據。數據的存儲基于Hadoop系統的HBase數據庫。Hadoop的核心是HDFS和MapReduce，HDFS為海量數據提供存儲，MapReduce為海量數據提供檢索計算[1]。HBase是一個(gè)分布式的、面向列的開(kāi)源數據庫，它在Hadoop之上提供了非結構化的數據存儲能力[2]。

　　3.1現場(chǎng)實(shí)時(shí)采集數據

　　在分布式計算框架中，現場(chǎng)實(shí)時(shí)采集的數據存儲于歷史數據表中。節能減排分布式計算框架中最大測點(diǎn)數約40萬(wàn)，大部分測點(diǎn)數據的采集周期為每10秒，數據量巨大�？紤]到節能減排數據的規模以及大數據檢索性能，歷史數據表按年分表存儲。歷史數據存儲以測點(diǎn)編碼、小時(shí)時(shí)間為行檢索關(guān)鍵字，存儲對應小時(shí)的歷史數據，該測點(diǎn)的一個(gè)小時(shí)數據按四個(gè)列族方式存儲，每個(gè)列族存儲15分鐘數據。

　　3.2結果數據

　　結果數據包括節能減排相關(guān)計算業(yè)務(wù)的處理結果，包括脫硫、脫硝、除塵小時(shí)排放數據、考核數據和事件統計數據等。每種應用數據都是基于特定的計算單元（應用相關(guān)的具有內在邏輯關(guān)系的一組測點(diǎn)）的多個(gè)測點(diǎn)數據按照一定的邏輯關(guān)系計算所得，因而計算結果數據在Hadoop中的存儲以計算單元編碼、時(shí)間為檢索關(guān)鍵字，按照應用要求建立列族存儲結果數據。

　　3.3檔案數據

　　節能減排分布式計算框架的建立是為節能減排的各種應用服務(wù)，目前應用相關(guān)檔案數據主要是與電廠(chǎng)、設備、采集關(guān)系比較緊密的一些配置信息數據。各種檔案表中以檔案的'編碼為檢索關(guān)鍵字，根據具體的檔案信息建立列族存儲數據。

　　3.4分布式計算框架管理數據

　　分布式計算框架內除了需要處理的歷史數據外，還包括支撐系統運行的框架管理數據，如：賬戶(hù)數據、腳本信息數據、日志數據等。帳號數據是分布式計算框架中的登錄用戶(hù)信息，帳號信息作用于腳本任務(wù)執行的全過(guò)程。腳本信息數據是由腳本編輯系統生成的腳本信息，計算框架依賴(lài)腳本信息進(jìn)行任務(wù)調度和計算，并產(chǎn)生最終的結果數據。日志數據是計算框架根據規則產(chǎn)生的各種操作日志信息，方便數據回溯和跟蹤。

　　4分布式計算框架

　　節能減排分布式計算框架是基于Linux上Hadoop系統的計算平臺，是為了適應節能減排復雜多變的應用業(yè)務(wù)而開(kāi)發(fā)的、支持腳本編程的計算平臺，它以L(fǎng)ua腳本技術(shù)為支撐，融合了節能減排的計算業(yè)務(wù)特性。節能減排分布式計算框架的任務(wù)執行通過(guò)任務(wù)調度節點(diǎn)控制；任務(wù)調度節點(diǎn)將腳本發(fā)送給計算節點(diǎn)；計算節點(diǎn)調用底層的Lua腳本驅動(dòng)引擎完成任務(wù)執行。任務(wù)調度節點(diǎn)與計算節點(diǎn)之間的關(guān)系如圖2所示。圖2任務(wù)調度節點(diǎn)與計算節點(diǎn)之間的關(guān)系計算節點(diǎn)具有線(xiàn)性擴展性，可以根據需要任意增加節點(diǎn)數量。計算節點(diǎn)會(huì )將任務(wù)的執行情況反饋給任務(wù)調度節點(diǎn)，由任務(wù)調度節點(diǎn)更新數據庫中的任務(wù)狀態(tài)。

　　4.1任務(wù)調度節點(diǎn)

　　根據腳本編輯系統生成的腳本信息以及快照表中的測點(diǎn)最新數據時(shí)標信息，生成可以執行的腳本任務(wù)，并將腳本任務(wù)分派給計算節點(diǎn)。

　　4.2計算節點(diǎn)

　　接收任務(wù)調度節點(diǎn)分派的腳本任務(wù)，啟動(dòng)任務(wù)執行序列運行任務(wù)。每個(gè)計算節點(diǎn)中可以有多個(gè)任務(wù)執行序列并發(fā)執行腳本任務(wù)。

　　4.3任務(wù)執行序列

　　任務(wù)執行序列是計算節點(diǎn)中的最小任務(wù)執行單元，它從全局任務(wù)隊列中獲取任務(wù)，并將任務(wù)腳本分解為多個(gè)腳本塊，根據腳本塊之間的串聯(lián)關(guān)系依次調用Lua腳本驅動(dòng)引擎執行腳本塊。

　　4.4Lua腳本驅動(dòng)引擎

　　Lua是一門(mén)擴展式程序設計語(yǔ)言，它作為一個(gè)強大、輕量的嵌入式腳本語(yǔ)言，可供任何需要的程序使用。其最大的特點(diǎn)是：可擴展、簡(jiǎn)單、高效率、跨平臺[3]。在Lua腳本的基礎上，結合節能減排分布式計算框架的特點(diǎn)，對Lua接口進(jìn)行了擴充，使得腳本驅動(dòng)引擎能夠訪(fǎng)問(wèn)計算框架內的各種資源。擴充的接口包括：Hadoop訪(fǎng)問(wèn)接口、關(guān)系數據庫訪(fǎng)問(wèn)接口、內存控制接口、任務(wù)調度接口、任務(wù)執行接口、安全控制接口、日志管理接口。在分布式計算框架中，為了方便Lua腳本的編寫(xiě)，以及實(shí)現多設備、多應用之間的腳本共享，使用了以下兩種技術(shù)：1）腳本分塊。支持將一個(gè)腳本分解為多個(gè)腳本塊，每個(gè)腳本塊完成單一的功能，通過(guò)計算框架內部的執行序列實(shí)現腳本塊串聯(lián)。2）腳本塊共享。對于不同應用，可以將相同的計算功能定義為獨立的腳本塊，實(shí)現共享，減輕腳本編程工作量。

　　4.5Hadoop訪(fǎng)問(wèn)接口

　　Hadoop是一個(gè)能夠對海量數據進(jìn)行分布式處理的軟件框架，它具有可靠、高效的特性，且易于擴展。在Hadoop的基礎上，結合節能減排分布式計算框架的特性，對Hadoop的訪(fǎng)問(wèn)接口進(jìn)行了規劃，在節能減排大數據中心四類(lèi)數據之間實(shí)現了統一的數據訪(fǎng)問(wèn)接口。

　　5結論

　　基于Linux系統和大數據Hadoop平臺，以L(fǎng)ua腳本技術(shù)驅動(dòng)的節能減排分布式計算框架，通過(guò)計算節點(diǎn)的線(xiàn)性擴展能力提高了數據吞吐量，通過(guò)腳本分塊和共享技術(shù)提高了算法的兼容性和可擴展性，從而有效地解決了當前節能減排系統中海量數據并發(fā)操作和算法多變問(wèn)題。

　　作者:王其祥 周春蕾 孫栓柱 單位:江蘇方天電力技術(shù)有限公司

　　參考文獻

　　[1]TomWhite.Hadoop權威指南（2版），周敏奇，王曉玲，等，譯.2011.

　　[2]LarsGeorge.HBase權威指南.代志遠，劉佳，等，譯.2013.

　　[3]RobertoIerusalimschy.ProgramminginLua.2005.

【節能減排監控系統的計算框架研究論文】相關(guān)文章：

基于云計算的網(wǎng)絡(luò )監控系統研究論文10-31

制氧信息化系統與節能減排研究論文10-28

基于云計算的網(wǎng)絡(luò )監控系統研究分析論文10-31

鋼鐵企業(yè)節能減排研究論文10-25

工業(yè)鍋爐節能減排方法研究論文10-25

火電廠(chǎng)鍋爐節能減排研究論文10-26

我國節能減排政策傳導機制研究論文10-25

化工工藝節能減排技術(shù)研究論文10-26

合成氨工業(yè)節能減排研究論文10-29