探析Hadoop 技術(shù)在鐵路信息化建設中的作用論文
前言
我國鐵路信息化建設經(jīng)過(guò)幾十年的發(fā)展，已經(jīng)形成多個(gè)較為未穩定的系統，如辦公自動(dòng)化系統(OA)、運輸生產(chǎn)計劃系統(FOMS)、鐵路運輸管理信息系統(TIMS)、鐵路列車(chē)調度指揮系統(TDCS)、鐵路車(chē)輛管理系統(CMIS)、鐵路客票發(fā)售和預定系統(PMIS)、機務(wù)、工務(wù)、電務(wù)等管理信息系統以及中國鐵路總公司站和12306鐵路客戶(hù)服務(wù)中心等，提高了鐵路管理和決策的智能化程度，但在鐵路信息化建設之初，由于缺乏統籌規劃，各信息系統的建設通常以業(yè)務(wù)部門(mén)為界限，各個(gè)系統之間的業(yè)務(wù)協(xié)同及數據交互處于割裂狀態(tài)，隨著(zhù)業(yè)務(wù)領(lǐng)域的不斷拓展，由于各時(shí)期所采用的開(kāi)發(fā)技術(shù)互不相同，硬件及平臺的異構性等原因暴露出鐵路在信息化建設方面存在的一些問(wèn)題：
(1)由于各個(gè)業(yè)務(wù)信息系統是獨立建設的，每個(gè)都自成體系，導致各個(gè)系統間包括系統內的信息資源不能實(shí)現有效整合。系統軟件專(zhuān)用，數據庫獨立，信息難以共享，綜合利用難度巨大。
(2)由于缺乏前期規劃，各業(yè)務(wù)信息系統的協(xié)議、編碼和接口規范不統一，難以實(shí)現信息共享和交換，對突發(fā)事件難以快速響應。
(3)各業(yè)務(wù)系統的操作系統存在非常大的異構性，操作系統有UNIX、Windows 等，也有大型機操作系統。
(4)數據庫管理系統也存在多種不同，如SQLServer、DB2、Oracle等，各部門(mén)之間數據資源共享很難實(shí)現。
1 Hadoop 分布式系統
隨著(zhù)數據容量、數據維度的爆炸式增長(cháng)，傳統模式的數據處理方式已經(jīng)難以滿(mǎn)足數據分析、業(yè)務(wù)處理等在處理效率、響應速度等方面的要求，在這種情況下，大數據與云計算的概念便應運而生。在鐵路領(lǐng)域，全國鐵路數據同樣滿(mǎn)足了容量巨大、維度復雜的特點(diǎn)，同時(shí)鐵路行業(yè)對業(yè)務(wù)響應的要求也滿(mǎn)足了價(jià)值豐富、響應快速的特性，這些均說(shuō)明大數據與云計算的方式在該領(lǐng)域同樣適用。但是當前我國鐵路還停留在傳統的數據存儲形式，系統設計與實(shí)現也停留在傳統模式中，因此將大數據、云計算等先進(jìn)的技術(shù)應用于鐵路運輸領(lǐng)域是十分必要的。
Hadoop 是一個(gè)能夠對大量數據進(jìn)行分布式處理的軟件框架，能夠使用戶(hù)在不了解分布式底層的情況下，開(kāi)發(fā)分布式程序，充分利用集群的威力高速運算與存儲數據。與常規系統相比，Hadoop 采用并行執行機制，大大提高了運算效率。并且Hadoop 在檢驗應用層，處理異常錯誤等方面充分考慮了“硬件故障是常態(tài)而非異態(tài)”的理念，利用集群實(shí)現了高容錯率的特性。
通過(guò)Hadoop 集群視圖不難發(fā)現，在Hadoop 架構中，存在大量的數據節點(diǎn)，每個(gè)數據節點(diǎn)都被管理節點(diǎn)按照某種規則分配一定的任務(wù)。在這種情況下，所有節點(diǎn)(或者所有活躍節點(diǎn))進(jìn)行并行運算，用以解決復雜的大數據問(wèn)題。我國鐵路有6000 多個(gè)鐵路車(chē)站，且在鐵路運輸中的作用各不相同，這就造成了鐵路數據存儲、業(yè)務(wù)處理方面存在操作困難、反應遲緩等問(wèn)題。以車(chē)站為單位作為數據節點(diǎn)，或按照某種方式將車(chē)站進(jìn)行分類(lèi)形成節點(diǎn)區域恰恰能夠滿(mǎn)足Hadoop 架構中的數據節點(diǎn)(DateNode)要求。同時(shí)，我國鐵路行業(yè)現行管理機制較為集中，在中國鐵路總公司層面建立相應的名字節點(diǎn)(NameNode)能夠保證核心部門(mén)對全國鐵路運輸狀況進(jìn)行統籌規劃與管理。
從軟件資源、硬件資源的角度來(lái)看，Hadoop 大數據框架有兩個(gè)主要特征：
(1)異構性
a.Hadoop 所依賴(lài)的網(wǎng)絡(luò )環(huán)境可以是異構的。目前對Hadoop 集群的應用主要集中在局域網(wǎng)內部。各種類(lèi)型的局域網(wǎng)，運行不同的協(xié)議，這些不同協(xié)議的子網(wǎng)互聯(lián)成廣域網(wǎng)。
b. 組成Hadoop 集群的服務(wù)器硬件資源是異構的。分布式系統由不同硬件類(lèi)型的服務(wù)器組成，導致存儲和運算資源分配的不同。
c.服務(wù)節點(diǎn)所處的.軟件環(huán)境是異構的。服務(wù)器的操作系統可以運行Windows、Unix、Linux 等不同OS。同時(shí)，服務(wù)所使用的編程語(yǔ)言也可以不同，服務(wù)間通過(guò)協(xié)議接口進(jìn)行通
(2)服務(wù)節點(diǎn)共享資源
資源共享是形成分布式系統的主要動(dòng)力。在Hadoop 大數據集群中，數據資源分散存儲于不同物理服務(wù)器的磁盤(pán)上。在物理視圖上，數據是分散存儲的，而在邏輯視圖上，數據則是全局的統一的。這就是說(shuō)，數據“分布式存儲”這一特性對用戶(hù)來(lái)說(shuō)是透明的。
2 Hadoop 分布式系統的安全性
鐵路應用Hadoop 技術(shù)的存在著(zhù)一定的安全風(fēng)險。首先，系統本身存在如網(wǎng)絡(luò )攻擊、系統漏洞等安全風(fēng)險;其次，客戶(hù)的隱私數據面臨泄露風(fēng)險。鐵路企業(yè)既能夠獲取旅客和貨主的身份證號碼、聯(lián)系方式等基礎信息，又可以通過(guò)數據挖掘出旅客和貨主深層次的運輸習慣等信息。
針對上述問(wèn)題，首先應建立嚴格的數據存儲機制，并對數據存儲選擇加密性能比較高的加密算法進(jìn)行加密，同時(shí)采用數據安全隔離技術(shù)，如物理隔離、虛擬化和Multi-tenancy 等方式;其次建立嚴格的數據訪(fǎng)問(wèn)控制機制，使用技術(shù)手段依據不同權限做好敏感數據如客戶(hù)的名字、身份證號、聯(lián)系方式等的消隱工作;最后做好數據備份與恢復工作，實(shí)現快速的虛擬機恢復，支持文件級完整與增量備份。
3 結束語(yǔ)
綜上所述，Hadoop 技術(shù)實(shí)現了全路信息的資源共享，降低了投資成本和維護成本;各部門(mén)可根據自身發(fā)展需要，實(shí)現資源動(dòng)態(tài)配置，有效降低投資成本，簡(jiǎn)化內部管理;各業(yè)務(wù)部門(mén)實(shí)現信息高度共享，既提高了生產(chǎn)效率，又增加了部門(mén)參與生產(chǎn)與決策的積極性。
【探析Hadoop 技術(shù)在鐵路信息化建設中的作用論文】相關(guān)文章：
信息科在醫院信息化建設中的作用論文08-26
地面數字電視技術(shù)的作用探析論文08-24
林業(yè)技術(shù)發(fā)展在林業(yè)建設中的重要作用論文05-09
林業(yè)建設中林業(yè)技術(shù)發(fā)展的重要作用論文05-09
鐵路運輸中技術(shù)創(chuàng )新作用論文09-25
齊國服飾對后世的作用探析論文10-17
信息化技術(shù)論文04-05