基于Hadoop平臺的課程云系統開(kāi)發(fā)研究論文
摘要：隨著(zhù)信息化教學(xué)的推進(jìn)， 高校在信息化教學(xué)的發(fā)展和進(jìn)步， 已積累大量課程資源和課程數據， 如何在這些課程資源數據進(jìn)行有效存儲管理， 并在此基礎上挖掘出有意義的數據， 對課程資源進(jìn)行關(guān)聯(lián)歸類(lèi)， 形成課程體系智慧學(xué)習， 成為目前高校課程大數據的主要研究對象。文章以高校計算機類(lèi)課程為基礎， 搭建Hadoop集群環(huán)境， 研究基于Hadoop平臺的課程云平臺， 為高校課程信息化建設提供方案。
關(guān)鍵詞：Hadoop; 課程云平臺； 智慧學(xué)習；
近年來(lái)隨著(zhù)互聯(lián)網(wǎng)技術(shù)， 云計算技術(shù)， 大數據技術(shù)， 物聯(lián)網(wǎng)技術(shù)等各方面的迅速發(fā)展， 各個(gè)行業(yè)已經(jīng)進(jìn)入大數據的信息化時(shí)代。大數據技術(shù)逐漸以應用為中心的信息化系統轉變?yōu)橐詳祿䴙橹行模?大數據提供大規模數據的存儲、管理、處理、挖掘等技術(shù)， 更進(jìn)一步加快了信息化的發(fā)展。
高校在信息化教學(xué)、信息化課程建設方面已發(fā)展多年， 累積了大量課程資源和課程數據， 如何在這些課程資源數據進(jìn)行有效存儲管理， 并在此基礎上挖掘出有意義的數據， 對課程資源進(jìn)行關(guān)聯(lián)歸類(lèi)， 形成課程體系智慧學(xué)習。Hadoop[1]大數據技術(shù)的發(fā)展與成熟， 正好提供了一個(gè)非常好的技術(shù)平臺；因此應用Hadoop平臺技術(shù)， 來(lái)構建一個(gè)課程云平臺系統是非常有意義的。
1、Hadoop
Hadoop平臺是Apache基金會(huì )所開(kāi)發(fā)發(fā)布的分布式系統數據存儲平臺， Hadoop平臺提供了高效、可靠、大規模數據分布式處理和存儲能力， 在Hadoop平臺下一個(gè)控制節點(diǎn)控制整個(gè)集群的運行處理， 協(xié)調各個(gè)數據節點(diǎn)間數據管理和計算任務(wù)[2].Hadoop的核心由分布式文件處理HDFS, Map Reduce并行計算框架和HBase分布式數據庫系統組成。Hadoop結構如圖1所示。
2、課程云平臺系統
傳統信息化課程的建設， 往往只關(guān)注某一門(mén)課程知識體系的構建和知識點(diǎn)的建設， 容易忽略整個(gè)知識體系的構建， 及該課程與其他課程間的知識點(diǎn)關(guān)聯(lián)， 例如， 計算機類(lèi)課程中某一門(mén)專(zhuān)業(yè)課程， 其背后又關(guān)聯(lián)到多門(mén)專(zhuān)業(yè)基礎課程的應用[3] （以計算機專(zhuān)業(yè)中“Java EE程序設計”課程為例， 如圖2所示） , 專(zhuān)業(yè)課程間又存在交叉和先后順序， 以往課程建設都是任課教師基于本門(mén)課程的相關(guān)資源建設， 課程與課程間無(wú)銜接、無(wú)關(guān)聯(lián)， 這樣就形成課程上的信息孤島， 不利于學(xué)生學(xué)習。所以運用Hadoop大數據技術(shù)， 存儲特性、覆蓋性和靈活性， 構建開(kāi)發(fā)一個(gè)課程云平臺， 將以往的課程教學(xué)資源整合起來(lái)。
應用Hadoop大數據技術(shù)， 以計算機專(zhuān)業(yè)中某一門(mén)專(zhuān)業(yè)核心課程為例構建起該課程的課程云平臺， 通過(guò)課程云平臺構建起該關(guān)聯(lián)課程體系， 將該課程所涉及的多門(mén)課程有序地融合起來(lái)， 形成完善的課程云平臺。
同時(shí)通過(guò)Hadoop技術(shù)海量數據管理功能， 對課程中每個(gè)知識點(diǎn)進(jìn)行數據深度挖掘， 提供課程間知識點(diǎn)快速檢索和訪(fǎng)問(wèn)。也對各個(gè)課程中所涉及的視頻圖片各類(lèi)資源進(jìn)行有效存儲管理。
云課程平臺也與實(shí)踐應用對接， 將實(shí)訓項目引入到云平臺中， 通過(guò)云課程平臺， 對項目進(jìn)行分解， 將項目中所應用的各知識點(diǎn)與各課程進(jìn)行關(guān)聯(lián)， 讓云課程平臺引導學(xué)生進(jìn)行項目實(shí)訓， 對項目中所涉及的知識點(diǎn)能快速地檢索訪(fǎng)問(wèn)， 如圖3所示。
從圖3可以看出， 一門(mén)課程的背后往往涉及多門(mén)課程知識體系的數據支撐， 而一個(gè)學(xué)科的知識體系會(huì )涉及更加復雜、龐大的課程體系數據的支撐。而這些課程數據中又包含有各類(lèi)型的.結構化和非結構的數據， 因此使用Hadoop平臺實(shí)現是非�？尚械�。
3、課程云平臺的設計
本課題應用Hadoop平臺技術(shù)， 針對高校課程信息化的特點(diǎn)， 構建課程云平臺系統， 期系統結構如下：數據源、數據清洗與整合、分布式數據存儲、數據分析與挖掘， Hadoop平臺管理、應用程序接口 （Application Program Interface, API） 平臺管理等， 其結構如圖4所示。
課程資源平臺：指目前高�，F有課程建設平臺， 包括現有平臺上的各類(lèi)課程資源信息， 如結構化數據和非結構化數據， 結構化數據主要是現有課程資源的數據庫信息， 例如 （My SQL數據庫數據、Oracle數據庫中數據等） ;非結構化數據主要包含課程資源中的各類(lèi)數據文件、圖片、音頻、視頻資源等。
數據采集：包含數據采集， 數據清洗， 數據整合等， 指對現有數據資源使用Sqoop等技術(shù)將課程資源平臺中的結構化數據導入到Hadoop的HDFS和Hive進(jìn)行存儲， 結構化數據可以使用表或者Key-Value方式存放， 非結構化數據則以目錄文件的方式進(jìn)行存放。
大數據分析：指使用Hadoop中Map Reduce或Spark技術(shù)等， 對Hadoop平臺中的數據進(jìn)行流式分析計算或離線(xiàn)分析計算， 產(chǎn)生出各個(gè)知識點(diǎn)間的關(guān)聯(lián)及學(xué)習情境分析等。
智能分析與可視化：使用Tableau, D3, Flot等技術(shù)[4], 利用機器學(xué)習、數據挖掘算法等對課程數據進(jìn)行深層次的分析， 并以圖表的方式直觀(guān)的展示給師生。
API接口層：提供平臺各類(lèi)數據的訪(fǎng)問(wèn)接口， 以便Web APP或移動(dòng)APP等應用系統可以從平臺方便地獲取課程信息資源， 為平臺的二次開(kāi)發(fā)提供便利[5].
4、實(shí)現過(guò)程
實(shí)現環(huán)境：這里選用了5臺服務(wù)器作為Hadoop平臺實(shí)現基礎， 其配置如表1所示。
服務(wù)器軟件運行環(huán)境如表2所示。
�。�1） 運行環(huán)境：首先配置每臺服務(wù)器的SSH無(wú)密碼登錄， 然后配置服務(wù)器上Java運行環(huán)境， 最后配置Hadoop運行環(huán)境。配置完成后在Name Node上輸入start-all.sh命令， 啟動(dòng)Hadoop.
�。�2） 數據遷移：數據遷移可分為結構化數據遷移和非結構化數據遷移， 其中結構化數據遷移導入過(guò)程可分成3步。第一， 將My SQL數據先導入到HDFS中；第二， 在Hive中創(chuàng )建表結構；第三， 將HDFS中數據加載到Hive已創(chuàng )建的表中。非結構化數據可以轉化文本化與HBase整合進(jìn)行遷移處理[6].
5、運行測試
課程云平臺的建設主要是將各類(lèi)分散的課程資源進(jìn)行整合挖掘， 使用Hadoop平臺技術(shù)對課程資源數據進(jìn)行管理、深度挖掘、處理等。在Hadoop平臺下既節省了服務(wù)器資源又提高教學(xué)資源的利用率， 并對課程進(jìn)行深度挖掘， 實(shí)現智慧學(xué)習。課程云平臺Web APP端使用Spring MVC框架開(kāi)發(fā)、Tomcat服務(wù)、JSP頁(yè)面等技術(shù)， 運行效果如圖5所示。
6、結語(yǔ)
本文以Hadoop技術(shù)為基礎， 以高校計算機類(lèi)課程為研究案例， 研究基于Hadoop平臺的課程云平臺， 通過(guò)對Hadoop平臺的技術(shù)特點(diǎn)及搭建配置過(guò)程， 以及開(kāi)發(fā)方法等進(jìn)行詳細論述， 為高校課程信息化建設提供思路。
參考文獻
[1]陳一龍�；谠破脚_的英語(yǔ)專(zhuān)業(yè)核心課程數字化教學(xué)資源的共建共享機制研究[J].荊楚學(xué)術(shù)， 2017 （9） :5.
[2]王鵬。云計算的關(guān)鍵技術(shù)與應用實(shí)例[M].北京：人民郵電出版社， 2010.
[3]楚京予。MOOC平臺課程資源組織模型與體系架構研究[D].合肥：合肥工業(yè)大學(xué)， 2016.
[4]王潤， 周先進(jìn)。云課程的實(shí)施困境及其突破[J].教育發(fā)展研究， 2015 （12） :34-39.
[5]徐毅。湖北地方課程教育云資源的設計與應用實(shí)踐[D].武漢：華中師范大學(xué)， 2015.
[6]王玥。云課程平臺聚合社會(huì )化媒體的網(wǎng)絡(luò )教學(xué)研究[D].南京：南京郵電大學(xué)， 2014.
【基于Hadoop平臺的課程云系統開(kāi)發(fā)研究論文】相關(guān)文章：
基于云計算的數字化網(wǎng)絡(luò )教學(xué)平臺的構建研究論文07-30
云平臺下基于包裝設計的軟件開(kāi)發(fā)研究論文10-29
基于云計算的不動(dòng)產(chǎn)登記信息管理平臺建設研究的論文01-06
網(wǎng)絡(luò )教學(xué)平臺的教學(xué)課程改革研究論文09-13
淺談基于IT運維的設備管理平臺的研究論文10-25