0 引言

電力信息通信網(wǎng)作為電力系統(tǒng)的專用網(wǎng)絡,作為支撐電力系統(tǒng)的“三大支柱”之一,保障著電力系統(tǒng)生產(chǎn)的安全、穩(wěn)定運行^[1]。在電力信息通信行業(yè)中,故障風險發(fā)生具有強耦合性,當某個信息設備或者系統(tǒng)受到的故障破壞、惡意攻擊時,會使得大量終端設備的采集功能、監(jiān)測能力受到影響,進而造成電力系統(tǒng)物理空間設備無法正常運行^[2]。

雖然目前電力信息通信技術發(fā)展迅速,近年來建設了多個電力信息運維監(jiān)測和管理系統(tǒng),為電力系統(tǒng)運維工作提供了強大的支撐,但電力信息通信網(wǎng)絡中的運行數(shù)據(jù)采集缺乏統(tǒng)一有效的手段,數(shù)據(jù)全面性、準確性以及效率都有很多不足,并且各種監(jiān)控告警信息非常分散,導致信息通信運行中發(fā)生的問題往往只能被動響應,無法通過基于業(yè)務系統(tǒng)基礎架構、信息系統(tǒng)實時運行狀況和歷史運行狀況的信息系統(tǒng)風險預警模型進行運行故障的全面監(jiān)測與趨勢預測,嚴重影響了業(yè)務的正常開展。

在大數(shù)據(jù)時代,隨著電網(wǎng)信息系統(tǒng)架構的不斷擴展,IT設備的數(shù)量越來越多,網(wǎng)絡也變得更加復雜,信息通信系統(tǒng)中的狀態(tài)數(shù)據(jù)、運行數(shù)據(jù)以及故障數(shù)據(jù)等體量越來越大,且具有典型的大數(shù)據(jù)特征^[3],如果數(shù)據(jù)未經(jīng)過處理,則對運維沒有任何意義和價值。綜合運用大數(shù)據(jù)采集技術、實時數(shù)據(jù)流處理技術、關聯(lián)分析挖掘技術、狀態(tài)評估技術、趨勢預測及風險評估技術,建立科學的分析模型,實現(xiàn)信息通信風險態(tài)勢全面感知、運維數(shù)據(jù)全面分析、運維風險實時預警,達到在故障發(fā)生前解決問題的主動運維效果,有助于提升信息通信故障監(jiān)測和風險預警能力,對提高信息通信系統(tǒng)的安全性、穩(wěn)定性及其服務能力具有重要的理論價值和實際意義。

 1 國內外研究現(xiàn)狀

1.1 國內外大數(shù)據(jù)技術研究現(xiàn)狀

在學術界,《Nature》早在2008年就推出了“big data”專刊,從互聯(lián)網(wǎng)技術、超級計算、生物醫(yī)學等方面來專門探討對大數(shù)據(jù)的研究^[4];2011年5月,全球知名咨詢公司麥肯錫發(fā)布了“Big data: The next frontier for innovation,competition and productivity”的報告^[5],首次提出“大數(shù)據(jù)”的概念;世界經(jīng)濟論壇（World Economic Forum）2012年發(fā)布并指出了大數(shù)據(jù)的發(fā)展為世界帶來的新機遇^[6];美國政府在2012年3月29日發(fā)布了“大數(shù)據(jù)研究發(fā)展倡議”,正式啟動“大數(shù)據(jù)發(fā)展計劃”^[7];2012年
7月,日本推出“新ICT戰(zhàn)略研究計劃”,其中重點關注大數(shù)據(jù)應用,將大數(shù)據(jù)定位為戰(zhàn)略領域之一^[8]。

在應用界,谷歌公司在2009年通過對人們在網(wǎng)上檢索的詞條與疾病中心的數(shù)據(jù)進行分析處理,及時地判斷出流感的傳播來源,為公共衛(wèi)生機構提供了有價值的信息;美國最大的西奈山醫(yī)療中心使用來自大數(shù)據(jù)創(chuàng)業(yè)公司Ayasdi的技術分析大腸桿菌的全部基因序列,包括超過100萬個DNA變體,來了解為什么菌株會對抗生素產(chǎn)生抗藥性;美國俄亥俄州運輸部（ODOT）利用INRIX的云計算分析處理大數(shù)據(jù)來了解和處理惡劣天氣的道路狀況,減少了冬季連環(huán)撞車發(fā)生的概率,方便了人們的出行。

大數(shù)據(jù)技術描述了一種新一代的技術和構架,用于以很經(jīng)濟的方式,以高速的捕獲、發(fā)現(xiàn)和分析技術,從各種超大規(guī)模的數(shù)據(jù)中提取價值。國外的大數(shù)據(jù)研究工作主要集中在如何進行大數(shù)據(jù)存儲、處理、分析、管理的技術及軟件應用上。經(jīng)過多年的研究和發(fā)展,已有很多優(yōu)秀的挖掘方法,其中常見有路徑分析、關聯(lián)分析、序列模式、分類分析、聚類分析以及統(tǒng)計分析等^[9]。目前的大數(shù)據(jù)平臺以Hadoop為主,其可以有效解決傳統(tǒng)日志系統(tǒng)無法處理海量日志數(shù)據(jù)的問題,但Hadoop并不擅長處理實時應用,主要采用離線處理方式^[10]?；贖adoop的實時處理應用目前還比較少,采用流處理數(shù)據(jù)對日志數(shù)據(jù)進行處理是未來的發(fā)展趨勢^[11]。

1.2 國內外信息通信數(shù)據(jù)智能分析技術研究現(xiàn)狀

在學術界,近年來信息通信數(shù)據(jù)智能分析方面已有很多相關研究成果：文獻[12]從在控制與監(jiān)控方面入手建立了功能失效模型,提高了電力通信網(wǎng)絡的可靠性;文獻[13]、文獻[14]分別從業(yè)務和通道段業(yè)務的風險度角度出發(fā),構建了基于電力通信網(wǎng)業(yè)務風險均衡度的評估模型和相應的評估指標,以提高業(yè)務系統(tǒng)的可靠性。上述文獻對傳統(tǒng)網(wǎng)絡或電力信息通信網(wǎng)絡的風險評估、可靠性進行了研究,但均未從大數(shù)據(jù)的角度對信息通信網(wǎng)絡風險、預警技術進行研究,該方面的研究在國內外均處于起步階段。本文主要對電力信息通信網(wǎng)絡風險、預警技術進行研究,結合先進的大數(shù)據(jù)相關技術,設計了一套大數(shù)據(jù)信息通信預警平臺、風險預警和數(shù)據(jù)處理架構,并利用電力行業(yè)各單位之間的通信流量數(shù)據(jù)進行危險預警架構合理性及算法有效性驗證。

在應用界,國外對信息通信數(shù)據(jù)智能分析的研究起步較早,包括很多行業(yè)規(guī)范和技術都是起源于各廠商。國內雖然對信息通信技術的研究起步較晚,但是由于國內軟件技術水平的飛速發(fā)展和技術資源的開放性越來越高,為國內的信息通信數(shù)據(jù)管理技術發(fā)展帶來了生機和活力?；诂F(xiàn)代大數(shù)據(jù)分析技術、自動測量技術、自動控制技術、計算機應用技術及相關的專用分析軟件形成的信息管理技術已經(jīng)廣泛應用于各行各業(yè)。目前國內比較成熟的產(chǎn)品包括北塔、東華、神州泰岳、摩卡、泰豪等公司的IT運維監(jiān)控管理系統(tǒng),其對數(shù)據(jù)中心涉及的應用服務器等設備進行數(shù)據(jù)采集和監(jiān)控,結合一些安全閾值實現(xiàn)故障的告警。不足之處是均為被動的告警運維,缺乏主動預警效果,不滿足智能電網(wǎng)的發(fā)展需求。

 2 基于大數(shù)據(jù)的電力信息通信風險預警架構研究

2.1 基于大數(shù)據(jù)電力信息通信風險分析及預警架構

Hadoop和Spark作為開源的大數(shù)據(jù)處理平臺,近年來得到了快速發(fā)展,出現(xiàn)了許多相關應用與解決方案。Hadoop支持大規(guī)模集群操作,在集群上可以方便地增加多至上千個節(jié)點進行并行計算,其計算速度會隨著集群數(shù)量相應增加,可解決傳統(tǒng)日志分析系統(tǒng)無法處理海量日志數(shù)據(jù)的問題^[15],但Hadoop并不擅長處理實時應用。Spark是一種與Hadoop相似的通用并行計算框架,是對Hadoop的補充,它采用內存并行計算技術與流式處理技術,在實時處理方面表現(xiàn)得更加優(yōu)越^[16]。本文針對電力通信特點所設計的大數(shù)據(jù)分析平臺架構采用了Spark的并行計算及流處理技術。電力通信大數(shù)據(jù)分析平臺架構如圖1所示。

圖1 電力通信大數(shù)據(jù)分析平臺架構Fig.1 Analysis platform architecture of power communication big data

2.2 基于大數(shù)據(jù)的電力信息通信數(shù)據(jù)處理

電力信息通信大數(shù)據(jù)處理架構如圖2所示。在數(shù)據(jù)處理框架中完成對各類日志的匯聚、處理和集中管理,其中日志收集模塊采集各自不同系統(tǒng)的日志、網(wǎng)絡日志、防火墻日志等,采用Hive建立業(yè)務分析模型,實現(xiàn)日志的智能多維度查詢,完成對數(shù)據(jù)的初步清洗。在數(shù)據(jù)存儲層完成對數(shù)據(jù)的進一步清洗和轉換,將數(shù)據(jù)分類存儲于HDFS中,利用Sqoop工具將數(shù)據(jù)從HDFS中導出到Oracle中。最后按照業(yè)務分類對日志的關鍵字進行統(tǒng)一分析,利用大數(shù)據(jù)技術完成相關數(shù)據(jù)的關聯(lián)分析和模式挖掘,采用數(shù)據(jù)清洗和壓縮歸并等手段對系統(tǒng)指標、安全狀況以及運行狀態(tài)的實時動態(tài)預警信息進行判定,最終在對預警信息進行深入分析的基礎上實現(xiàn)電網(wǎng)信息通信系統(tǒng)的主動預警。

圖2 電力信息通信大數(shù)據(jù)處理架構Fig.2 Big data processing architecture for power information and communication

基于大數(shù)據(jù)的信息通信風險預警架構如圖3所示。為了實現(xiàn)對客服工單數(shù)據(jù)的統(tǒng)計分析、文本挖掘、聚類分析,進一步輔助用戶決策,采用了大數(shù)據(jù)可視化工具Tableau進行數(shù)據(jù)分析,并對信息通信系統(tǒng)設計相應的數(shù)據(jù)分析頁面,實現(xiàn)數(shù)據(jù)分析結果的可視化展示,對項目數(shù)據(jù)進行全方位的科學分析來評估信息通信運維效果,為領導決策提供科學、嚴謹?shù)囊罁?jù),降低決策失敗的風險。

圖3 基于大數(shù)據(jù)的信息通信風險預警架構Fig.3 Information communication risk early warning framework based on big data

2.3 基于大數(shù)據(jù)的電力信息通信趨勢預測

趨勢預測可利用數(shù)據(jù)本身的變化情況以及外部需求因素的影響規(guī)律進行分析和研究,在對故障的產(chǎn)生原因與傳播不建立復雜模型的情況下,實現(xiàn)對信息通信需求的估計和預測。由于信息通信網(wǎng)絡容量具有不確定性的特點,預測工作一般必須在一定的條件下才可進行。

本文考慮了兩種時間序列預測模型：ARIMA模型和Holt-Winters模型。其中ARIMA (p,q)模型包括一個自回歸模型AR(p)和一個移動平均模型MA(q),ARIMA模型的建模方程為：

由公式(2)—公式(4)可得預測公式如下：

由公式(6)—公式(8)可得預測公式如下：

圖4 某年7月8日-9月5日期間的總流量曲線Fig.4 Total flow curveduring from July 8th to September 5th

將原始數(shù)據(jù)中工作日的流量數(shù)據(jù)提出單獨分析并做預測。工作日的流量數(shù)據(jù)曲線如圖5所示,可以看出第40天到第50天之間某天（實際為9月8日）的數(shù)據(jù)與其他工作日的數(shù)據(jù)有明顯的不同,初步判斷為異常。

圖5 工作日的流量數(shù)據(jù)曲線Fig.5 Working day traffic data curve

上述模型編程使用R語言完成