?全球能源互聯網研究院(原國網智能電網研究院)計算及應用研究所致力于為全球能源互聯網提供高性能計算能力、智能計算技術和優(yōu)質計算服務，目前已成立國家電網公司先進計算及應用智能實驗室。近5年，實驗室承擔了國家“863”等近20項國家級科研項目，40余項公司科技項目。建設形成先進的廣域分布式電力大數據分析計算平臺，覆蓋北京、南京、美國硅谷，為總部業(yè)務部門及各省公司提供自助式分析服務。與中科院計算所、中國電子集團、沈昌祥院士團隊等機構建立了高性能計算、大數據、可信計算等聯合實驗室。
研究背景
電力大數據技術研究與應用已成為國家電網公司當前信息技術發(fā)展重點之一，面向全球能源互聯網業(yè)務的相關需求也迅速增加，國家電網公司電力大數據相關研究亟需總體層面上的規(guī)劃指導，尤其是在電力大數據基礎體系架構、技術標準和應用規(guī)范方面的技術儲備，統一規(guī)劃與協同推進公司各系統、各單位的電力大數據相關研究和應用工作，以支撐大數據在公司業(yè)務系統建設和全球能源互聯網建設中的應用需要。
主要創(chuàng)新點
面向全球能源互聯網的電力大數據總體架構
電力大數據的分析流程主要包含數據集成、數據存儲、數據計算、業(yè)務應用四個階段，在該流程中融合數據治理、分布式存儲、高性能混合計算、數據探索、一體化搜索、可視化展現、智能信息處理、安全治理等信息技術實現數據分析、處理、安全防護的基礎平臺支撐，通過全球能源互聯網多領域交叉融合研究，建立智能化的建模分析及數據使用模式，支撐全球能源互聯網業(yè)務應用和場景需求，總體架構如下圖所示。
電力大數據平臺功能架構
電力大數據功能架構設計可用于規(guī)范和定義電力大數據平臺在運行時的整體功能流程及技術選型，該平臺可整合電力行業(yè)不同領域的數據，形成統一的數據資源池，構建具備開放性、可擴展性、個性化、安全可靠、成熟先進的大數據分析服務體系，并具備面向社會的公共服務能力。圍繞大數據分析應用生態(tài)圈，從底層基礎設施、數據集成、數據處理、數據分析、數據可視化五個層面、運維與安全兩個保障功能，應用先進技術、工具、算法、產品，構建電力大數據分析與應用平臺功能架構，見下圖所示。
電力大數據平臺技術架構
電力大數據核心平臺基于Hadoop、Spark、Stream框架的高度融合、深度優(yōu)化，實現高性能計算，具有高可用性，其技術架構如圖3所示。數據整合方面，主要采用Hadoop體系中的Flume、Sqoop、Kafka等獨立組件;數據存儲方面，在低成本硬件(X86)、磁盤的基礎上，采用包括分布式文件系統、分布式關系型數據庫、NoSQL數據庫、實時數據庫、內存數據庫等業(yè)界典型系統;數據分析方面，集成Tableau、Pluto，R語言環(huán)境，實現數據的統計分析以及數據挖掘能力;監(jiān)控管理方面，利用Ganglia，實現集群監(jiān)控、服務監(jiān)控、節(jié)點監(jiān)控、性能監(jiān)控、告警監(jiān)控等管理服務;可視化展現方面，基于GIS、Flash、ECHART、HTML5等構建可視化展示模塊。電力大數據平臺技術架構見下圖所示。
面向全球能源互聯網的電力大數據總體架構
在基礎設施部署架構及容量規(guī)劃方面，電力大數據平臺集群主要由數據存儲服務器、接口服務器、集群管理服務器和應用服務器組成，支持存儲與計算混合式架構以及廣域分布的集群部署與管理。每個省集群由總共30臺x86服務器和一臺小型機組成，其中核心數據集群由25臺構成;剩余5臺服務器中，3臺服務器組成消息總線集群，部署包括Kafka消息隊列集群以及FTP傳輸入庫集群，1臺服務器作為集群登陸跳轉以及RstudioServer服務節(jié)點，還有1臺服務器作為ODBC/JDBC服務以及WebHTTP/REST服務節(jié)點。小型機作為關系型數據庫以及時間序列數據庫節(jié)點，部署方式如下圖所示。
電力大數據標準體系
通過分析國內外大數據相關標準，并結合電力大數據技術、產品和應用需求，形成電力大數據標準規(guī)范18項，重點涵蓋基礎概念、數據采集、存儲、計算、分析、展示、質量控制、安全防護、數據服務等8大方面，適用于全球能源互聯網環(huán)境下電力大數據平臺建設和相關標準編制，如下表所示。
解決的問題和意義
解決電力海量數據的實時分析問題
在輸電監(jiān)測與狀態(tài)評估業(yè)務中，涉及線路臺賬、在線監(jiān)測、試驗檢測、日常巡視、直升機或無人機巡視和衛(wèi)星遙感等數據，實時獲取輸電監(jiān)測與狀態(tài)的流數據，利用分布式存儲系統的高吞吐，實現海量監(jiān)測與狀態(tài)數據的同步存儲;利用事先定義好的業(yè)務規(guī)則和數據處理邏輯，結合數據檢索技術對監(jiān)測與狀態(tài)數據進行快速檢索處理;利用流計算技術，實時處理流監(jiān)測與狀態(tài)數據，根據流計算結果，實現實時評估和趨勢預測，對輸電線路健康安全狀態(tài)進行正確評價，指導輸電線路狀態(tài)檢修決策，準確識別輸電線路故障，實現異常狀態(tài)報警，對惡劣自然條件下輸電線路氣象災害安全進行預警，為自然災害防治提供決策支撐。
解決電力海量數據的離線分析問題
針對配電網規(guī)劃、運行過程中產生的海量異構、多態(tài)的數據，具有多時空、多來源、混雜和不確定性的特點，如圖6所示，分析配電網規(guī)劃數據的種類和格式多樣性，建立統一的大數據存儲接口，實現配電網規(guī)劃離線數據的一體化分布式快速存儲。在離線數據一體化存儲的基礎上，建立數據分析接口，提供對配電網規(guī)劃數據統計處理任務的支撐，并進一步滿足配電網規(guī)劃計算分析、配電網風險評估及預警等高級應用系統的數據要求，為管理層合理調整負荷、調節(jié)運行方式、制定電價政策等決策提供科學合理的依據。電力大數據離線分析應用如下圖所示。
意義
通過對公司大數據服務體系框架、總體技術架構及演進路線的研究，以及對集中式數據中心環(huán)境下的數據大集中技術架構的研究，設計提出符合電力大數據當前應用現狀和需求的公司大數據總體架構，全面指導大數據其他關鍵技術的研究;研究制定電力大數據的管理規(guī)范、應用標準和規(guī)范化建設模式，通過標準體系的建立進一步促進與保障電力大數據技術的應用推廣;基于基礎體系架構和標準體系，可在總體層面上提出公司電力大數據發(fā)展規(guī)劃，在統一規(guī)劃與協同推進下有序開展公司各系統、各單位的電力大數據相關研究和應用工作。
