華南理工大學(xué) 程樂(lè)峰，余濤等：機(jī)器學(xué)習(xí)在能源與電力系統(tǒng)領(lǐng)域的應(yīng)用和展望

一、研究背景

新一代人工智能（AI 2.0）近年來(lái)成為國(guó)內(nèi)外研究的熱點(diǎn)，其結(jié)合大數(shù)據(jù)、超級(jí)計(jì)算等新理論新技術(shù)正深刻影響和改變整個(gè)世界的電力與能源產(chǎn)業(yè)，并在涵蓋智能電網(wǎng)與能源互聯(lián)網(wǎng)的能源與電力系統(tǒng)（EEPS）中發(fā)揮巨大潛力，將驅(qū)動(dòng)電力、能源和信息產(chǎn)業(yè)的深度融合，形成具有“智慧思維”和“信息-物理-社會(huì)融合（CPSS）”的EEPS，開(kāi)啟未來(lái)基于“工業(yè)4.0”、“能源5.0”、“AI 2.0+”的“智慧EEPS(Smart-EEPS)”新時(shí)代。

當(dāng)前，國(guó)外紛紛制定人工智能（AI）發(fā)展計(jì)劃以搶占新一輪科技變革的先機(jī)。在我國(guó)，新一代AI已上升為國(guó)家發(fā)展戰(zhàn)略，加快發(fā)展新一代AI是事關(guān)我國(guó)能否抓住新一輪科技革命和產(chǎn)業(yè)變革機(jī)遇的戰(zhàn)略問(wèn)題，是具有溢出帶動(dòng)性很強(qiáng)的“頭雁”效應(yīng)。近年來(lái)，國(guó)家電網(wǎng)有限公司在電網(wǎng)領(lǐng)域相繼開(kāi)展了AI應(yīng)用的可行性和關(guān)鍵技術(shù)研究，并成立了AI應(yīng)用研究所；中國(guó)電力科學(xué)研究院有限公司則提出了打造“電網(wǎng)AlphaGo”的理念，以最終實(shí)現(xiàn)AI在電網(wǎng)中的深度應(yīng)用。因此，發(fā)展AI 2.0在中國(guó)具備良好基礎(chǔ)，AI 2.0未來(lái)在EEPS領(lǐng)域?qū)⒋笥杏梦渲亍?/span>

作為AI 2.0中的典型代表——機(jī)器學(xué)習(xí)(ML)，其本質(zhì)是一個(gè)算法范疇，通過(guò)分析和學(xué)習(xí)大量已有或生成數(shù)據(jù)形成預(yù)測(cè)和判斷以做出最佳決策。為此，本文以AI 2.0中的機(jī)器學(xué)習(xí)為例，從強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)、遷移學(xué)習(xí)、平行學(xué)習(xí)、混合學(xué)習(xí)、對(duì)抗學(xué)習(xí)和集成學(xué)習(xí)等7個(gè)方面，對(duì)其在能源與電力系統(tǒng)調(diào)度優(yōu)化和控制決策中的應(yīng)用進(jìn)行綜述研究，旨在引起業(yè)內(nèi)專(zhuān)家學(xué)者的興趣，期待在理論、方法和技術(shù)研究及應(yīng)用實(shí)踐方面共同推進(jìn)新一代AI中的ML技術(shù)在未來(lái)“智慧EEPS”中的蓬勃發(fā)展！

二、關(guān)鍵技術(shù)要點(diǎn)

2.1強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)（RL）為ML中一個(gè)重要的研究領(lǐng)域，屬于主動(dòng)學(xué)習(xí)的一種，其本質(zhì)上是一種在環(huán)境中“審時(shí)度勢(shì)”地學(xué)習(xí)策略的過(guò)程，強(qiáng)調(diào)如何基于環(huán)境（state）而行動(dòng)（action），以取得最大化的預(yù)期收益（reward）。近20年來(lái)，以馬爾可夫決策（MDP）為嚴(yán)格數(shù)學(xué)基礎(chǔ)的RL算法成為ML領(lǐng)域一個(gè)新的突破，許多經(jīng)典的RL算法被國(guó)內(nèi)外學(xué)者陸續(xù)應(yīng)用于EEPS領(lǐng)域中，并日益受到國(guó)際ML和智能控制學(xué)術(shù)界的重視。RL在安全穩(wěn)定控制、自動(dòng)發(fā)電控制、電壓無(wú)功優(yōu)化控制、最優(yōu)潮流控制、供需互動(dòng)、電力市場(chǎng)、電力信息網(wǎng)絡(luò)等方面的研究和應(yīng)用頗多，尤其在電力系統(tǒng)調(diào)度控制決策中頗具潛力。但RL在處理EEPS大規(guī)模優(yōu)化和控制決策問(wèn)題時(shí)易出現(xiàn)“維數(shù)災(zāi)”，使得可行解探索困難。尤其是當(dāng)狀態(tài)空間很大時(shí)，將導(dǎo)致計(jì)算成本過(guò)高，需要與環(huán)境進(jìn)行大量交互從而獲得反饋用以更新模型，學(xué)習(xí)效率其實(shí)并不很高。因此，近年來(lái)，很多學(xué)者開(kāi)始將RL與多Agent系統(tǒng)、其他ML方法、經(jīng)典控制方法、智能控制理論等相結(jié)合，已在多Agent系統(tǒng)協(xié)商學(xué)習(xí)、分布式發(fā)電系統(tǒng)與微電網(wǎng)、多能源綜合系統(tǒng)、電力系統(tǒng)控制、負(fù)荷預(yù)測(cè)與負(fù)荷調(diào)度、繼電保護(hù)等領(lǐng)域開(kāi)展了深入研究。未來(lái)RL理論的決策和自學(xué)習(xí)特性、與其他ML方法可有效集成的特性，以及在線學(xué)習(xí)技術(shù)等將有利于其在EEPS應(yīng)用領(lǐng)域的進(jìn)一步發(fā)展。

2.2深度學(xué)習(xí)

深度學(xué)習(xí)（DL）本質(zhì)上是具有多層隱藏層的神經(jīng)網(wǎng)絡(luò)，是一種特定類(lèi)型的典型ML，其基本思想是通過(guò)多層的網(wǎng)絡(luò)結(jié)構(gòu)和非線性變換，組合低層特征，形成抽象的、易于區(qū)分的高層表示，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。近年來(lái)，為了提高深度神經(jīng)網(wǎng)絡(luò)(DNN)的訓(xùn)練效果，降低DNN的優(yōu)化難度，一些特有的DL模型和框架被相繼提出，如SAE、DBN、RNN、CNN、深度森林、超深度學(xué)習(xí)等。目前，在EEPS領(lǐng)域，DL的研究與應(yīng)用已初步展開(kāi)，主要涵蓋智能輸電系統(tǒng)的一次設(shè)備（如發(fā)電機(jī)、變壓器、斷路器等）的故障診斷、電力系統(tǒng)暫態(tài)穩(wěn)定評(píng)估、電力大數(shù)據(jù)融合與異常檢測(cè)、短期電力負(fù)荷預(yù)測(cè)、電力設(shè)備圖像識(shí)別、電力信息網(wǎng)入侵檢測(cè)、智能發(fā)電的功率預(yù)測(cè)、智能輸電系統(tǒng)的分析與控制等。近年來(lái)，DL與其他ML結(jié)合形成了功能更強(qiáng)的高級(jí)混合ML算法，并已在EEPS領(lǐng)域中得到了初步應(yīng)用。總的來(lái)說(shuō)，DL在EEPS領(lǐng)域中正扮演極其重要的角色，并將引領(lǐng)新變革。當(dāng)然，也應(yīng)認(rèn)識(shí)到DL的缺陷，需在實(shí)際工程問(wèn)題中進(jìn)行改進(jìn)，例如“梯度彌散”現(xiàn)象、模型驗(yàn)證、復(fù)雜多數(shù)據(jù)模態(tài)建模等。

2.3遷移學(xué)習(xí)

遷移學(xué)習(xí)（TL）強(qiáng)調(diào)的是在不同但相似的領(lǐng)域、任務(wù)和分布之間進(jìn)行知識(shí)的遷移，早期研究有終生學(xué)習(xí)、多任務(wù)學(xué)習(xí)、知識(shí)遷移等。在EEPS領(lǐng)域，在求解UC、ED、AVC等高維NLP問(wèn)題過(guò)程中，TL旨在根據(jù)任務(wù)間的相似性，利用在輔助領(lǐng)域過(guò)去所學(xué)習(xí)到的經(jīng)驗(yàn)（知識(shí)或策略）和結(jié)果應(yīng)用到相似但不相同的目標(biāo)領(lǐng)域中進(jìn)行學(xué)習(xí)，復(fù)用已有經(jīng)驗(yàn)以加速新任務(wù)的學(xué)習(xí)速度，可有效提高新任務(wù)的學(xué)習(xí)效率和算法的收斂性。目前，TL已在無(wú)功優(yōu)化、負(fù)荷預(yù)測(cè)、風(fēng)速預(yù)測(cè)、碳能復(fù)合流分散優(yōu)化、風(fēng)險(xiǎn)調(diào)度、源-荷協(xié)同頻率控制、供需互動(dòng)實(shí)時(shí)調(diào)度、AGC功率指令動(dòng)態(tài)分配等方面得到初步應(yīng)用。近年來(lái)，有關(guān)學(xué)者還嘗試將DRL與TL結(jié)合用來(lái)訓(xùn)練深度策略網(wǎng)絡(luò)。例如，在深度Q-學(xué)習(xí)網(wǎng)絡(luò)中引入TL來(lái)加快收斂速度，以提高學(xué)習(xí)性能?？偟膩?lái)說(shuō)，對(duì)于EEPS領(lǐng)域中不連續(xù)可微、含多極值、多約束的凸或非凸的NLP問(wèn)題，引入TL能夠?qū)v史優(yōu)化任務(wù)的有效信息轉(zhuǎn)化到值函數(shù)中，從而實(shí)現(xiàn)快速的在線優(yōu)化。在進(jìn)行工程問(wèn)題研究時(shí)，TL收斂性證明比較困難、遷移過(guò)程中出現(xiàn)的不穩(wěn)定性等是亟待攻克的難題。

2.4平行學(xué)習(xí)

平行學(xué)習(xí)（PL）是王飛躍教授等提出的一個(gè)新型的ML理論框架，融合了預(yù)測(cè)學(xué)習(xí)、集成學(xué)習(xí)和指示學(xué)習(xí)，是一個(gè)把“小數(shù)據(jù)”炒成“大數(shù)據(jù)”，再把“大數(shù)據(jù)”提煉成解決具體問(wèn)題的精準(zhǔn)知識(shí)的“小智能”的過(guò)程，即“小數(shù)據(jù)、大定律”到“大數(shù)據(jù)、小定律”的過(guò)程。由于PL近年來(lái)才提出，其很多細(xì)節(jié)之處尚需完備的理論證明。近年來(lái)，PL在EEPS已有初步應(yīng)用，如分布式能源系統(tǒng)運(yùn)行優(yōu)化、火力發(fā)電廠智能監(jiān)控和平行管理規(guī)劃等。未來(lái)，在“工業(yè)4.0”和“能源5.0”背景下，PL結(jié)合“平行智能”和“平行能源和社會(huì)能源”等理念在綜合能源系統(tǒng)IoM建設(shè)、EEPS平行“調(diào)度機(jī)器人”研究、人工電力系統(tǒng)搭建、基于區(qū)塊鏈技術(shù)的智能分布式電力能源系統(tǒng)建模、核電系統(tǒng)仿真等方面將具有很大的應(yīng)用潛力，期待取得突破性進(jìn)展。

2.5混合學(xué)習(xí)

混合學(xué)習(xí)（HL）表示將至少兩種優(yōu)勢(shì)互補(bǔ)的ML方法集成或綜合為一種性能更強(qiáng)的ML，其典型代表是DRL。近年來(lái)，有關(guān)學(xué)者已將DL、RL、TL及啟發(fā)式搜索SI算法、策略式搜索智能算法等方法進(jìn)行級(jí)聯(lián)組合形成多種高級(jí)HL算法，用于求解EEPS領(lǐng)域的優(yōu)化和控制問(wèn)題。在所有HL算法中，將DL作為“感知”與RL作為“決策”結(jié)合形成HL的一對(duì)“黃金組合”——DRL，已被許多學(xué)者研究并應(yīng)用到EEPS領(lǐng)域中來(lái)，如緊急狀態(tài)下的電網(wǎng)切機(jī)控制策略制定等。總的來(lái)說(shuō)，HL代表了一種混合增強(qiáng)智能，其雖可充分發(fā)揮各類(lèi)ML算法的優(yōu)勢(shì)，但也存在可解釋性差、穩(wěn)定性無(wú)法得到有效保證、不能很好應(yīng)用到非MDP問(wèn)題、收斂性無(wú)法提供嚴(yán)格理論證明等缺陷，因此，未來(lái)HL在EEPS領(lǐng)域的研究需著重關(guān)注這些問(wèn)題。

2.6對(duì)抗學(xué)習(xí)

對(duì)抗學(xué)習(xí)（AL）是通過(guò)構(gòu)造相互競(jìng)爭(zhēng)的生成器和判別器來(lái)提高學(xué)習(xí)的效率，因此又稱(chēng)作生成式對(duì)抗網(wǎng)絡(luò)(GAN)。GAN是一個(gè)強(qiáng)大的基于博弈論的生成模型學(xué)習(xí)框架，由Goodfellow于2014年首次提出，其結(jié)合了生成模型和對(duì)抗學(xué)習(xí)思想，目前已成為AI學(xué)界最為重要的研究熱點(diǎn)之一。在EEPS領(lǐng)域，真實(shí)電力系統(tǒng)的數(shù)據(jù)往往非常復(fù)雜，擬合模型所需計(jì)算量往往非常龐大，甚至難以承受，利用GAN可構(gòu)造一個(gè)min-max對(duì)抗博弈系統(tǒng)來(lái)自動(dòng)產(chǎn)生大量模型仿真數(shù)據(jù)，并使用隨機(jī)梯度下降(SGD)實(shí)現(xiàn)優(yōu)化，在很大程度上解決了真實(shí)環(huán)境樣本小的問(wèn)題。在EEPS領(lǐng)域，近年來(lái)，有關(guān)學(xué)者將GAN用于模型無(wú)關(guān)的可再生能源場(chǎng)景生成、配電系統(tǒng)異構(gòu)數(shù)據(jù)資源有效利用、自能源模型參數(shù)辨識(shí)等方面?？偟膩?lái)說(shuō)，GAN作為AI 2.0的代表技術(shù)，最大優(yōu)勢(shì)在于無(wú)需對(duì)生成分布進(jìn)行顯式表達(dá)，可大大降低訓(xùn)練難度，并提高訓(xùn)練效率，因而可在EEPS領(lǐng)域發(fā)揮重要作用。當(dāng)然，GAN也存在某些缺點(diǎn)，最突出的就是訓(xùn)練過(guò)程不穩(wěn)定，對(duì)多樣性不足和準(zhǔn)確性不足的懲罰并不平衡，導(dǎo)致“模式坍塌(mode collapse)”現(xiàn)象發(fā)生。未來(lái)，GAN將在克服“模式坍塌”方面繼續(xù)提升，并設(shè)法與其他模型融合，比如融合能量函數(shù)和RL的GAN，尤其是與RL的深度融合，并用于跨任務(wù)學(xué)習(xí)，這將有力推進(jìn)AI 2.0在EEPS領(lǐng)域中的應(yīng)用和發(fā)展。

2.7集成學(xué)習(xí)

集成學(xué)習(xí)（EL）嚴(yán)格意義上說(shuō)并不算一種ML算法，而更像是一種優(yōu)化手段或策略，其通常結(jié)合多個(gè)簡(jiǎn)單的弱ML算法有策略地生成一些基礎(chǔ)模型，然后有策略地將它們集成模型組，去更可靠地完成學(xué)習(xí)任務(wù)并做出最終決策，因此，EL又稱(chēng)為多分類(lèi)器系統(tǒng)。EL適合于靜態(tài)數(shù)據(jù)的集中分類(lèi)等問(wèn)題，而更為廣義的EL技術(shù)可應(yīng)用于動(dòng)態(tài)系統(tǒng)的建模和控制。在EEPS領(lǐng)域，近年來(lái)，EL主要用于頻率控制、電力系統(tǒng)安全及穩(wěn)定性評(píng)估、負(fù)荷預(yù)測(cè)、可再生能源消耗和新能源發(fā)電量預(yù)測(cè)等方面，已取得不錯(cuò)的效果，其應(yīng)用的主要難點(diǎn)在于究竟集成哪些獨(dú)立的較弱的學(xué)習(xí)模型以及如何把學(xué)習(xí)結(jié)果整合起來(lái)。此外，EL對(duì)噪聲較為敏感、有時(shí)陷入局部最優(yōu)、出現(xiàn)過(guò)擬合和欠擬合等現(xiàn)象也值得關(guān)注。為此，有關(guān)學(xué)者指出EL可與DL完美結(jié)合構(gòu)成深度殘差學(xué)習(xí)等網(wǎng)絡(luò)，這對(duì)于將來(lái)為EEPS領(lǐng)域問(wèn)題提供解決方案具有重要意義。

三、大數(shù)據(jù)思維下的ML發(fā)展思考

在EEPS領(lǐng)域，電力大數(shù)據(jù)往往存在多源多態(tài)、異構(gòu)、復(fù)雜、高維、分布、非確定性、指數(shù)級(jí)增長(zhǎng)等特性，導(dǎo)致對(duì)這些流數(shù)據(jù)的采集、存儲(chǔ)、處理、知識(shí)挖掘和價(jià)值應(yīng)用等變得異常困難。對(duì)于EEPS領(lǐng)域而言，數(shù)據(jù)科學(xué)的發(fā)展和進(jìn)步將極大地驅(qū)動(dòng)AI 2.0尤其是ML在該領(lǐng)域的快速發(fā)展和深層應(yīng)用。未來(lái)，ML需要與基于數(shù)學(xué)模型的研究相結(jié)合，方能在EEPS各個(gè)有關(guān)領(lǐng)域取得長(zhǎng)足發(fā)展。這也可以看出，大數(shù)據(jù)思維下的數(shù)據(jù)挖掘方法與傳統(tǒng)地通過(guò)ML建立人工模型進(jìn)行推導(dǎo)的研究方法并不矛盾，二者反而可以互為補(bǔ)充。當(dāng)然，大數(shù)據(jù)思維下的數(shù)據(jù)挖掘技術(shù)尚處于快速發(fā)展之中，與ML中的研究熱點(diǎn)，如DL、DRL、TL、PL、GAN等結(jié)合，在EEPS研究中前景廣闊、大有可為，未來(lái)值得深入研究。

四、未來(lái)展望

目前，AI 2.0距離“很好用”還存在諸多瓶頸，如數(shù)據(jù)瓶頸、泛化瓶頸、能耗瓶頸、語(yǔ)義鴻溝瓶頸、可解釋性瓶頸和可靠性瓶頸等。ML是為了解決知識(shí)獲取的瓶頸問(wèn)題而出現(xiàn)的，數(shù)據(jù)和模型對(duì)于ML而言是同等重要的。上述AI 2.0發(fā)展遇到的瓶頸也是ML未來(lái)發(fā)展所必須面對(duì)的。如何有效利用EEPS的運(yùn)行機(jī)理及其數(shù)據(jù)源，通過(guò)合適的ML技術(shù)來(lái)處理系統(tǒng)的各種復(fù)雜任務(wù)，以實(shí)現(xiàn)整個(gè)系統(tǒng)的安全、可靠、經(jīng)濟(jì)、環(huán)保運(yùn)行，成為了當(dāng)前國(guó)內(nèi)外的熱點(diǎn)研究問(wèn)題。近年來(lái)，有關(guān)學(xué)者提出開(kāi)發(fā)嵌入了專(zhuān)業(yè)知識(shí)的ML方法，稱(chēng)為引導(dǎo)學(xué)習(xí)，其主要特點(diǎn)是結(jié)合了領(lǐng)域知識(shí)經(jīng)驗(yàn)和ML，提供了一種知識(shí)分析與數(shù)據(jù)挖掘相融合的ML范式，為“人類(lèi)+機(jī)器”協(xié)同混合增強(qiáng)智能的實(shí)現(xiàn)機(jī)理和電力知識(shí)資產(chǎn)傳承管理提供了一條可行的路線。

總的來(lái)說(shuō)，盡管ML在當(dāng)前的EEPS領(lǐng)域的應(yīng)用還存在諸多瓶頸，但其潛力和價(jià)值是無(wú)窮的。在大能源思維和大數(shù)據(jù)思維下，未來(lái)通用的“終極ML算法”是有可能誕生的，它將是大數(shù)據(jù)挖掘技術(shù)和多源數(shù)據(jù)融合思想等數(shù)據(jù)科學(xué)的充分利用、多種ML方式的深度交叉融合、機(jī)器的情感和記憶推理等高級(jí)智能。例如，通過(guò)引入具有群體智慧的平行ML，建立虛擬的平行人工EEPS，實(shí)現(xiàn)王飛躍教授等提出的“平行能源與社會(huì)能源”的理念以及“平行調(diào)度”的構(gòu)想，實(shí)現(xiàn)知識(shí)智能互聯(lián)的“能源智聯(lián)網(wǎng)”，即信息-物理-社會(huì)深度融合系統(tǒng)(CPSS)。因此，通過(guò)基于深度特征識(shí)別和加裝存儲(chǔ)記憶、推理模塊的RL，DL，TL，PL，HL，AL (GAN)，EL等各種學(xué)習(xí)方式的交叉融合，新一代數(shù)據(jù)驅(qū)動(dòng)的“智慧EEPS”未來(lái)將有可能實(shí)現(xiàn)，最終將會(huì)走向“工業(yè)5.0”和“能源5.0”發(fā)展的新時(shí)代。

文章原刊于《電力系統(tǒng)自動(dòng)化》2019年第43卷第I期