摘要：大量電動(dòng)汽車用戶的無(wú)序充電可能造成電網(wǎng)負(fù)荷劇烈波動(dòng)，危及電網(wǎng)的安全穩(wěn)定。隨著電動(dòng)汽車入網(wǎng)技術(shù)的應(yīng)用，將電動(dòng)汽車充電站及其周邊的分布式新能源發(fā)電聚合為虛擬電廠后進(jìn)行優(yōu)化調(diào)度，有助于改善電動(dòng)汽車用戶充放電的經(jīng)濟(jì)性及滿意度，同時(shí)提高分布式新能源的利用率，平抑電網(wǎng)負(fù)荷波動(dòng)，但電動(dòng)汽車充電站的整體充放電負(fù)荷是大量個(gè)體電動(dòng)汽車用戶隨機(jī)行為的聚合，難以用數(shù)學(xué)模型描述。針對(duì)包含電動(dòng)汽車的虛擬電廠，提出一種基于深度強(qiáng)化學(xué)習(xí)的交互式調(diào)度框架，以虛擬電廠內(nèi)電動(dòng)汽車用戶的總效益。虛擬電廠控制平臺(tái)作為智能體決策電動(dòng)汽車個(gè)體的充放電動(dòng)作，無(wú)需掌握個(gè)體詳細(xì)模型，而是通過(guò)與區(qū)域電網(wǎng)環(huán)境的交互，不斷學(xué)習(xí)和更新動(dòng)作策略，從而克服集中式優(yōu)化方法的局限性。該優(yōu)化調(diào)度框架采用深度確定性策略梯度算法進(jìn)行求解。仿真結(jié)果表明，與集中式優(yōu)化方法相比，該優(yōu)化算法提高了各電動(dòng)汽車用戶的效益，并使電動(dòng)汽車充放電負(fù)荷與分布式新能源發(fā)電協(xié)調(diào)配合實(shí)現(xiàn)削峰填谷，改善了虛擬電廠的整體運(yùn)行性能。

關(guān)鍵詞：虛擬電廠；電動(dòng)汽車；電動(dòng)汽車入網(wǎng)技術(shù)；分布式新能源；

1.為什么要搭建虛擬電廠

大量電動(dòng)汽車的無(wú)序充電不僅會(huì)影響電網(wǎng)的安全穩(wěn)定運(yùn)行，而且會(huì)給用戶造成經(jīng)濟(jì)損失。事實(shí)上，電動(dòng)汽車充電負(fù)荷不僅具有較大的調(diào)節(jié)彈性，而且可以基于電動(dòng)汽車入網(wǎng)技術(shù)實(shí)現(xiàn)發(fā)電和用電側(cè)的角色轉(zhuǎn)換，具備很大的優(yōu)化調(diào)度潛力。通過(guò)搭建虛擬電廠整合區(qū)域配電網(wǎng)中的電動(dòng)汽車充放電負(fù)荷及分布式新能源發(fā)電資源，合理引導(dǎo)電動(dòng)汽車用戶的充放電行為，不但可以降低電動(dòng)汽車車主的充電費(fèi)用，提高充電需求滿足程度，同時(shí)可使電動(dòng)汽車充放電負(fù)荷與分布式新能源發(fā)電協(xié)調(diào)配合，提高新能源利用率，平抑虛擬電廠整體負(fù)荷的波動(dòng)。虛擬電廠是電力系統(tǒng)中智能配電網(wǎng)運(yùn)行的重要技術(shù)，通過(guò)創(chuàng)建一個(gè)虛擬電廠控制平臺(tái)，可以將配電網(wǎng)中的電動(dòng)汽車充放電負(fù)荷與分布式新能源聚合為一個(gè)整體參與電網(wǎng)運(yùn)行，更好地發(fā)掘電動(dòng)汽車充放電負(fù)荷與分布式新能源的價(jià)值和效益。

然而，在上述包含電動(dòng)汽車充放電負(fù)荷及分布式新能源的虛擬電廠中，電動(dòng)汽車充電站的總負(fù)荷特性是大量個(gè)體電動(dòng)汽車用戶隨機(jī)充放電行為的聚合，難以對(duì)其進(jìn)行的數(shù)學(xué)建模和準(zhǔn)確預(yù)測(cè)，這給傳統(tǒng)的基于負(fù)荷預(yù)測(cè)進(jìn)行優(yōu)化計(jì)算的集中式調(diào)度模式帶來(lái)了挑戰(zhàn)。解決這一難點(diǎn)的一種有效途徑是采用基于強(qiáng)化學(xué)習(xí)方法的交互式優(yōu)化調(diào)度模式。該模式中，虛擬電廠控制平臺(tái)作為智能體，包含電動(dòng)汽車個(gè)體用戶及分布式新能源的區(qū)域電網(wǎng)為智能體所在的環(huán)境。虛擬電廠控制平臺(tái)在不掌握電動(dòng)汽車個(gè)體用戶詳細(xì)模型的情況下給出電動(dòng)汽車個(gè)體的充放電動(dòng)作決策，并通過(guò)與區(qū)域電網(wǎng)的交互評(píng)估當(dāng)前決策的性能，不斷學(xué)習(xí)和更新動(dòng)作策略，直至得到令人滿意的優(yōu)化決策?；谥悄荏w與環(huán)境之間信息交互的強(qiáng)化學(xué)習(xí)方法可以在缺乏數(shù)學(xué)模型的情況下模擬順序決策問題并獲得對(duì)環(huán)境的響應(yīng)。這種基于強(qiáng)化學(xué)習(xí)的交互式調(diào)度模式克服了傳統(tǒng)集中式調(diào)度的局限性，有望在虛擬電廠優(yōu)化調(diào)度中得到應(yīng)用。

目前，國(guó)內(nèi)外針對(duì)電動(dòng)汽車充電優(yōu)化調(diào)度的研究主要關(guān)注電網(wǎng)側(cè)和用戶側(cè)的經(jīng)濟(jì)效益。第1類文獻(xiàn)提出將電動(dòng)汽車充電負(fù)荷接入微電網(wǎng)：構(gòu)建了一個(gè)包含風(fēng)光、基礎(chǔ)負(fù)荷、儲(chǔ)能電池以及電動(dòng)汽車代理商等對(duì)象的微電網(wǎng)，采用粒子群算法對(duì)電網(wǎng)經(jīng)濟(jì)優(yōu)化調(diào)度模型進(jìn)行求解；構(gòu)建了面向工業(yè)園區(qū)的包含電動(dòng)汽車充電站的風(fēng)/光/柴獨(dú)立微電網(wǎng)模型，通過(guò)混合整數(shù)線性規(guī)劃算法，采用Matlab的YALMIP工具包對(duì)模型進(jìn)行求解。第2類文獻(xiàn)提出了針對(duì)電動(dòng)汽車充電負(fù)荷的市場(chǎng)機(jī)制：提出了制定電力交易合約的優(yōu)化策略，通過(guò)搭建分層區(qū)塊鏈結(jié)構(gòu)，提高了電網(wǎng)對(duì)區(qū)域內(nèi)電動(dòng)汽車充放電行為的優(yōu)化調(diào)度；采用市場(chǎng)機(jī)制方法進(jìn)行電動(dòng)汽車充電量和本地負(fù)荷之間的協(xié)調(diào)調(diào)度，避免因負(fù)荷聚集而導(dǎo)致配電系統(tǒng)阻塞。另一類文獻(xiàn)提出了消納電動(dòng)汽車充電負(fù)荷的虛擬電廠：采用粒子群優(yōu)化算法，通過(guò)構(gòu)建虛擬電廠對(duì)高比例新能源、電動(dòng)汽車和可控電源的出力進(jìn)行優(yōu)化調(diào)度；構(gòu)建了包含風(fēng)電、光伏、微燃?xì)鈾C(jī)組、儲(chǔ)能、基礎(chǔ)負(fù)荷和電動(dòng)汽車負(fù)荷的虛擬電廠，制定了虛擬電廠與電動(dòng)汽車用戶雙方經(jīng)濟(jì)效益的主從博弈定價(jià)策略。

2構(gòu)建實(shí)施

2.1 應(yīng)用平臺(tái)構(gòu)建

虛擬電廠平臺(tái)系統(tǒng)運(yùn)行監(jiān)測(cè)、系統(tǒng)運(yùn)行管理、資源分析與建模、結(jié)算管理等功能部署于管理信息大區(qū)，交易申報(bào)與信息發(fā)布、可視化展示等功能部署于互聯(lián)網(wǎng)大區(qū)，方便外界資源接入，兩部分平臺(tái)之間通過(guò)強(qiáng)邏輯隔離裝置進(jìn)行信息交互，分別簡(jiǎn)稱為外平臺(tái)與內(nèi)平臺(tái)。

外平臺(tái)作為聚合商與虛擬電廠用戶等社會(huì)資源的接入端口與申報(bào)發(fā)布端口，主要與智慧能源服務(wù)平臺(tái)、電力交易平臺(tái)、虛擬電廠用戶等交互；內(nèi)平臺(tái)主要與電網(wǎng)資源業(yè)務(wù)中臺(tái)、數(shù)據(jù)中臺(tái)、調(diào)度系統(tǒng)、虛擬電廠用戶等交互。虛擬電廠運(yùn)營(yíng)平臺(tái)采用統(tǒng)一的虛擬電廠聚合商接口，各虛擬電廠聚合商可通過(guò)此架構(gòu)基礎(chǔ)進(jìn)一步與所管控虛擬電廠進(jìn)行數(shù)據(jù)與指令交互，并可集成多類型微服務(wù)，例如綜合能源服務(wù)公司、電動(dòng)汽車公司、第三方負(fù)荷聚合商等主體的

自建能量管理系統(tǒng)或管理平臺(tái)。

虛擬電廠運(yùn)營(yíng)平臺(tái)針對(duì)不同時(shí)間尺度的調(diào)控指令與交易、運(yùn)營(yíng)數(shù)據(jù)交互需求，設(shè)置不同的數(shù)據(jù)通路，包括信息上傳與需求計(jì)劃下發(fā)通路等。運(yùn)營(yíng)平臺(tái)與調(diào)度系統(tǒng)通過(guò)多道安全防護(hù)進(jìn)行出力計(jì)劃與調(diào)節(jié)需求等數(shù)據(jù)交互，構(gòu)建調(diào)控信息通路；運(yùn)營(yíng)平臺(tái)與智慧能源服務(wù)平臺(tái)、交易平臺(tái)通過(guò)相關(guān)技術(shù)支持功能進(jìn)行市場(chǎng)信息、出清與結(jié)算數(shù)據(jù)等數(shù)據(jù)交互，構(gòu)建市場(chǎng)信息通路。

針對(duì)輔助服務(wù)、需求響應(yīng)、電能量交易等所需的數(shù)據(jù)交互類型，運(yùn)營(yíng)平臺(tái)代理進(jìn)行交易申報(bào)，接收相應(yīng)上級(jí)平臺(tái)發(fā)布的市場(chǎng)出清結(jié)果、調(diào)節(jié)需求或計(jì)劃曲線，通過(guò)預(yù)設(shè)的協(xié)調(diào)優(yōu)化策略，將其分解下發(fā)至各虛擬電廠聚合商，在建設(shè)前期也可直接發(fā)送至底層虛擬電廠用戶，并進(jìn)行實(shí)際運(yùn)行情況的監(jiān)測(cè)、接收、運(yùn)行評(píng)估；此外運(yùn)營(yíng)平臺(tái)還通過(guò)交易數(shù)據(jù)通路，接收輔助服務(wù)市場(chǎng)的月度結(jié)算信息并分解下發(fā)至聚合商或虛擬電廠用戶。

2.2 試點(diǎn)應(yīng)用

組織開展虛擬電廠試點(diǎn)參與平臺(tái)調(diào)峰、調(diào)頻的洽談、改造及接入，并逐步拓展接入多元資源的種類與規(guī)模，針對(duì)接入的聚合商或負(fù)荷資源開展調(diào)控業(yè)務(wù)的模擬運(yùn)行，實(shí)現(xiàn)電源側(cè)與負(fù)荷側(cè)靈活資源的有效耦合利用與深度互動(dòng)，以及光伏新能源棄限電量消納。

2.3 溝通推動(dòng)政策出臺(tái)

溝通相關(guān)部門推動(dòng)河北調(diào)頻輔助服務(wù)市場(chǎng)規(guī)則的出臺(tái)，確認(rèn)虛擬電廠主體角色，鼓勵(lì)前期按照“報(bào)量不報(bào)價(jià)"的原則參與服務(wù)；后期根據(jù)電力現(xiàn)貨市場(chǎng)建設(shè)情況，推動(dòng)虛擬電廠相關(guān)補(bǔ)貼政策出臺(tái)。一方面，規(guī)定可再生能源發(fā)電應(yīng)盡量并網(wǎng)，并進(jìn)一步完善現(xiàn)行的分時(shí)電價(jià)辦法，鼓勵(lì)和促進(jìn)用電高峰時(shí)用戶節(jié)電和分布式能源發(fā)電。另一方面，應(yīng)區(qū)別對(duì)待不同職能的虛擬電廠。

3 安科瑞智慧能源管理平臺(tái)助力虛擬電廠快速發(fā)展

3.1安科瑞智慧能源管理平臺(tái)

AcrelEMS 智慧能源管理平臺(tái)是針對(duì)企業(yè)微電網(wǎng)的能效管理平臺(tái)，對(duì)企業(yè)微電網(wǎng)分布式電源、市政電源、儲(chǔ)能系統(tǒng)、充電設(shè)施以及各類交直流負(fù)荷的運(yùn)行狀態(tài)實(shí)時(shí)監(jiān)視、智能預(yù)測(cè)、動(dòng)態(tài)調(diào)配，優(yōu)化策略，診斷告警，可調(diào)度源荷有序互動(dòng)、能源全景分析，滿足企業(yè)微電網(wǎng)能效管理數(shù)字化、安全分析智能化、調(diào)整控制動(dòng)態(tài)化、全景分析可視化的需求，完成不同策略下光儲(chǔ)充資源之間的靈活互動(dòng)與經(jīng)濟(jì)運(yùn)行，為用戶降低能源成本，提高微電網(wǎng)運(yùn)行效率。AcrelEMS 智慧能源管理平臺(tái)可以接受虛擬電廠的調(diào)度指令和需求響應(yīng)，是虛擬電廠平臺(tái)的企業(yè)級(jí)子系統(tǒng)。

圖1 AcrelEMS 智慧能源管理平臺(tái)主界面

3.2平臺(tái)結(jié)構(gòu)

系統(tǒng)覆蓋企業(yè)微電網(wǎng)“源-網(wǎng)-荷-儲(chǔ)-充"各環(huán)節(jié)，通過(guò)智能網(wǎng)關(guān)采集測(cè)控裝置、光伏、儲(chǔ)能、充電樁、常規(guī)負(fù)荷數(shù)據(jù)，根據(jù)負(fù)荷變化和電網(wǎng)調(diào)度進(jìn)行優(yōu)化控制，促進(jìn)新能源消納的同時(shí)降低對(duì)電網(wǎng)的至大需量，使之運(yùn)行安全。

圖2 AcrelEMS 智慧能源管理平臺(tái)結(jié)構(gòu)

3.3平臺(tái)功能

3.3.1.能源數(shù)字化展示

通過(guò)展示大屏實(shí)時(shí)顯示市電、光伏、風(fēng)電、儲(chǔ)能、充電樁以及其它負(fù)荷數(shù)據(jù)，快速了解能源運(yùn)行情況。

3.3.2.優(yōu)化控制

直觀顯示能源生產(chǎn)及流向，包括市電、光伏、儲(chǔ)能充電及消耗過(guò)程，通過(guò)優(yōu)化控制儲(chǔ)能和可控負(fù)載提升新能源消納，削峰填谷，平滑系統(tǒng)出力，并顯示優(yōu)化前和優(yōu)化后能源曲線對(duì)比等。

3.3.3.智能預(yù)測(cè)

結(jié)合氣象數(shù)據(jù)，歷史數(shù)據(jù)對(duì)光伏、風(fēng)力發(fā)電功率和負(fù)荷功率進(jìn)行預(yù)測(cè)，并與實(shí)際功率進(jìn)行對(duì)比分析，通過(guò)儲(chǔ)能系統(tǒng)和負(fù)荷控制實(shí)現(xiàn)優(yōu)化調(diào)度，降低需量和用電成本。

3.3.4.能耗分析

采集企業(yè)電、水、天然氣、冷/熱量等各種能源介質(zhì)消耗量，進(jìn)行同環(huán)比比較，顯示能源流向，能耗對(duì)標(biāo)，并折算標(biāo)煤或碳排放等。

3.3.5.有序充電

系統(tǒng)支持接入交直流充電樁，并根據(jù)企業(yè)負(fù)荷和變壓器容量，并和變壓器負(fù)荷率進(jìn)行聯(lián)動(dòng)控制，引導(dǎo)用戶有序充電，保障企業(yè)微電網(wǎng)運(yùn)行安全。

3.3.6.運(yùn)維巡檢

系統(tǒng)支持任務(wù)管理、巡檢/缺陷/消警/搶修記錄以及通知工單管理，并通過(guò)北斗定位跟蹤運(yùn)維人員軌跡，實(shí)現(xiàn)運(yùn)維流程閉環(huán)管理。

3.4設(shè)備選型

除了智慧能源管理平臺(tái)外，還具備現(xiàn)場(chǎng)傳感器、智能網(wǎng)關(guān)等設(shè)備，組成了完整的“云-邊-端"能源數(shù)字化體系，具體包括高低壓配電綜合保護(hù)和監(jiān)測(cè)產(chǎn)品、電能質(zhì)量在線監(jiān)測(cè)裝置、電能質(zhì)量治理、照明控制、充電樁、電氣消防類解決方案等，可以為虛擬電廠企業(yè)級(jí)的能源管理系統(tǒng)提供一站式服務(wù)能力。

安科瑞系統(tǒng)解決方案還包含電力運(yùn)維云平臺(tái)、能源綜合計(jì)費(fèi)管理平臺(tái)、環(huán)保用電監(jiān)管云平臺(tái)、充電樁運(yùn)營(yíng)管理云平臺(tái)、智慧消防云平臺(tái)、電力監(jiān)控系統(tǒng)、微電網(wǎng)能量管理系統(tǒng)、智能照明控制系統(tǒng)、電能質(zhì)量治理系統(tǒng)、電氣消防系統(tǒng)、隔離電源絕緣監(jiān)測(cè)系統(tǒng)等系統(tǒng)解決方案，覆蓋企業(yè)微電網(wǎng)各個(gè)環(huán)節(jié)，打造準(zhǔn)確感知、邊緣智能、智慧運(yùn)行的企業(yè)微電網(wǎng)智慧能源管理系統(tǒng)。

3.5安科瑞充電樁云平臺(tái)系統(tǒng)功能

3.5.1智能化大屏

智能化大屏展示站點(diǎn)分布情況，對(duì)設(shè)備狀態(tài)、設(shè)備使用率、充電次數(shù)、充電時(shí)長(zhǎng)、充電金額、充電度數(shù)、充電樁故障等進(jìn)行統(tǒng)計(jì)顯示，同時(shí)可查看每個(gè)站點(diǎn)的站點(diǎn)信息、充電樁列表、充電記錄、收益、能耗、故障記錄等。統(tǒng)一管理小區(qū)充電樁，查看設(shè)備使用率，合理分配資源。

3.5.2實(shí)時(shí)監(jiān)控

實(shí)時(shí)監(jiān)視充電設(shè)施運(yùn)行狀況，主要包括充電樁運(yùn)行狀態(tài)、回路狀態(tài)、充電過(guò)程中的充電電量、充電電壓電流，充電樁告警信息等。

3.5.3交易管理

平臺(tái)管理人員可管理充電用戶賬戶，對(duì)其進(jìn)行賬戶進(jìn)行充值、退款、凍結(jié)、注銷等操作，可查看小區(qū)用戶每日的充電交易詳細(xì)信息。

3.5.4故障管理

設(shè)備自動(dòng)上報(bào)故障信息，平臺(tái)管理人員可通過(guò)平臺(tái)查看故障信息并進(jìn)行派發(fā)處理，同時(shí)運(yùn)維人員可通過(guò)運(yùn)維APP收取故障推送，運(yùn)維人員在運(yùn)維工作完成后將結(jié)果上報(bào)。充電用戶也可通過(guò)充電小程序反饋現(xiàn)場(chǎng)問題。

3.5.5統(tǒng)計(jì)分析

通過(guò)系統(tǒng)平臺(tái)，從充電站點(diǎn)、充電設(shè)施、、充電時(shí)間、充電方式等不同角度，查詢充電交易統(tǒng)計(jì)信息、能耗統(tǒng)計(jì)信息等。

3.5.6基礎(chǔ)數(shù)據(jù)管理

在系統(tǒng)平臺(tái)建立運(yùn)營(yíng)商戶，運(yùn)營(yíng)商可建立和管理其運(yùn)營(yíng)所需站點(diǎn)和充電設(shè)施，維護(hù)充電設(shè)施信息、價(jià)格策略、折扣、優(yōu)惠活動(dòng)，同時(shí)可管理在線卡用戶充值、凍結(jié)和解綁。

3.5.7運(yùn)維APP

面向運(yùn)維人員使用，可以對(duì)站點(diǎn)和充電樁進(jìn)行管理、能夠進(jìn)行故障閉環(huán)處理、查詢流量卡使用情況、查詢充電\充值情況，進(jìn)行遠(yuǎn)程參數(shù)設(shè)置，同時(shí)可接收故障推送

3.5.8充電小程序

面向充電用戶使用，可查看附近空閑設(shè)備，主要包含掃碼充電、賬戶充值，充電卡綁定、交易查詢、故障申訴等功能。