ADAPTIVNI MODEL AGENTA ODJEMALCA NA TRGU Z ELEKTRIČNO ENERGIJOMedved, Tomi (Avtor) Gubina, Andrej Ferdo (Mentor) pametna omrežjaprilagajanje odjemaprožnostsistem semaforjastrojno učenjeagentno učenjeposplošeno Q-učenjedvostopenjsko posplošeno Q-učenjeV zadnjem obdobju je na srednjenapetostnem (SN) in nizkonapetostnem (NN) distribucijskem omrežju delež razpršenih obnovljivih virov električne energije (OVE) v izjemnem porastu. OVE in njihova spremenljiva ter negotova proizvodnja, še posebej solarnih, fotonapetostnih elektrarn (angl. Photovoltaic, PV) in vetrnih elektrarn, ki je ne moremo napovedati natančno, močno vplivajo na zanesljivost elektroenergetskega omrežja. Operaterji distribucijskih omrežji (DSO) so se pri obratovanju distribucijskega sistema v času koničnih ur odjema tradicionalno ukvarjali s problemi prenizkih napetosti, zadnje čase pa so se zaradi razmaha OVE začeli soočati tudi s previsokimi napetostmi (prenapetosti v koničnih urah proizvodnje). Te težave se tradicionalno rešujejo že v fazi načrtovanja in dimenzioniranja elektroenergetskega sistema ter kasneje z naložbami v ojačitve omrežja. Ukrepi, ki jih predpisujejo tradicionalne metode, so dragi, ponekod pa so zaradi fizičnih omejitev (gosto naseljena mesta, nakupovalna središča itn.) tudi skorajda nemogoči. Potreba po zmanjšanju teh stroškov in po zagotovitvi čim manjših odstopanj med proizvedeno in porabljeno energijo v distribucijskem omrežju vodi do pospešenega razvoja novih ukrepov, s katerimi bi ceneje in učinkoviteje sproti dopolnjevali obratovalne zmogljivosti distribucijskega omrežja ter s tem zagotavljali zanesljivost dobave elektrike odjemalcem. Mednje sodijo tudi programi prožnega odjema (angl. Demand Response Programs), ki so namenjeni spodbujanju odjemalcev električne energije, da spremenijo svoje vzorce aktivne porabe energije. Enote s prožnim odjemom (angl. Demand Response Units), imenujmo jih prožnostne enote (PE), in njihovo vodenje predstavljajo nove možnosti za naprednejše vodenje tehničnih razmer v omrežju kot tudi nove priložnosti za bolj učinkovito trgovanje trgovca in dobavitelja na trgu z elektriko. Dobavitelji lahko nastopijo v vlogi agregatorja in združijo prožno energijo aktivnih odjemalcev PE, kot so lastniki toplotnih črpalk, električnih vozil in drugih PE, v skupinski portfelj, ki se prilagaja glede na povpraševanje in ponudbo. Na popolnoma dereguliranem trgu z električno energijo je obratovanje distribucijskega omrežja regulirana dejavnost, ločena od tržnih operacij. Enote PE so po navadi v zasebni lasti, vendar si njihovi lastniki želijo povečati dobiček, zato se državne spodbude razvijajo v smeri sodelovanja PE v tržnih programih prilagajanja odjema za zagotavljanje prožnosti. Agregatorji so akterji na trgu z elektriko. To funkcijo največkrat opravljajo dobavitelji na trgu na drobno, ki vodijo agregacijske platforme za oblikovanje portfelja prožne energije. Z združevanjem PE v portfelju v več SN in NN omrežjih agregator lahko ponudi prožnostne energijske produkte na veleprodajnih trgih z električno energijo, na trgih z rezervo, ali pa zagotavlja druge sistemske storitve sistemskim operaterjem prenosnega ali distribucijskega omrežja. Primeri teh produktov prožne energije so 15-minutni prožnostni produkti na izravnalnem trgu z elektriko ali enourni produkti na veleprodajnem znotrajdnevnem trgu z elektriko, medtem ko primeri frekvenčnih sistemskih storitev vključujejo zagotavljanje ročne rezerve za povrnitev frekvence (rRPF) ali avtomatske rezerve za povrnitev frekvence (aRPF). S PE lahko zagotavljamo tudi druge vrste sistemskih storitev, kot so regulacija napetosti in tokovne prezasedenosti vodov za DSO ter regulacija izravnavanja faznih neravnovesij (npr. z naprednimi energetskimi pretvorniki). Agregator načrtuje delovanje PE v svojem portfelju v smeri povečanja dobička, ki ga nato deli s sodelujočimi enotami v skladu z dogovorjenim poslovnim modelom. Z vidika družbe je zaželena večja aktivnost odjemalcev in s tem povečana udeležba PE v programih zagotavljanja prožnosti. Tehnični učinek načrtovanja v NN omrežjih dojema kot pozitiven, saj aktivira prožno energijo, ki lahko pomaga potešiti naraščajočo potrebo po prožnosti v elektroenergetskem sistemu. PE se lahko uporabi za znižanje konice odjema (angl. peak demand), povečanje lastne porabe ali za zagotavljanje sistemskih storitev. Če bi enote s prožnim odjemom spremenile svojo porabo v napačnem trenutku, bi takšen vozni red PE lahko negativno vplival na lokalne razmere v omrežju in na obratovalno zanesljivost distribucijskega omrežja, kar bi lahko privedlo do kršitev napetostnih omejitev ali do prezasedenosti vodov. Operater distribucijskih omrežij mora v takšnem primeru posredovati in zagotoviti, da vozni redi običajnega odjema, skupaj z voznimi redi lokalnih OVE in PE, ne povzročijo kršitev obratovalnih omejitev omrežja. DSO si mora tako zagotoviti končni nadzor nad vsemi elementi, ki jih je mogoče nadzorovati v omrežju. Eden izmed učinkovitih načinov, ki omogoča popoln nadzor DSO-ja nad akcijami aktivnih odjemalcev, povezanih z vodenjem PE, je sistem semaforja (angl. Traffic Light System, TLS), ki je bil razvit v okviru doktorske raziskave in je predstavljen v projektu INCREASE. Projekt INCREASE, ki ga je sofinancirala Evropska komisija v okviru Sedmega Okvirnega programa EU za raziskave in tehnološki razvoj (EU OP7), se je osredotočal na vodenje OVE in PE v MV in LV omrežju z namenom zagotavljanja sistemskih storitev za DSO, kot so regulacija napetosti in zagotavljanje rezerve. V okviru projekta so bile proučene tudi različne možnosti agregatorjev za zagotavljanje različnih storitev DSO-jem z novimi naprednimi strategijami vodenja, skupaj z novimi poslovnimi modeli za agregatorje ter lastnike OVE in PE. Sistem semaforja operaterju distribucijskega sistema omogoča, da odobri ali zavrne načrtovane vozne rede PE, ki jih predlagajo agregatorji, če bi njihove akcije privedle do omrežnih težav. Obstajajo še druge rešitve, ki omogočajo, da se omrežne razmere nahajajo znotraj predpisanih meja in pripomorejo k ublažitvi obratovalnih težav v distribucijskem omrežju, kot so: (i) vgradnja regulacijskega distribucijskega transformatorja (angl. On Load Tap Changer, OLTC), (ii) vgradnja naprav FACTS (angl. Flexible Alternating Current Transmission System) ter (iii) tradicionalno ojačenje kablov in električnih vodov. Za ublažitev težav z omrežjem DSO-ji trenutno še nimajo drugih rešitev in sistemov, ki bi jim omogočali obratovanje izključno s pomočjo preverjanja stanj v omrežju in vpliva voznih redov PE nanj [1]. Številne raziskave so bile usmerjene v izboljševanje omrežnih razmer z vodenjem enot PE v smeri optimalnega obratovanja distribucijskega omrežja, vendar predlagane izboljšave niso upoštevale ekonomskega izplena, ki bi ga lahko upravljalci PE ali agregatorji zaslužili z drugačnim načrtovanjem voznih redov. Zato je slednje glavna tema doktorske raziskave. V prihodnje se pričakuje znatno povečanje števila in skupne moči PE in s tem tudi pomena vloge agregatorjev, ki bodo združevali veliko število PE in jih vodili z namenom povečanja učinkovitosti in dobička. Za vodenje velikega števila PE bodo agregatorji potrebovali napredne, popolnoma ali vsaj polavtomatizirane procese načrtovanja voznih redov PE. Kot najprimernejše metode za avtomatizacijo procesa načrtovanja se kažejo metode strojnega učenja in umetne inteligence (angl. Artificial Intelligence, AI), še posebej inteligentnih agentov. Alternativa tem metodam je uporaba linearnih optimizacijskih tehnik, ki teoretično zagotavljajo najboljši rezultat v neomejenem omrežju, a se v primeru vnaprej neznanih omejitev in zavrnitev voznih redov s strani DSO-ja njihov rezultat znatno poslabša. Cilj disertacije je bil razviti metodo načrtovanja voznih redov PE s pomočjo agentnega učenja, ki bi v obremenjenem distribucijskem omrežju dosegala boljši rezultat kot ekonomska optimizacija ob upoštevanju zavrnitev. V disertaciji smo tako poleg koncepta TLS-ja zasnovali tudi koncept trgovanja s prožnostjo. Definirali smo vloge vseh deležnikov in izmenjavo informacij med njimi. Novo razviti koncept zajema vse faze trgovanja, od dolgoročnih rezervacij za zagotavljanje sistemskih storitev do izravnalnega trga. Koncept vključuje tudi preventivno in korektivno delovanje DSO-ja glede na čas dobave energije in izvedbe TLS-ja. V koncept trgovanja smo vključili tudi agenta aktivnega odjemalca za načrtovanje voznih redov, ki za načrtovanje uporablja novo razvito metodo Posplošenega Q-učenja (PQL). S to metodo se agent uči izogibati zavrnitvam voznih redov in stremi k doseganju večjega dobička z upoštevanjem in predvidevanjem omrežnih razmer. Razvili smo dva načina uporabe PQL-a, in sicer enostopenjski in dvostopenjski PQL, ki se razlikujeta po procesu načrtovanja voznih redov ter različnih kriterijskih funkcijah ocenjevanja omrežnih omejitev. Rezultati preizkusa novo razvite metode PQL kažejo, da je v veliki meri mogoče zmanjšati tveganje zavrnitve voznih redov in se s tem izogniti morebitnim kaznim za neuspešno aktivacijo prožnosti. Delovanje in učinkovitost različnih metod za načrtovanje voznih redov PE smo preverili na testnem sistemu, ki temelji na realnem omrežju in meritvah odjema in proizvodnje.20192019-12-11 10:10:00Doktorsko delo/naloga113181sl