the decision process behind active network managementqgemine/gemine_anm_280314.pdf · gredor -...

The Decision Process behind

Active Network Management

WORKSHOP ULG - EDF R&D Q. Gemine - ULg March 28, 2014

!1

GREDOR - Gestion des Réseaux Electriques de Distribution Ouverts aux Renouvelables

Motivations

!2

Relying on investments to always avoid congestion and voltage problems comes at continuously increasing

network reinforcement costs

Rapid growth of distributed generation

Address congestion and voltage issues via short-term decision-making policies


Observations

!3

Several researchers tackled this operational planning problem.

They rely on different formalizations of the problem, making it harder for one researcher to build on top of another one’s work.

We are looking to provide a generic formulation of the problem in order to ease the comparison of different resolution techniques.


Active Network Management

!4

These short-term decision-making policies rely on some flexibility means to control the operation of the network.

We focus on the flexibly services that can be provided by the devices connected to the network :

Curtailment of distributed generation

Modulation of flexible loads

On an environmental point of view, relying too much on curtailment of renewable energy may be very controversial.

!


Load flexibility

!5

Generally, loads have to consume a fixed amount of energy over a certain time interval.

The modulation of a flexible load at one time influences the modulation range that will be available afterwards.

It is critical to plan the operation of the network over a sufficient time horizon.


Uncertainty

!6

Several components of the system are affected by uncertainty :

• natural phenomena that supply distributed generators (e.g. wind and sun)

• consumer behavior that gives rise to electrical consumption

Planification of control actions must be performed under uncertainty.


Problem description

!7

We address the problem faced by a DSO that want to plan the operation of its network over the time while ensuring that thermal and voltage limits are not violated.

For this purpose, the power modulations of the devices constitute the control actions and are available at some cost.

The problem consists, then, in finding the optimal operation of a set ! of devices over the time.


Time representation

!8

We focus on the steady-state operation of the network and of the devices.

The evolution of the system is described by a discrete-time process and power injections and withdrawals are assumed to be constant within

each time period.

The time horizon is modeled using a set " of periods.


Network and Operational Limits

!9

The network is constituted of• a set # of nodes (or buses)

• a set ℒ of links, connecting pairs of nodes n,'n’ ∈ # where each l ∈ ℒ'is described by three admittance values Y (l)

nn0 , Y(l)nn and Y (l)

n0n0

The operational constraints are

• voltage limits at buses

est modélisé par sa représentation en ⇡, composée de trois valeurs complexes d’admittance Y

(l)nn

0 , Y

(l)nn

etY

(l)n

0n

0 (voir figure 1). Celles-ci modélisent les caractéristiques physiques du lien. Le système électriquefonctionnant en régime alternatif, les grandeurs électriques sont des nombres complexes. Nous dénoterons,au noeud n 2 N et à l’instant t 2 T , la tension complexe par V

n,t

, son amplitude par |Vn,t

| et ses partiesréelles et imaginaires par e

n,t

et f

n,t

, respectivement.

Noeud n Noeud n’Ynn’

Yn’n

Vn∠ϕn = en+j·fn

Vn’∠ϕn’ = en’+j·fn’

Y

(l)n

0n

0

Y

(l)nn

0Noeud n Noeud n

0

V

n,t

= e

n,t

+ j · f

n,t

V

n

0,t

= e

n

0,t

+ j · f

n

0,t

FIGURE 1 – Représentation en ⇡ d’un lien reliant les noeuds i et j.

En particulier, nous nous concentrons sur l’opération du réseau moyenne tension (MT) du GRD, qui inclutgénéralement l’ensemble de son infrastructure à l’exception des composants au plus près des consomma-teurs résidentiels, qui composent le réseau basse tension (BT).

Limites opérationnelles

Les limites opérationnelles représentent un ensemble de contraintes, en tension aux noeuds et en courantdans les liens, qui doivent être respectées pour ne pas compromettre l’opération du réseau. Les contraintesde tension expriment que l’amplitude de la tension |V

n,t

| au noeud n ne peut pas dévier arbitrairement desa valeur nominale V

(nom)n

. Si c’était le cas, cela pourrait nuire aux dispositifs électriques connectés à cenoeud. Ainsi, on peut écrire :

8(t, n) 2 T ⇥ N : V

n

|Vn,t

| V

n

(1)

où |Vn,t

| représente l’amplitude de la tension au noeud n et au temps t tandis que les notations · et ·dénotent des bornes inférieure et supérieure, respectivement.

En ce qui concerne les limites en courant, ou limites thermiques, elles traduisent un phénomène de conges-tion qui se produit au niveau des liens quand l’amplitude du courant qui y passe est trop grande. Les lignes,câbles et transformateurs peuvent surchauffer et des dégâts irréversibles peuvent se produire si ces limitesne sont pas respectées. En général, un système de protections interrompt les liens concernés en cas dedépassement des limites, entraînant potentiellement une déconnection de certaines parties du réseau. Cescontraintes s’expriment comme suit :

8(t, l) 2 T ⇥ L : |Il,t

| I

l

(2)

avec I

l,t

le courant au temps t dans le lien l et |Il,t

| son amplitude.

Dispositifs électriques

L’ensemble D des dispositifs électriques est constitué d’éléments qui sont connectés aux noeuds n 2 Ndu réseau et qui échangent de l’énergie électrique avec celui-ci. Ils peuvent être différenciés en deux sous-ensembles distincts :

– l’ensemble C ⇢ D des charges, elles soutirent de la puissance depuis le réseau car elles consommentde l’énergie électrique ;

– l’ensemble G ⇢ D des générateurs, ils injectent de la puissance vers le réseau en produisant del’énergie électrique.

Au sein de chaque sous-ensemble, nous distinguons également deux sortes de modèles de dispositifs. Lespremiers représentent des points d’injection et de soutirage individuels tel que c’est le cas pour certainsGD et pour les consommateurs qui sont directement connectés au réseau MT (p.ex. les éoliennes, certainesentreprises et usines, ...). Les autres modélisent quant à eux un ensemble de dispositifs agrégés qui sont

• thermal limits of links

est modélisé par sa représentation en ⇡, composée de trois valeurs complexes d’admittance Y

(l)nn

0 , Y

(l)nn

etY

(l)n

0n

0 (voir figure 1). Celles-ci modélisent les caractéristiques physiques du lien. Le système électriquefonctionnant en régime alternatif, les grandeurs électriques sont des nombres complexes. Nous dénoterons,au noeud n 2 N et à l’instant t 2 T , la tension complexe par V

n,t

, son amplitude par |Vn,t

| et ses partiesréelles et imaginaires par e

n,t

et f

n,t

, respectivement.

Noeud n Noeud n’Ynn’

Yn’n

Vn∠ϕn = en+j·fn

Vn’∠ϕn’ = en’+j·fn’

Y

(l)n

0n

0

Y

(l)nn

0Noeud n Noeud n

0

V

n,t

= e

n,t

+ j · f

n,t

V

n

0,t

= e

n

0,t

+ j · f

n

0,t

FIGURE 1 – Représentation en ⇡ d’un lien reliant les noeuds i et j.

En particulier, nous nous concentrons sur l’opération du réseau moyenne tension (MT) du GRD, qui inclutgénéralement l’ensemble de son infrastructure à l’exception des composants au plus près des consomma-teurs résidentiels, qui composent le réseau basse tension (BT).

Limites opérationnelles

Les limites opérationnelles représentent un ensemble de contraintes, en tension aux noeuds et en courantdans les liens, qui doivent être respectées pour ne pas compromettre l’opération du réseau. Les contraintesde tension expriment que l’amplitude de la tension |V

n,t

| au noeud n ne peut pas dévier arbitrairement desa valeur nominale V

(nom)n

. Si c’était le cas, cela pourrait nuire aux dispositifs électriques connectés à cenoeud. Ainsi, on peut écrire :

8(t, n) 2 T ⇥ N : V

n

|Vn,t

| V

n

(1)

où |Vn,t

| représente l’amplitude de la tension au noeud n et au temps t tandis que les notations · et ·dénotent des bornes inférieure et supérieure, respectivement.

En ce qui concerne les limites en courant, ou limites thermiques, elles traduisent un phénomène de conges-tion qui se produit au niveau des liens quand l’amplitude du courant qui y passe est trop grande. Les lignes,câbles et transformateurs peuvent surchauffer et des dégâts irréversibles peuvent se produire si ces limitesne sont pas respectées. En général, un système de protections interrompt les liens concernés en cas dedépassement des limites, entraînant potentiellement une déconnection de certaines parties du réseau. Cescontraintes s’expriment comme suit :

8(t, l) 2 T ⇥ L : |Il,t

| I

l

(2)

avec I

l,t

le courant au temps t dans le lien l et |Il,t

| son amplitude.

Dispositifs électriques

L’ensemble D des dispositifs électriques est constitué d’éléments qui sont connectés aux noeuds n 2 Ndu réseau et qui échangent de l’énergie électrique avec celui-ci. Ils peuvent être différenciés en deux sous-ensembles distincts :

– l’ensemble C ⇢ D des charges, elles soutirent de la puissance depuis le réseau car elles consommentde l’énergie électrique ;

– l’ensemble G ⇢ D des générateurs, ils injectent de la puissance vers le réseau en produisant del’énergie électrique.

Au sein de chaque sous-ensemble, nous distinguons également deux sortes de modèles de dispositifs. Lespremiers représentent des points d’injection et de soutirage individuels tel que c’est le cas pour certainsGD et pour les consommateurs qui sont directement connectés au réseau MT (p.ex. les éoliennes, certainesentreprises et usines, ...). Les autres modélisent quant à eux un ensemble de dispositifs agrégés qui sont


Generators

!10

Generators constitute the subset * ⊂ ! of the devices.

8(t, d) 2 T ⇥ G : Pd,t � 0

8(t, d) 2 T ⇥ G :Qd,t

Pd,t= tan�t

Transformateur MT/BT


Control of Generators

!11

Curtailing a generator d ∈ * at time t ∈ " corresponds to setting a maximum limit to power injection:

Par la suite, nous utilisons la notation abrégée

8n 2 N : g

n

(e,f , P

P

n,t

, Q

P

n,t

) = 0 (7)

8n 2 N : h

n

(e,f , P

P

n,t

, Q

P

n,t

) = 0 (8)

8l 2 L : i

l

(e,f) = 0 (9)

pour dénoter les equations (4), (5) et (6), respectivement, où e et f sont les vecteurs des parties réelles etimaginaires des tensions aux noeuds et avec

P

P

n,t

=

X

d2D(n)

P

d,t

(10)

Q

P

n,t

=

X

d2D(n)

Q

d,t

(11)

Actions de contrôle

Nous décrivons ci-dessous deux moyens de contrôle du système et un des modes d’interaction possiblesentre acteurs du système pour ces moyens de contrôle. En pratique il existe d’autres manières de contrôler lesystème, en modulant le(s) signal(aux) tarifaire(s), en agissant sur la topologie du réseau, ou en commandantdes sources de stockage distribuées. Pour un même moyen de contrôle, plusieurs manières d’organiser lesinteractions entre acteurs peuvent également être envisagées.

Nous considérons que le GRD peut avoir recours à différentes actions de contrôle qui modifient l’opé-ration des dispositifs électriques connectés à son réseau. Pour chaque dispositif appartenant à l’ensembleG ⇢ D des GD, il peut ordonner une réduction du niveau de production. La figure 3 illustre l’impact d’unetelle action de contrôle sur l’injection de puissance d’un GD. Cette requête peut être effectuée jusqu’à lapériode précédant celle concernée par la réduction de puissance et est obtenue en échange d’une certainecompensation financière. Cette compensation sert à dédommager le producteur de l’énergie qu’il n’a pas puvendre pendant les périodes de modulations. Parmi les alternatives de paiement présentées dans Klinge Ja-cobsen & Schröder (2012), nous avons retenu l’approche correspondant à une compensation définie par leprix du marché day-ahead de l’électricité pour les périodes considérées pour chaque MWh non produit.Selon le moment auquel une décision de modulation est prise (ou prévue) par le GRD, le prix du marché estou n’est pas encore connu, car en Europe le prix de marché pour chaque heure du lendemain n’est connuqu’aux environs de 12h00. Par soucis de simplicité, nous postulerons que ce prix est parfaitement connu.

0

1

2

3

4

5

6

7

8

Time

P(M

W)

Prod. potentielleProd. modulée

FIGURE 3 – Réduction du niveau de production d’un générateur distribué.

Nous considérons également que le GRD a la possibilité de modifier la consommation des chargesflexibles du réseau. Ces charges forment un sous ensemble F de l’ensemble de toutes les charges C ⇢ Ddu réseau. Un coût d’activation est associé à ce moyen de contrôle. Une charge flexible peut être notifiéejusqu’à la période précédant l’activation du service. Une fois l’activation réalisée au temps t0, la consom-mation de la charge flexible f est modifiée d’une valeur �P

f

(t � t0) pendant T

f

périodes, comme illustrépar la figure 4.

Pd,t P d,t


Loads

!12

Loads constitute the subset + ⊂ ! of devices.

Transformateur MT/BT

8(t, d) 2 T ⇥ C :Qd,t

Pd,t= tan�t

8(t, d) 2 T ⇥ C : Pd,t 0


Control of Flexible Loads

!13

Modulation of a flexible load d ∈ , ⊂ + corresponds to adding a modulation signal ΔPd to the power consumption during a set {1,..,Td} of period:

JFPDA 2014

1 2 3 4 5 6 7 8 9

ï1

ï0.5

0

0.5

1

t − t 0 (t ime)

∆P

(kW

)

∆E−

∆E+

(a) Signal de modulation de la consommation (Tf = 9)

0

1

2

3

4

5

6

7

8

9

T ime

P(k

W)

Cons. inchangéeCons. modulée

t 0 + Tft 0

(b) Impact du signal de modulation sur la consommation

FIGURE 4

Une charge flexible ne peut habituellement pas être modulée de façon arbitraire. Une telle flexibilitépeut être obtenue au près de charges dotées d’une capacité de stockage sous forme quelconque (p. ex.chauffage ou réfrigérateur électrique, pompe à eau, ...) ou au près de processus disposant d’une marge demanoeuvre dans l’ordonnancement des tâches ou produits à réaliser (p. ex. ligne de production industrielle,lave-vaisselle, machine à laver, ...). Ces processus sous-jacents à la consommation électrique contraignentla forme du signal modulation �P (t � t0). Pour cette raison, nous imposons que celui-ci vérifie toujoursdeux caractéristiques :

– Une modulation à la baisse est suivie d’une augmentation de la consommation, et inversement. Cecimodélise l’effet rebond.

– L’intégrale du signal de modulation doit être nulle pour assurer que la consommation n’a été quedéplacée et non modifiée.

La courbe �P (t � t0) de la figure 4a respecte ces caractéristiques, le sens de modulation dans la deuxièmepartie de l’intervalle de temps T

f

est opposé à celui de la première partie et l’intégrale est nulle (�E� +

�E+ = 0).

3 Dynamique du problème décisionnel

Le problème présenté est un problème de décision séquentiel. Cette séquentialité est induite par le servicede modulation offert par les charges flexibles. En effet, si un tel service est activé au temps t0 pour unecharge flexible f , cette action aura une influence sur le système pour l’ensemble des périodes [[t0 + 1, t0 +

T

f

]]. De plus, l’évolution du système et l’issue des actions de contrôle sont affectées par plusieurs facteursd’incertitude tels que la vitesse du vent, le niveau d’irradiance solaire ou encore le niveau de consommationdes charges. Dans cette section, nous modélisons ce problème comme un processus de décision markovienà ensembles d’états et d’actions continus.

3.1 Etat du système

Grâce aux équations (4), (5) et (6), on peut déduire la valeur des différentes grandeurs électriques duréseau à partir des injections de puissance des dispositifs. Si la représentation de ces injections nécessitel’information de consommation individuelle de chacune des charges, il est par contre possible d’obtenir laproduction des GD en fonction du niveau de puissance de leur source d’énergie (c.-à-d. la vitesse du ventou l’irradiance solaire). Cela nous mène à définir un premier ensemble d’état S(1) tel que les vecteurs s(1)

t

qu’il a pour éléments sont définis comme

s(1)t

= (P1,t

, . . . , P|C|,t, irt

, v

t

)

et contiennent, à l’instant t 2 T , l’information minimale nécessaire à la connaissance des injections de puis-sance de l’ensemble D des dispositifs. Les composantes ir

t

et v

t

représentent le niveau d’irradiance solaire

8t 2 {t0 + 1, .., t0 + Td} : Pd,t Pd,t +�Pd(t� t0)


Dynamics of the problem

!14

The problem described is a problem of sequential decision-making under certainty.

We choose to model it as a Markov Decision Process :

st, st+1 2 Sst+1 = f(st,at,wt+1)

wt+1 ⇠ p(·|st)at 2 Ast


State of the system

!15

The state vector st of the system has the following components :

• the active power injections of the loads(P1,t, . . . , P|C|,t)

• the wind speed and irradiance level over the network (irt, vt)

• the curtailment instructions and the state of the flexible loads

et la vitesse du vent, respectivement. Si, par soucis de simplicité, nous nous limitons à modéliser les géné-rateurs éoliens et solaires, d’autres types de générateurs pourraient également être intégrés en accroissant ladimension de S(1).

Le GRD pouvant influencer les valeurs d’injection des dispositifs, nous introduisons un deuxième en-semble S(2) représentant les instructions de modulations. Les vecteurs s(2)

t

2 S(2) sont définis comme

s(2)t

= (P 1,t

, . . . , P |G|,t, s(f)1,t

, . . . , s

(f)|F|,t)

et contiennent, à l’instant t 2 T , les injections maximales de puissance active P

g,t

des GD g 2 G, tellesqu’autorisées par le GRD, ainsi que les indicateurs s

(f)d,t

de l’état des services de flexibilité des chargesd 2 F , définis comme

s

(f)d,t

=

(nombre de périodes actives restantes si service actif0 si service inactif

A l’aide des deux ensembles S(1) et S(2), on peut finalement définir l’ensemble d’états S du systèmecomme

S = S(1) ⇥ S(2) ⇥ [[1, 96]]

où la composante appartenant à l’interval d’entiers [[1,96]] identifie à quel quart d’heure dans la journéecorrespond correspond l’état. Cette composante est nécessaire car elle permet la définition de plusieursfonctions de transition qui dépendent de cette information. Par la suite, nous dénotons cette composantepar q

t

.

3.2 Actions de contrôle

Les moyens de contrôle dont dispose le GRD pour contrôler le système sont modélisées par l’ensembleAs des actions de contrôle. Cet ensemble dépend de l’état s

t

du système car il n’est pas possible d’activerle service de flexibilité d’une charge si celui-ci est déjà actif. Les composantes des vecteurs a

t

2 As sontdéfinies par

at

= (pt

,a(f)t

)

avec pt

2 R|G| tel que p

g,t

indique le niveau d’injection de puissance active maximum à la période t+1 pourchaque générateur g 2 G. Le vecteur a(f)

t

représente quant à lui les indicateurs d’activation des services deflexibilité des charges d 2 F où chaque composante a

(f)d,t

est à valeur dans A(f)d,s, défini comme

A(f)d,s =

({0, 1} si s

(f)d,t

= 0

{0} si s

(f)d,t

> 0

pour s’assurer qu’une charge déjà active n’est pas activée.

3.3 Fonction de transition

L’évolution du système d’un état st

à un état st+1 est décrit par la fonction de transition f . Le nouvel

état st+1 dépend, en plus de l’état précédent, des actions de contrôle a

t

du GRD et de la réalisation desprocessus stochastiques, modélisés comme des processus de Markov. Plus spécifiquement, on a

f : S ⇥ As ⇥ Ws 7! S

où Ws est l’ensemble des réalisations possibles des processus de Markov. Afin de définir cette fonction plusen détails, nous décrivons tout d’abord les différents processus stochastiques qui influencent le système.

• the quarter of the day to which the time period corresponds (qt)


State of the system

!15

The state vector st of the system has the following components :

• the active power injections of the loads(P1,t, . . . , P|C|,t)

• the wind speed and irradiance level over the network (irt, vt)

• the curtailment instructions and the state of the flexible loads

s(f)d,t =

(nb de active periods left if service is active

0 if service is not active

• the quarter of the day to which the time period corresponds (qt)


Control Actions

!16

The action vector at has the following components :

• the curtailment instructions for the next period(p1,t, . . . , p|G|,t)

• the activation instructions of flexible loads

(a(f)1,t , . . . , a(f)|F|,t)

a(f)d,t 2 A(f)d,st

=

({0, 1} if s(f)d,t = 0

{0} if s(f)d,t > 08d 2 F :


Transition Function

!17

The transition function f governs:

• the impact of control actions

Irradiance solaire et production photovoltaïque

De façon similaire aux générateurs éoliens, les générateurs photovoltaïques ont un niveau de productionincertain induit par l’incertitude associée à leur source d’énergie. Cette source est représentée par le niveaud’irradiance solaire qui quantifie la puissance du rayonnement solaire par m

2. Le niveau d’irradiance estle processus stochastique qui est modélisé tandis que le niveau de production est obtenu par une fonctiondéterministe de l’irradiance et de la surface des panneaux photovoltaïques. Cette fonction est plus simpleque la courbe de puissance d’une éolienne et est définie par

P

g,t

= ⌘

g

· surfg

· ir

t

où ⌘

g

est le facteur d’efficacité des panneaux, considéré comme constant et d’une valeur de 15%, tandisque surf

g

est la surface des panneaux en m

2 et est propre à chaque générateur photovoltaïque. Le niveaud’irradiance est quant à lui dénoté par ir

t

et l’ensemble du phénomène est modélisé par le processus deMarkov suivant :

ir

t+1 = f

ir

(ir

t

, q

t

) + W

ir

(q

t

) (15)P

g,t+1 = ⌘

g

· surfg

· ir

t+1, 8g 2 générateurs photovoltaïques ⇢ G (16)

tel que W

ir

(q

t

) ⇠ N�0, �

2ir

(q

t

)

�. La technique utilisée dans la section ?? pour construire f

ir

et �

ir

à partird’un ensemble de données est similaire à celle utilisée pour la vitesse du vent.

Impact des actions de contrôle

Les processus stochastiques décrits régissent l’évolution de l’état s(1)t

2 S(1) de la consommation descharges (hors services de flexibilité) et du niveau de puissance des sources d’énergie des GD. Les loisde transition suivantes définissent quant à elles l’évolution des composantes de l’état des instructions demodulation s(2)

t

2 S(2) en intégrant les actions de contrôle du GRD :

8g 2 G : P

g,t+1 = p

g,t

(17)

8d 2 F : s

(f)d,t+1 = max(s

(f)d,t

� 1 ; 0) + a

(f)d,t

T

d

(18)

8d 2 F : �P

d,t+1 =

(�P

d

(T

d

� s

(f)d,t+1 + 1) si s

(f)d,t+1 > 0

0 si s

(f)d,t+1 = 0

(19)

A partir des vecteurs s(1)t

et s(2)t

, on peut, pour chaque noeud n 2 N , déterminer les puissances active etréactive réellement injectées et ainsi obtenir la valeur des grandeurs électriques électrique du réseau :

P

P

n,t

=

X

g2G(n)

min(P

g,t

; P

g,t

) +

X

d2C(n)\F(n)

P

d,t

+

X

d2F(n)

(P

d,t

+ �P

d,t

) (20)

Q

P

n,t

=

X

g2G(n)

min(tan �

g

P

g,t

; Q

g,t

) +

X

d2C(n)\F(n)

Q

d,t

+

X

d2F(n)

(Q

d,t

+ tan �

d

�P

d,t

) (21)

0 = g

n

(e,f , P

P

n,t

, Q

P

n,t

) (22)

0 = h

n

(e,f , P

P

n,t

, Q

P

n,t

) (23)

tandis qu’on niveau des liens l 2 L, on a :

i

l

(e,f) = 0 (24)

3.4 Fonction de récompense

Afin d’évaluer la performance d’une politique de décision, nous spécifions dans cette section la fonctionde récompense r, telle que

r : A ⇥ S 7! R (25)

Irradiance solaire et production photovoltaïque

De façon similaire aux générateurs éoliens, les générateurs photovoltaïques ont un niveau de productionincertain induit par l’incertitude associée à leur source d’énergie. Cette source est représentée par le niveaud’irradiance solaire qui quantifie la puissance du rayonnement solaire par m

2. Le niveau d’irradiance estle processus stochastique qui est modélisé tandis que le niveau de production est obtenu par une fonctiondéterministe de l’irradiance et de la surface des panneaux photovoltaïques. Cette fonction est plus simpleque la courbe de puissance d’une éolienne et est définie par

P

g,t

= ⌘

g

· surfg

· ir

t

où ⌘

g

est le facteur d’efficacité des panneaux, considéré comme constant et d’une valeur de 15%, tandisque surf

g

est la surface des panneaux en m

2 et est propre à chaque générateur photovoltaïque. Le niveaud’irradiance est quant à lui dénoté par ir

t

et l’ensemble du phénomène est modélisé par le processus deMarkov suivant :

ir

t+1 = f

ir

(ir

t

, q

t

) + W

ir

(q

t

) (15)P

g,t+1 = ⌘

g

· surfg

· ir

t+1, 8g 2 générateurs photovoltaïques ⇢ G (16)

tel que W

ir

(q

t

) ⇠ N�0, �

2ir

(q

t

)

�. La technique utilisée dans la section ?? pour construire f

ir

et �

ir

à partird’un ensemble de données est similaire à celle utilisée pour la vitesse du vent.

Impact des actions de contrôle

Les processus stochastiques décrits régissent l’évolution de l’état s(1)t

2 S(1) de la consommation descharges (hors services de flexibilité) et du niveau de puissance des sources d’énergie des GD. Les loisde transition suivantes définissent quant à elles l’évolution des composantes de l’état des instructions demodulation s(2)

t

2 S(2) en intégrant les actions de contrôle du GRD :

8g 2 G : P

g,t+1 = p

g,t

(17)

8d 2 F : s

(f)d,t+1 = max(s

(f)d,t

� 1 ; 0) + a

(f)d,t

T

d

(18)

8d 2 F : �P

d,t+1 =

(�P

d

(T

d

� s

(f)d,t+1 + 1) si s

(f)d,t+1 > 0

0 si s

(f)d,t+1 = 0

(19)

A partir des vecteurs s(1)t

et s(2)t

, on peut, pour chaque noeud n 2 N , déterminer les puissances active etréactive réellement injectées et ainsi obtenir la valeur des grandeurs électriques électrique du réseau :

P

P

n,t

=

X

g2G(n)

min(P

g,t

; P

g,t

) +

X

d2C(n)\F(n)

P

d,t

+

X

d2F(n)

(P

d,t

+ �P

d,t

) (20)

Q

P

n,t

=

X

g2G(n)

min(tan �

g

P

g,t

; Q

g,t

) +

X

d2C(n)\F(n)

Q

d,t

+

X

d2F(n)

(Q

d,t

+ tan �

d

�P

d,t

) (21)

0 = g

n

(e,f , P

P

n,t

, Q

P

n,t

) (22)

0 = h

n

(e,f , P

P

n,t

, Q

P

n,t

) (23)

tandis qu’on niveau des liens l 2 L, on a :

i

l

(e,f) = 0 (24)

3.4 Fonction de récompense

Afin d’évaluer la performance d’une politique de décision, nous spécifions dans cette section la fonctionde récompense r, telle que

r : A ⇥ S 7! R (25)

• the evolution of stochastic componentsvt+1 = fv(vd,t, qt, wv,t+1), wv,t+1 ⇠ pv(·|vd,t, qt)

irt+1 = fir(ird,t, qt, wir,t+1), wir,t+1 ⇠ pir(·|ird,t, qt)Pd,t+1 = fd(Pd,t, qt, wd,t+1), wd,t+1 ⇠ pd(·|Pd,t, qt)


Electrical State

!18

vt or irt8g 2 G

Pg,t

PP

n,t and QP

n,t Vn,t and Il,tPF equations


Policy

!19

The dynamics of the system being defined, we are looking for a policy

Relaxations et des tentatives de résolution récentes

Les problèmes d’OPF, bien que non-convexes, ont longtemps été résolus (et le sont toujours dans lesapplications pratiques) en utilisant des méthodes d’optimisation non-linéaire locale. Les méthodes de pointintérieur sont probablement la classe la plus répandue des méthodes dédiées à ce problème (Capitanescuet al., 2007). Si la solution que ces méthodes fournissent n’a aucune garantie d’être globalement optimale,ces méthodes ont un bon taux de convergence et une bonne capacité à résoudre efficacement des problèmesd’assez grande dimension. Récemment, l’optimisation semi-définie positive (SDP) a été appliquée avec suc-cès pour obtenir une relaxation convexe du problème d’OPF (Lavaei & Low, 2012). Les auteurs rapportentun écart de dualité très faible sur certains réseaux de test standards maillés, et sur des versions randomi-sées de ceux-ci. Cette propriété d’écart de dualité quasi-nul a ainsi été observée expérimentalement, maisd’autres recherches ont donné lieu à des conditions suffisantes pour un écart de dualité nul. C’est le cas,par exemple, si la fonction objectif est convexe et monotonement croissante avec le niveau de productionde puissance active des générateurs, et si le réseau a une topologie radiale (Bose et al., 2012; Gan et al.,2012). Une autre approche visant l’optimalité globale repose sur la relaxation lagrangienne (LR) (Phan,2012). L’auteur décrit également un branch-and-bound spatial pour combler l’écart de dualité. Gopalakri-shnan et al. (2012) ont évalué la capacité des approches SDP et LR à réduire l’écart d’optimalité dans unbranch-and-bound spatial. Pour chacune de ces méthodes il a été démontré expérimentalement qu’il est trèsdifficile de parvenir à réduire significativement l’écart de dualité dans des délais raisonnables, même pourde petits systèmes de test. Des applications multi-période liées au stockage de l’énergie sont examinéesdans Gayme & Topcu (2011), où la relaxation SDP de Lavaei & Low (2012) est appliquée avec succès, carleurs applications particulières remplissent les conditions pour n’avoir aucun écart de dualité. Les auteursde Gopalakrishnan et al. (2013) mentionnent que l’extension de Gopalakrishnan et al. (2012) dans un cadremulti-période résulte en un SDP de taille trop importante pour les solveurs actuels. De nombreuses publica-tions considèrent le problème de unit commitment sur un réseau à courant alternatif, ce qui est une instanced’un OPF multi-période avec des variables discrètes. Par exemple, dans Alguacil & Conejo (2000), unedécomposition de Benders généralisée subdivise le problème en un problème maître linéaire avec des va-riables discrètes et des sous-problèmes non-convexes multi-période. Des coupes de Benders sont généréesgrâce à l’information obtenue en résolvant les sous-problèmes, afin d’améliorer la formulation du problèmemaître. Finalement, Gemine et al. (2014) explore une tentative de résolution d’un problème très similairemathématiquement (la seule différence réside dans la définition des services de flexibilité), et fournit plusd’information sur les travaux de recherches liés.

Apprentissage par renforcement

Les méthodes qui reposent sur l’optimisation mathématique se buttant à des problèmes calculatoiresimportants, il semble pertinent d’évaluer l’intérêt des techniques d’apprentissage par renforcement. Celles-ci consistent en une approximation de la programmation dynamique permettant d’envisager des problèmesde grande dimension (Bertsekas & Tsitsiklis, 1996, Busoniu et al., 2010). L’objectif de ces méthodes peutse formaliser comme la recherche parmi l’ensemble des politiques ⇡ : S 7! A d’une politique optimale ⇡

⇤

définie comme

⇡

⇤= arg max

⇡

E{TX

t=0

r(⇡(st

), st+1)} (33)

où T dépend de l’horizon de temps considéré pour évaluer la politique de décision.

5 Remerciements

Cette recherche est soutenue par le Service Public de Wallonie – Département de l’Énergie et du BâtimentDurable – dans le cadre du projet GREDOR.

Les auteurs sont également reconnaissants pour le soutien financier du Réseau Dysco, un programme duPôle d’Attraction Interuniversitaires initié par l’État Belge et la Politique Scientifique Fédérale.

The policy should minimize the cost of operation, penalized by the violations of the operational constraints

⇡⇤= argmin

⇡E(

|T |X

t=0

cost(⇡(st), st+1) + X (st+1))


Resolution approches

!20

Mathematical programming approaches (OPF extensions)

Approximate dynamic programming and reinforcement learning.


JFPDA 2014

RT

poste

14

12 13

11

1007

08

09

04

05

06

0102

0315

16

17

22

23

24

18

19

20

21 25

51

52

5367

54

55

6956

57

58

59

68

70

61

62

7363

64

65

66

75

74

72

60

26

27

28

29

3430

31

32

3650

45

4944

43

4248

47 40

33

41

35

39

3846

37

71

Noeud

PV

PV

PVPV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

PV

W

PV

W

GD photovoltaïque

GD éolien

Charge

TransformateurHT/MT

FIGURE 6 – Réseau de test.

– les générateurs éoliens, ils représentent des parc éoliens.

Le dimensionnement des charges a été réalisé pour correspondre à une consommation de pointe se situantentre 20 et 25 MW et celui des générateurs photovoltaïques se base sur une moyenne de 1,3 m2 de panneauxphotovoltaïques par habitant. Six générateurs d’une capacité maximale de 5 MW chacun représentent desparcs éoliens. Des scénarios possibles de la puissance prélevée du réseau par les dispositifs électriquessont présentés à la figure 7 sur un horizon d’une journée. Les modèles stochastiques et les données devent, d’irradiance et de consommation utilisés sont ceux présentés à la section 3. Outre les possibilités de

10 20 30 40 50 60 70 80 90−30

−25

−20

−15

−10

−5

0

5

10

15

20

T emps

!d∈DP

d(t)

(MW

)

FIGURE 7 – Scénarios de prélèvement des dispositifs électriques. Les valeurs négatives signifient que lesGD injectent plus de puissance que la consommation des charges.

modulation des niveaux de production offertes par tous les GD (éoliens et photovoltaïques) au coût défini à

In progress…

!21

Design of a benchmark

Thank you…

the decision process behind active network managementqgemine/gemine_anm_280314.pdf · gredor -...

Documents