L’apprentissage par renforcement
au service de l’optimisation
Répondre aux contraintes majeures des réseaux énergétiques de demain, par la mise en place de solutions d’intelligence distribuée est l’objectif du projet AI-NRGY. Les travaux de thèse de Claire Bizon Monroc, doctorante au sein de ce projet, s’intéressent à l’optimisation de la production des parcs éoliens, en réduisant les « effets de sillage » provoqués par les turbines.
Par Ana Bušić, Claire Bizon Monroc et Jules Sintes (Inria), membres du projet AI-NRGY
La transition vers l’abandon des énergies fossiles demandera une augmentation significative de la production d’énergie renouvelable à l’échelle de la planète. Cet effort peut être soutenu par l’augmentation de l’efficacité des centrales de production d’énergie renouvelable, c’est-à-dire leur capacité à extraire de l’énergie à partir du vent ou du soleil. Par ailleurs, l’augmentation de la part du renouvelable dans notre mix énergétique, la multiplicité de ses sources de production et leur distribution à travers le réseau électrique posera de nouveaux challenges pour assurer la stabilité du réseau. Au sein du projet AI-NRGY, nous travaillons à développer des solutions qui d’une part augmentent l’efficacité et la contrôlabilité des parcs de production, et de l’autre facilitent l’adaptation du réseau et la coopération entre producteurs.
Améliorer l’efficacité des parcs éoliens
Des travaux de thèse effectués au sein du laboratoire commun entre Inria et IFP Energies Nouvelles se sont intéressés à l’amélioration de l’efficacité des parcs éoliens. Dans les grands parcs éoliens offshore, les effets de sillage sont à l’origine d’une diminution de la production d’énergie totale estimée à entre 10% et 20%: les éoliennes en amont dans le parc provoquent une diminution de la vitesse et une augmentation de la turbulence derrière leurs rotors, ce qui provoque des conditions de vent sous-optimales pour les éoliennes situées en aval (voir photo page précédente). Par ailleurs, ces sillages turbulents augmentent la charge sur la structure des éoliennes situées dans leur passage de 5% à 15%, ce qui peut raccourcir leur durée de vie et augmenter les coûts de maintenance. Pour atténuer leurs effets, les sillages peuvent être réorientés grâce au contrôle du lacet: c’est l’angle entre le rotor de la turbine et le vent incident. La redirection du sillage d’une éolienne par rapport aux turbines situées en aval peut augmenter la production de ces dernières, mais diminue sa propre production.
©Vattenfall.
Trouver la combinaison de lacets qui maximise la production d’un parc est un problème d’optimisation difficile. Les stratégies de contrôle classiques nécessitent la modélisation d’interactions aérodynamiques complexes entre les turbines: les modèles sont trop simples pour donner des solutions optimales sur le terrain ou trop complexes pour passer à l’échelle lorsque le nombre de turbines augmente. Une alternative consiste à exploiter des mesures collectées en temps réel dans le parc éolien: on cherche alors à concevoir des méthodes capables d’apprendre les lacets optimaux en observant uniquement la production correspondante en sortie. Nous travaillons sur des méthodes d’apprentissage par renforcement, qui apprennent des stratégies de contrôle optimales suivant une approche essai-erreur, et qu’une littérature grandissante applique au contrôle de parcs éoliens. Cette stratégie doit cependant relever plusieurs défis. D’abord, les temps de propagation du sillage créent un délai entre un changement de lacet et le moment où son impact sur la production du parc peut être observé. De plus, sur le terrain, il est difficile de mesurer la contribution exacte du changement de lacet de chaque turbine à la production totale. Enfin, ces deux problèmes – temps de propagation et attribution de la récompense – deviennent plus complexes lorsque le nombre d’éoliennes augmente, alors même que la taille de l’espace de recherche explose.
L’approche que nous développons recherche explicitement des politiques décentralisées, c’est-à-dire étant exécutées en parallèle par chaque éolienne en se basant sur des informations observées localement. Les politiques décentralisées sont particulièrement intéressantes pour notre problème, où les perturbations du champ de vent causées par une éolienne sont locales et n’affectent généralement qu’un ensemble variable d’éoliennes voisines. Nous formulons donc l’optimisation des lacets comme un problème d’apprentissage coopératif de politiques décentralisées, où chaque turbine est un agent contrôlant son lacet, et tous les agents doivent coopérer pour maximiser un objectif commun.
Réorientation de sillage avec contrôle de lacet
Les politiques obtenues sont ensuite évaluées dans des simulateurs de parcs éoliens sur des parcs comptant de 3 à 36 turbines et pour différents profils de vent. Elles permettent une augmentation de la production d’environ 2%, qui atteint 20%pour les cas de sillage les plus défavorables. Nous vérifions ainsi que notre approche décentralisée permet bien un passage à l’échelle facile pour les grands parcs. Ces résultats encourageant doivent néanmoins être validés sur de vrais parcs éoliens !
Agréger pour intégrer au réseau électrique
Pour faciliter leur intégration au réseau électrique, combiner différentes sources d’énergie renouvelables permet de diminuer l’incertitude sur la production totale, de mieux la répartir dans le temps et de la rendre plus flexible. Des agrégateurs peuvent ainsi servir d’intermédiaires entre de nombreuses sources d’énergie distribuées à travers le réseau et son gestionnaire. L’agrégateur fait une seule offre pour tous les producteurs sur le marché, et décompose le signal de production de façon à maximiser les bénéfices des participants en tenant compte de leurs multiples contraintes respectives. La multiplicité des producteurs et la diversité de leurs contraintes peut rendre ce problème très complexe, et motiver l’utilisation de méthodes d’optimisation distribuée.
Sources :
Bizon Monroc, C., Bušić, A., Dubuc, D., and Zhu, J. (2023). Actor critic agents for wind farm control. In 2023 American Control Conference (ACC). IEEE. https://hal.science/hal-04273716/document
Bizon Monroc, C., Bušić, A., Dubuc, D., and Zhu, J. (2024). WFCRL: A Multi-Agent Reinforcement Learning Benchmark for Wind Farm Control, NeurIPS 2024 Datasets and Benchmarks Track. https://hal.science/hal-04864926/document
Création d’une bibliothèque
Pour faciliter les recherches futures dans l’application des méthodes d’apprentissage par renforcement au domaine de l’éolien, nous développons une bibliothèque logicielle appelée WFCRL, pour Wind Farm Control with Reinforcement Learning en anglais. Elle permet un interfaçage facile des outils de contrôle communément utilisés par la communauté de l’apprentissage par renforcement, avec les simulateurs de parcs éoliens de référence FLORIS et FAST.Farm. Tous deux éveloppés par le Laboratoire National des Energies Renouvables américain (NREL), ces simulateurs ont des niveaux de fidélité très différents: le but est de faire avancer la recherche sur l’exploitation de modèles peu précis, mais peu coûteux en ressources, pour guider l’apprentissage en conditions réelles.
Plus d'actualités Article
