Nuovo Metodo IA Stabilizza Tensione di Rete con Rinnovabili
Con la diffusione di veicoli elettrici e fonti rinnovabili come solare ed eolico, le reti di distribuzione energetica affrontano sfide senza precedenti. L’instabilità di tensione, un tempo rara, è ora una realtà quotidiana in molti sistemi di distribuzione attivi. La radice del problema risiede nelle fluttuazioni di potenza imprevedibili e spesso rapide generate dagli impianti fotovoltaici e dalle stazioni di ricarica rapida per veicoli elettrici. Queste variazioni, a volte superiori al 15% della capacità nominale in un minuto, possono spingere le tensioni dei nodi oltre i limiti di sicurezza, minacciando l’affidabilità della rete e la durata delle apparecchiature.
I metodi tradizionali di regolazione della tensione, basati su dispositivi come regolatori di tensione, reattori a capacità commutabile e sistemi di accumulo energetico, faticano a tenere il passo. Questi dispositivi operano su scale temporali diverse: i regolatori di tensione e i reattori a capacità commutabile sono lenti, progettati per minimizzare l’usura meccanica, mentre gli inverter dei generatori distribuiti e i compensatori statici di potenza reattiva possono rispondere in pochi secondi. Questa discrepanza nei tempi di risposta crea un complesso problema di coordinamento. Quando inverter ad alta velocità e dispositivi meccanici lenti interagiscono senza una strategia di controllo unificata, possono verificarsi commutazioni eccessive, saturazione del controllo e persino collassi di tensione.
I tentativi di risolvere il problema utilizzando modelli di ottimizzazione convenzionali hanno raggiunto un punto morto. La questione è intrinsecamente non convessa e coinvolge una combinazione di variabili decisionali continue e discrete, come la potenza di ricarica continua di una batteria e la posizione discreta dei tap di un regolatore di tensione. Risolvere questo come un problema di ottimizzazione non lineare mista su larga scala è computazionalmente proibitivo, specialmente per applicazioni in tempo reale. La complessità cresce esponenzialmente con le dimensioni della rete, rendendolo un problema NP-difficile. Ciò ha stimolato l’interesse per approcci basati sui dati, in particolare l’apprendimento per rinforzo profondo, che può apprendere politiche di controllo ottimali dall’esperienza senza bisogno di un modello matematico esplicito dell’intera rete.
Tuttavia, i metodi esistenti di apprendimento per rinforzo profondo presentano limitazioni. Le Deep Q-Networks, ad esempio, sono efficaci per azioni discrete ma falliscono quando sono coinvolte variabili continue. Al contrario, algoritmi come il Deep Deterministic Policy Gradient eccellono con azioni continue ma non possono gestire quelle discrete. In una rete con multiple apparecchiature, ciascuna con numerose posizioni discrete dei tap, un approccio basato su Deep Q-Networks porta a una “maledizione della dimensionalità”, dove lo spazio delle azioni diventa così vasto che l’apprendimento diventa inefficiente e instabile. Soluzioni multi-agente sono state proposte per mitigare questo problema, ma introducono nuove complessità nella coordinazione e nella convergenza.
Una soluzione rivoluzionaria è emersa da uno sforzo di ricerca collaborativo guidato da Jian Zhang dell’Università di Tecnologia di Hefei, Mingjian Cui dell’Università di Tianjin e Yigang He dell’Università di Wuhan. Il loro lavoro, pubblicato sulla prestigiosa Transactions of China Electrotechnical Society, presenta una nuova strategia di coordinamento della tensione a doppia scala temporale che combina perfettamente i punti di forza dell’apprendimento basato sui dati con il rigore della modellazione fisica. Questo approccio ibrido, a differenza dei metodi puramente privi di modello o puramente basati su modello, è progettato per superare i limiti fondamentali di entrambi gli orientamenti.
L’innovazione principale risiede nella sua architettura di controllo gerarchica a due livelli. Il primo livello opera su una scala temporale lenta, tipicamente oraria, ed è responsabile dell’impostazione dei punti di funzionamento a lungo termine dei dispositivi a azionamento lento: i rapporti dei tap dei regolatori di tensione, gli stati di commutazione dei reattori a capacità commutabile e la potenza di carica/scarica dei sistemi di accumulo. Qui la complessità delle azioni miste discrete-continue è più acuta. Per risolverla, i ricercatori hanno sviluppato un algoritmo adattato di Deep Deterministic Policy Gradient. L’intuizione chiave è un processo in tre fasi: rilassamento, previsione e correzione.
Nella fase di rilassamento, le posizioni discrete dei tap dei regolatori di tensione e dei reattori a capacità commutabile sono trattate come variabili continue, consentendo alla rete attore dell’algoritmo di produrre un’ “azione prototipo” che include sia componenti continue che discrete rilassate. Nella fase di previsione, invece di forzare questo prototipo in una singola azione discreta, l’algoritmo cerca nello spazio delle azioni discrete i K vicini più prossimi ai valori rilassati. Questo crea un piccolo insieme gestibile di azioni candidate. Nella fase di correzione, ciascuno di questi K candidati è abbinato alla potenza continua del sistema di accumulo energetico del prototipo e valutato dalla rete critico per determinarne il valore atteso a lungo termine. L’azione con il valore più alto viene quindi selezionata per l’implementazione.
Questo meccanismo di “rilassamento-previsione-correzione” è un colpo di genio. Permette all’apprendimento graduale e basato sul gradiente di guidare la ricerca nello spazio discreto, evitando l’esplosione combinatoria di un approccio puro basato su Deep Q-Networks. Valutando solo K candidati per decisione, il carico computazionale rimane basso, mentre la politica può comunque convergere verso una soluzione quasi ottimale. I ricercatori hanno dimostrato che questo metodo raggiunge un processo di addestramento molto più stabile e converge molto più velocemente dei metodi multi-agente esistenti.
Il secondo livello del sistema di controllo opera su una scala temporale veloce, ogni 5-15 minuti, e gestisce le rapide fluttuazioni di tensione causate dalla natura intermittente delle rinnovabili e della ricarica dei veicoli elettrici. A questo livello, le decisioni a scala lenta sono trattate come parametri fissi. In questo contesto, il sistema calcola quindi la potenza reattiva ottimale per tutti gli inverter dei generatori distribuiti e i compensatori statici. Questo viene fatto non con un altro agente di apprendimento per rinforzo profondo, ma risolvendo un modello di programmazione quadratica derivato dalle equazioni di flusso di potenza della rete di distribuzione.
Qui è dove la modellazione fisica risplende. Il modello di programmazione quadratica applica esplicitamente le leggi della fisica, assicurando che la soluzione sia fisicamente fattibile e rispetti tutti i vincoli operativi. Minimizzando la somma delle deviazioni quadratiche di tensione su tutti i nodi, il modello produce un dispacciamento di potenza reattiva matematicamente ottimale per lo stato attuale della rete. Poiché le variabili a scala lenta sono fisse, questo problema è convesso e può essere risolto all’ottimalità globale in millisecondi utilizzando solutori standard.
I due livelli sono strettamente accoppiati attraverso la struttura di ricompensa dell’agente di apprendimento per rinforzo profondo. Il costo per ogni periodo orario è definito come la somma dei valori ottimali obiettivo da tutte le ottimizzazioni veloci di programmazione quadratica all’interno di quell’ora. In sostanza, l’agente apprende a impostare le variabili a scala lenta in modo da minimizzare lo “sforzo” totale richiesto dai controller a scala veloce per mantenere la stabilità della tensione. Questo crea un ciclo di feedback in cui la politica a lungo termine è direttamente informata dalle conseguenze fisiche a breve termine delle sue azioni.
Le prestazioni di questa strategia a doppia scala temporale sono state testate rigorosamente su due sistemi benchmark IEEE standard: la rete bilanciata a 33 nodi e la rete sbilanciata a 123 nodi. In entrambi i casi, i risultati sono stati convincenti. Quando i dispositivi a scala lenta erano impostati su valori casuali o fissi, il costo orario medio di deviazione della tensione era catastroficamente alto, indicando violazioni di tensione gravi e frequenti. Un modello tradizionale di programmazione quadratica mista a scala singola, che ottimizza tutti i dispositivi simultaneamente su un orizzonte di 24 ore, è stato utilizzato come gold standard per prestazioni quasi ottimali. Questo modello ha raggiunto costi molto bassi ma ha richiesto oltre 78 secondi per il sistema a 33 nodi e 189 secondi per il sistema a 123 nodi, troppo lenti per l’uso in tempo reale.
Il metodo proposto, dopo un periodo di addestramento di 600 giorni di dati simulati, ha raggiunto prestazioni notevolmente vicine a questo gold standard. Per il sistema a 33 nodi, il costo medio è converto a 0.0262, rispetto all’ottimale di 0.0207. Per il sistema a 123 nodi, ha raggiunto 0.0410 rispetto all’ottimale di 0.0349. Il vero trionfo, tuttavia, è stata la velocità. Il tempo medio per calcolare un’azione di controllo per un singolo giorno era di appena 1.7-2.1 secondi per il sistema a 33 nodi e 8.9-10.5 secondi per il sistema a 123 nodi. Ciò rappresenta un accelerazione rispettivamente di 36.7 e 18.0 volte rispetto all’ottimizzazione tradizionale. Ancora più importante, il tempo di calcolo per slot era di appena 7.4 millisecondi e 73 millisecondi, ben all’interno dei requisiti per il controllo in tempo reale.
La ricerca ha anche fornito preziose intuizioni sulla regolazione pratica dell’algoritmo. Il numero di vicini più prossimi, K, si è rivelato un iperparametro critico. Impostare K=1, che forza essenzialmente l’azione prototipo al singolo punto discreto più vicino, ha comportato un processo di addestramento altamente instabile con ampie fluttuazioni delle prestazioni. Al contrario, impostare K=20 per il sistema a 33 nodi e K=40 per il sistema a 123 nodi ha portato a una convergenza rapida e regolare verso una politica stabile e ad alte prestazioni. Ciò dimostra che un piccolo grado di “esplorazione” nello spazio discreto è essenziale per un apprendimento robusto.
Un altro risultato chiave è stata la prestazione superiore di questo approccio a agente singolo adattato rispetto ai metodi multi-agente riportati in letteratura. Le curve di addestramento hanno mostrato una convergenza molto più rapida e regolare, che gli autori attribuiscono allo spazio di ricerca efficace notevolmente più piccolo e all’intrinseca stabilità del framework. Questo è un vantaggio significativo, poiché un addestramento instabile può rendere un algoritmo impraticabile per il dispiegamento nel mondo reale.
Le implicazioni di questo lavoro sono di vasta portata. Fornisce una soluzione pratica e scalabile per il controllo della tensione nella moderna rete di distribuzione attiva. Il metodo è intrinsecamente flessibile e può essere applicato sia a reti trifasi bilanciate che sbilanciate, rendendolo adatto a contesti urbani e rurali reali. La separazione delle scale temporali rispecchia la dinamica naturale della rete, dove i dispositivi meccanici lenti preparano il terreno per i dispositivi elettronici veloci per mettere a punto il profilo di tensione.
Per le utility e gli operatori di rete, questo rappresenta uno strumento potente per integrare livelli più elevati di energie rinnovabili e ricarica di veicoli elettrici senza costosi aggiornamenti infrastrutturali. Gestendo proattivamente la tensione con una strategia coordinata e intelligente, possono prevenire eventi di sovratensione e sottotensione, estendere la vita di apparecchiature come i regolatori di tensione e mantenere la qualità dell’alimentazione per tutti i clienti. L’uso dell’apprendimento per rinforzo profondo significa anche che il sistema può adattarsi nel tempo a condizioni mutevoli, apprendendo da nuovi modelli di carico e generazione.
I ricercatori riconoscono che il loro lavoro attuale utilizza un dataset di addestramento fisso e non testa completamente la generalizzazione dell’algoritmo a condizioni non viste. I lavori futuri si concentreranno sull’apprendimento online e sui test con set di validazione continui per garantire che il controller rimanga robusto in una rete dinamica ed evolutiva. Tuttavia, le fondamenta da loro gettate sono solide. Combinando l’adattabilità dell’intelligenza artificiale con l’affidabilità delle leggi fisiche, hanno creato un sistema di controllo che non solo è più veloce ed efficace, ma anche più affidabile. Questo approccio ibrido potrebbe benissimo diventare il modello per la prossima generazione di sistemi intelligenti di gestione della rete.
Jian Zhang, Mingjian Cui, Yigang He, Transactions of China Electrotechnical Society, DOI:10.19595/j.cnki.1000-6753.tces.222273