Intelligenza Artificiale Ottimizza la Gestione dei Veicoli Elettrici
Il panorama della mobilità elettrica sta subendo una trasformazione radicale, passando dal semplice concetto di trasporto a quello di un sistema energetico dinamico e bidirezionale. I veicoli elettrici (EV), una volta considerati solo come consumatori di energia, stanno emergendo come risorse flessibili e preziose per le reti elettriche, capaci di immagazzinare energia durante i periodi di bassa domanda e di restituirla durante i picchi. Questo potenziale, tuttavia, non può essere sfruttato al meglio da un singolo veicolo, la cui capacità di batteria è troppo limitata per avere un impatto significativo sui mercati energetici. È qui che entrano in gioco gli aggregatori di veicoli elettrici (EVA), entità che raggruppano migliaia di EV per formare una “centrale virtuale” in grado di partecipare attivamente al mercato dell’energia, offrendo servizi di arbitraggio e di regolazione della frequenza. Un recente studio, guidato da Kong Yueping e Yang Shihai del Marketing Service Center di State Grid Jiangsu Electric Power Co., Ltd., introduce un algoritmo di intelligenza artificiale che promette di rivoluzionare questa gestione, ottimizzando simultaneamente le decisioni di mercato e la distribuzione interna della potenza.
Il concetto alla base è noto come Vehicle-to-Grid (V2G). Permette ai veicoli, quando collegati a una stazione di ricarica, di non solo prelevare energia dalla rete, ma anche di immettervi energia quando i prezzi sono alti o quando la rete ne ha bisogno. Questo crea un enorme valore aggiunto: stabilizza la rete, facilita l’integrazione delle fonti rinnovabili intermittenti come il solare e l’eolico, e genera nuovi flussi di entrate sia per i gestori della rete che per i proprietari dei veicoli. Tuttavia, il successo di questo modello dipende da una gestione estremamente sofisticata. Un EVA deve prendere due tipi di decisioni fondamentali e interdipendenti. In primo luogo, deve decidere quanto energia e quanta capacità di riserva (potenza per aumentare o diminuire l’erogazione) offrire nei mercati dell’energia del giorno successivo e nel mercato di bilanciamento. In secondo luogo, una volta presa questa decisione strategica, deve risolvere il problema pratico di come distribuire fisicamente questa ricarica o scarica tra i singoli veicoli della sua flotta. Tradizionalmente, questi due problemi sono stati affrontati separatamente, con approcci che spesso si rivelano subottimali.
I metodi di ottimizzazione classica, come la programmazione lineare mista intera (MILP), richiedono modelli matematici precisi e previsioni accurate di variabili incerte come i prezzi dell’energia, i tempi di arrivo e partenza dei veicoli e le loro esigenze di ricarica. Quando queste previsioni falliscono, le strategie risultanti possono essere inefficaci o addirittura dannose, compromettendo sia la redditività dell’aggregatore che la soddisfazione dell’utente. Gli approcci robusti o stocastici possono gestire l’incertezza, ma spesso portano a soluzioni troppo conservative o richiedono un’enorme potenza di calcolo. È in questo contesto che la ricerca di Kong, Yang e il loro team introduce un paradigma completamente nuovo: l’apprendimento per rinforzo (Reinforcement Learning, RL).
L’apprendimento per rinforzo è una tecnica di intelligenza artificiale che non si basa su modelli predefiniti del mondo. Invece, un “agente” (l’algoritmo dell’aggregatore) impara attraverso l’interazione diretta con il suo ambiente. L’agente compie un’azione (ad esempio, offrire una certa quantità di energia), osserva il risultato (il prezzo di mercato, la risposta della flotta) e riceve una ricompensa o una penalità. Col tempo, l’agente impara la politica ottimale, ovvero la sequenza di azioni che massimizza la sua ricompensa a lungo termine. Questo approccio è particolarmente potente in ambienti dinamici e incerti come il mercato elettrico, dove le condizioni cambiano continuamente.
Il vero balzo in avanti di questo studio, pubblicato sulla prestigiosa rivista Computer Engineering (DOI: 10.19678/j.issn.1000-3428.0068701), non è semplicemente l’applicazione dell’RL, ma la progettazione di un algoritmo in grado di gestire due tipi di decisioni simultaneamente, un concetto che gli autori chiamano “azioni ibride”. Questo approccio rompe con il paradigma tradizionale di trattare l’offerta di mercato e la distribuzione della potenza come problemi isolati.
L’algoritmo proposto, una versione avanzata del Proximal Policy Optimization (PPO), è in grado di generare due tipi di azioni in ogni passo decisionale. In primo luogo, azioni continue che determinano la grandezza dell’offerta di mercato. Questo include quanto energia (in kWh) acquistare o vendere nel mercato dell’energia e quanta capacità di riserva impegnare per i servizi di regolazione. Questi valori possono variare in un intervallo continuo, consentendo un’ottimizzazione fine e precisa. In secondo luogo, azioni discrete che controllano una decisione strategica chiave: come viene distribuita la potenza totale tra i singoli veicoli. Qui, l’agente non sceglie un valore, ma una strategia specifica tra due opzioni principali.
La prima strategia è la distribuzione proporzionale. Questa strategia assegna la ricarica o la scarica in modo equo, basandosi sulla “flessibilità” corrente di ogni veicolo. La flessibilità è definita come la capacità di un veicolo di aumentare o diminuire la sua potenza di ricarica senza compromettere la necessità di avere la batteria carica all’ora di partenza. Questa strategia è eccellente per preservare la flessibilità generale della flotta, poiché evita che un qualsiasi veicolo si carichi completamente o si scarichi troppo presto. Ciò mantiene tutti i veicoli disponibili per future opportunità di mercato, ma può implicare un maggior numero di cicli di ricarica parziale, il che potrebbe accelerare l’invecchiamento della batteria a lungo termine.
La seconda strategia è la distribuzione per priorità. Questa strategia è più selettiva e si concentra sulla minimizzazione dell’usura della batteria. Classifica i veicoli secondo un “indice di comfort” che combina quanto tempo hanno ancora sulla stazione e quanta energia hanno bisogno per raggiungere il loro obiettivo. I veicoli con poco tempo di permanenza e molta energia necessaria (poco comfort) hanno la priorità per la ricarica. Al contrario, i veicoli con molto tempo di permanenza e molta energia immagazzinata (alto comfort) hanno la priorità per la scarica. Questo approccio protegge le batterie dei veicoli che hanno meno margine di manovra, riducendo così i costi di degrado. Tuttavia, il suo svantaggio è che può portare a un uso diseguale della flotta, dove alcuni veicoli vengono utilizzati intensamente mentre altri rimangono sottoutilizzati, riducendo la flessibilità totale disponibile.
L’ingegno dell’algoritmo HPPO (Hybrid PPO) risiede nella sua capacità di cambiare dinamicamente tra queste due strategie. Non è costretto a sceglierne una e ad attenersi ad essa per l’intera giornata. Invece, impara a valutare il contesto in tempo reale e a prendere la decisione strategica corretta. I risultati delle simulazioni sono rivelatori. Durante le ore notturne, quando i prezzi dell’energia sono più bassi, l’algoritmo tende a scegliere la strategia proporzionale. Questo consente di caricare la flotta in modo economico e, allo stesso tempo, di mantenere la flessibilità di tutti i veicoli, preparandoli per possibili opportunità di scarica durante il giorno.
Man mano che il sole sorge e i prezzi dell’energia raggiungono il loro massimo, il comportamento dell’algoritmo cambia drasticamente. Passa alla strategia di priorità. Quando l’EVA decide di scaricare la flotta per vendere energia costosa al mercato, l’algoritmo dà la priorità alla scarica di quei veicoli che hanno molta energia e che rimarranno collegati per molto tempo. Ciò assicura che i veicoli con una finestra di ricarica breve o con batterie già basse non siano costretti a scaricare, proteggendoli da un’usura eccessiva. Questo cambiamento strategico intelligente è la chiave del suo successo.
I test comparativi condotti dai ricercatori dimostrano in modo schiacciante l’efficacia di questo approccio. L’algoritmo HPPO è stato confrontato con diversi punti di riferimento, inclusi algoritmi PPO che utilizzano solo una strategia fissa (solo proporzionale o solo per priorità) e con un altro algoritmo di apprendimento per rinforzo di punta, il Soft Actor-Critic (SAC). I risultati sono stati conclusivi. L’HPPO non solo ha raggiunto la ricompensa cumulativa più alta, un indicatore diretto di una maggiore redditività, ma lo ha fatto anche in modo più stabile ed efficiente.
Rispetto a un algoritmo che utilizza solo la strategia per priorità, l’HPPO ha ridotto il costo operativo totale giornaliero del 1,9%. Rispetto a uno che utilizza solo la strategia proporzionale, la riduzione è stata ancora più impressionante: 3,2%. Ciò significa che il semplice fatto di permettere il cambio dinamico tra strategie genera un risparmio economico significativo. Inoltre, l’algoritmo SAC, nonostante la sua sofisticazione, non è riuscito a convergere nel tempo di addestramento disponibile e ha mostrato prestazioni inferiori, sottolineando la robustezza e l’efficienza dell’approccio PPO in questo scenario specifico.
Un secondo contributo fondamentale di questo lavoro è il modo in cui modellano la “flessibilità aggregata” della flotta. La maggior parte dei modelli precedenti si concentrava unicamente sull’aspetto fisico: quanta potenza può essere spostata e per quanto tempo. Kong e Yang introducono un elemento cruciale: il valore economico della flessibilità. Definiscono che la “flessibilità unitaria” in un dato momento è uguale al prezzo all’ingrosso dell’energia in quel momento. Un chilowattora di flessibilità ha un valore molto più alto quando il prezzo è alto che quando è basso. Il loro modello di flessibilità non calcola solo ciò che si può fare, ma ciò che deve essere fatto per massimizzare il valore totale della flessibilità nell’arco della giornata. Questo modello, che considera i vincoli di ricarica di ogni veicolo e i prezzi del mercato, permette all’EVA di prendere decisioni non solo tecnicamente fattibili, ma anche economicamente ottimali fin dall’inizio.
La funzione di ricompensa dell’agente è un riflesso perfetto degli obiettivi del mondo reale. Non si tratta solo di massimizzare i ricavi dalla vendita di energia. La ricompensa penalizza attivamente i costi negativi: il costo di acquistare energia a caro prezzo, il costo del degrado della batteria (modellato come una funzione polinomiale che riflette l’usura non lineare), il costo di non soddisfare la domanda di ricarica di un utente e il costo di non consegnare la potenza esatta che è stata offerta nel mercato. Bilanciando tutti questi fattori, l’agente impara una politica aziendale completa che è sostenibile sia dal punto di vista finanziario che dal mantenimento della flotta.
L’architettura dell’algoritmo è ingegnosa. Utilizza una rete neurale con una struttura a “rami”. Uno strato condiviso elabora le informazioni sullo stato (prezzi, stato di carica totale, ecc.). Successivamente, due rami separati prendono il controllo: uno per le azioni continue (l’offerta di mercato) e l’altro per l’azione discreta (la scelta della strategia di distribuzione). Entrambi i rami vengono addestrati simultaneamente, il che permette che le decisioni siano coordinate. Una rete di valore condivisa stima il valore dello stato, guidando l’intero processo di apprendimento. Questa architettura evita l’inefficienza di addestrare due agenti separati e promuove una cooperazione naturale tra le due decisioni.
Le implicazioni di questa ricerca sono profonde. Per gli operatori di parcheggi di ricarica e le aziende di servizi energetici, questo algoritmo rappresenta uno strumento potente per trasformare le loro strutture in centri di gestione energetica attiva, generando entrate aggiuntive e migliorando l’efficienza operativa. Per i proprietari di veicoli elettrici, significa una partecipazione più redditizia al mercato V2G, con il beneficio aggiuntivo che le loro batterie vengono gestite in un modo che ne minimizza l’usura, aumentandone così la durata e proteggendo il loro investimento.
Per i sistemi elettrici, l’adozione su larga scala di aggregatori intelligenti come questo potrebbe essere un catalizzatore per una rete più resiliente e sostenibile. La capacità di immagazzinare energia in eccesso da fonti rinnovabili e rilasciarla quando è più necessaria è essenziale per decarbonizzare il settore energetico. Questo algoritmo non è solo un progresso tecnico; è un passo cruciale verso un futuro in cui i veicoli elettrici non sono solo consumatori di energia, ma cittadini energetici attivi e responsabili.
Kong Yueping, Yang Shihai et al., Marketing Service Center of State Grid Jiangsu Electric Power Co., Ltd., Computer Engineering, DOI: 10.19678/j.issn.1000-3428.0068701