DOTTORATO NAZIONALE IN INTELLIGENZA ARTIFICIALE

Titolo della tesi: Learning General Policies for Planning through GPT Models

Le architetture basate sui Transformers, come BERT, GPT e T5, hanno ottenuto risultati eccezionali in diversi compiti di elaborazione del linguaggio naturale (NLP). Oltre a queste capacità testuali, questi modelli di grandi dimensioni (LLM) presentano vari gradi di conoscenza fattuale, ragionamento di senso comune e persino capacità di programmazione. Tuttavia, la loro efficacia nell'eseguire inferenze logiche e nella pianificazione automatica rimane un argomento di dibattito. Infatti, i recenti tentativi di applicare gli LLM alla pianificazione classica hanno prodotto risultati contrastanti. In questa tesi, affrontiamo questa sfida introducendo \model, un modello basato su GPT addestrato da zero su istanze di pianificazione risolte per apprendere una policy per la pianificazione classica. Sfruttando i dati di addestramento dello specifico dominio e incorporando tecniche derivanti della pianificazione automatica, \model è in grado di generare piani soluzione per problemi mai visti all'interno dello stesso dominio, dimostrando una coverage e prestazioni ottime rispetto ad altri approcci di deep learning. Tuttavia, non abbiamo garanzie formali di validità e \model può generare piani non validi che non soddisfano tutti gli obiettivi o contengono azioni con precondizioni non soddisfatte. Per mitigare questi problemi, proponiamo due approcci. In primo luogo, incorporiamo un validatore direttamente nel processo di generazione, che ci permette di eliminare al volo i piani parziali non validi e di generare soluzioni valide. In secondo luogo, combiniamo \model con un pianificatore in grado di riparare piani non validi, \lpg, che perfeziona i piani candidati non validi o incompleti in soluzioni valide. Le nostre valutazioni empiriche su diversi domini di pianificazione classica confermano l'efficacia di queste strategie. In definitiva, questo lavoro dimostra il potenziale dell'integrazione di policy apprese con il ragionamento simbolico.