Dottorato in TECNOLOGIE DELL'INFORMAZIONE E DELLE COMUNICAZIONI (ICT)

Titolo della tesi: High-Resolution Synthesis Across Domains: A Wavelet-Driven Approach to Generative Modeling

Il Deep generative modeling sta rivoluzionando la sintesi dei dati visivi, dalle applicazioni nell'industria creativa agli strumenti per la scoperta scientifica in campi come l'imaging medicale e il remote sensing. Nella sintesi di immagini, i modelli di deep learning come Variational Autoencoders (VAEs), Generative Adversarial Networks (GANs) e Denoising Diffusion Probabilistic Models (DDPMs) aiutano a creare contenuti visivi nuovi, realistici e controllabili. In applicazioni specializzate, questi modelli possono aumentare dati scarsi per l'analisi medica o migliorare l'imaging per attività di remote sensing. Una sfida cruciale nell'applicazione del deep learning alla sintesi di immagini è superare i persistenti compromessi tra risoluzione, fedeltà ed efficienza computazionale. Sebbene i modelli generativi abbiano fatto progressi significativi, spesso faticano nella generalizzazione attraverso domini e modalità di dati diverse. I metodi convenzionali tendono a scalare male a risoluzioni ultra-elevate (UHR), portando ad artefatti come strutture ripetute o texture sfocate. Inoltre, questi modelli spesso applicano processi di affinamento uniformi in tutte le regioni spaziali, ignorando le variazioni di frequenza locali e non riuscendo ad allocare in modo ottimale la supervisione ad aree di diversa complessità visiva. Le trasformate wavelet, in particolare le Discrete Wavelet Transforms (DWT) e la loro estensione ipercomplessa, Quaternion Wavelet Transforms (QWT), hanno mostrato risultati promettenti nell'analisi di segnali multi-scala. Questi metodi operano decomponendo le immagini in una gerarchia di sottobande di frequenza, catturando sia la struttura globale che i dettagli a grana fine. Questa formulazione conferisce ai modelli la capacità di sfruttare rappresentazioni sparse e la riduzione della dimensionalità. Tuttavia, il loro potenziale per rimodellare la rappresentazione delle feature, informare il conditioning e adattare gli obiettivi di training in modo model-agnostic non era stato completamente sfruttato. In questa tesi, esploriamo questo concetto e sfruttiamo il paradigma di apprendimento basato su wavelet per superare le suddette carenze dei modelli generativi tradizionali. Sfruttiamo l'analisi multi-scala per rendere i modelli intrinsecamente consapevoli delle informazioni di frequenza e spaziali. Per prima cosa, progettiamo una GAN consapevole della struttura, StawGAN, studiata per la traduzione di immagini da infrarossi a RGB cross-domain. Basandoci su questa fondazione, sviluppiamo modelli di diffusione specializzati per task specifici di dominio, inclusa la super-resolution di immagini marittime ad alta fedeltà e l'efficiente sintesi EEG-to-image. Andando oltre questi approcci generativi convenzionali, introduciamo una serie di architetture basate su wavelet che incorporano esplicitamente rappresentazioni di segnale multi-scala. Tra queste c'è QUAVE, un nuovo framework che sfrutta le quaternion wavelet transforms (QWT) per migliorare l'estrazione delle feature e la generalizzazione nell'imaging medicale. Ampliando queste intuizioni, siamo anche pionieri di diversi modelli di super-resolution basati su wavelet: un modello di diffusione condizionato da QWT, un'architettura consapevole di metadati e wavelet per immagini satellitari, e un framework ibrido altamente efficiente, Wavelet Diffusion GAN, che combina i punti di forza delle GAN e dei processi di diffusione. Infine, affrontiamo un'estensione diretta di questi lavori, concentrandoci sulla sintesi ad alta fedeltà. Culminiamo la nostra indagine con un framework Latent Wavelet Diffusion (LWD), una soluzione generale e leggera che consente ai modelli di diffusione latente e di flow matching esistenti di ottenere la sintesi UHR (fino a 4K) senza modifiche architettoniche o costi di inferenza aggiuntivi. Attraverso esperimenti estesi su vari task generativi che coinvolgono diversi domini e modalità di dati, abbiamo esplorato a fondo il paradigma basato su wavelet, affrontando al contempo le sfide specifiche dello scenario in termini di fedeltà, efficienza e generalizzazione, facendo progredire la ricerca in questo campo.