Dottorato in SCUOLA DI SCIENZE STATISTICHE

Titolo della tesi: Explaining Machine Learning Models with Subgroup Analysis

Le "Explanations" nei modelli di classificazione svolgono un ruolo fondamentale nel rendere i metodi di machine learning più trasparenti, in particolare per quei modelli che non sono chiaramente definiti, come i modelli "black-box". L'algoritmo descritto in questa tesi, appartenente alla classe delle tecniche di "Automatic Subgroup Detection" (ASD), mira a fornire una visione approfondita delle modalità con cui vengono ottenuti i risultati. I metodi ASD cercano di individuare sottoinsiemi di popolazione in cui il comportamento del modello è significativamente diverso rispetto alla baseline. Mentre i metodi ASD tradizionali si concentrano spesso sull'identificazione di sottogruppi problematici, come quelli con un'elevata divergenza nei tassi di falsi positivi, questa ricerca introduce un nuovo metodo non perturbativo specificamente progettato per identificare i sottoinsiemi di dati più ampi possibili che raggiungano un'accuratezza superiore a una soglia predefinita. La metodologia estende la classe delle tecniche ASD offrendo la capacità di identificare sottospazi anziché semplici sottogruppi, definendo queste regioni attraverso intervalli di caratteristiche (feature ranges) sia per variabili numeriche che categoriche. Questo algoritmo è particolarmente efficace nell'identificare i sottoinsiemi che rispondono meglio a specifiche azioni, garantendo il mantenimento di una soglia di accuratezza prestabilita per la classificazione supervisionata. Nello specifico, la metodologia si focalizza sulla ricerca di sottospazi caratterizzati da prestazioni significativamente migliori o peggiori in termini di accuratezza della classificazione, senza richiedere la trasformazione degli attributi numerici. L'algoritmo proposto può essere confrontato con altri della stessa classe, nonostante le significative differenze metodologiche. Il processo di benchmarking prevede il confronto, su vari dataset, dei tempi di esecuzione e della cardinalità dei sottoinsiemi, mantenendo costanti i livelli di accuratezza e supporto. Per approfondire il nostro metodo, abbiamo creato uno spazio di ricerca "grid search" per decomporre la complessità algoritmica e presentare diverse versioni dell'algoritmo progettate per operare all'interno di ogni specifica partizione di dati. In tutti gli esperimenti, l'algoritmo viene valutato per dimostrare la sua efficacia nell'identificare sottospazi validi man mano che la soglia di accuratezza diventa più stringente. Questa ricerca è stata ispirata da esigenze pratiche emerse dall'analisi dei dati sulla recidiva criminale e, più in generale, dall'esame dei dati giudiziari. Tale argomento potrebbe fungere da contesto applicativo primario per la metodologia proposta ed è esaminato approfonditamente in un capitolo dedicato di questa dissertazione.