Vulnerability of Machine Learning: A Study on Poisoning Attacks

Abstract

Il successo senza precedenti dell'apprendimento automatico (ML) in diverse applicazioni è stato intrinsecamente favorito dalla crescente disponibilità di potenza di calcolo e di grandi insiemi di dati di addestramento, con l'ipotesi implicita che tali insiemi di dati siano ben rappresentativi dei dati che si incontreranno al momento del test. Tuttavia, questo presupposto può essere violato in presenza di attacchi di tipo poisoning, che presuppongono la capacità di un utente malevolo di poter compromettere i dati di addestramento o ottenere un certo controllo sul processo di apprendimento (ad esempio, quando l'addestramento del modello viene affidato a un servizio di terze parti non affidabile) al fine di degradare le prestazioni del modello al momento del test. Un attento monitoraggio delle procedure di raccolta dei dati e di addestramento dei modelli sta dunque diventando imperativo, soprattutto dopo gli ultimi incidenti in applicazioni di ML nel mondo reale causati da questo tipo di attacchi. Data la loro rilevanza pratica, sono stati pubblicati diversi articoli scientifici sugli attacchi al tempo di addestramento contro i modelli di ML. Tuttavia, nonostante l'enorme interesse suscitato da questo argomento, abbiamo riscontrato molta confusione, idee sbagliate e questioni aperte che indaghiamo in questa tesi. Affrontiamo quindi 5 diverse domande di ricerca, ovvero: (1) come classificare gli attacchi di avvelenamento; (2) come renderli scalabili nella pratica (3) come analizzarli e comprendere i fattori che influenzano la loro efficacia contro i modelli di ML; (4) come l'avvelenamento può influenzare altri aspetti di ML, andando oltre le violazioni di misclassificazione; e (5) come un attaccante può creare campioni di avvelenamento quando ha accesso al sistema solo attraverso queries. Per ognuna di queste domande di ricerca, rivediamo il problema di fondo nell'affrontare tale domanda, il corrispondente stato dell'arte in quella direzione di ricerca ed esaminiamo i contributi proposti dall'autore di questa tesi per rispondere ad essa. Infine, facciamo luce sulle limitazioni attuali e sulle domande di ricerca aperte in questo campo di ricerca e proponiamo possibili direzioni di ricerca future per affrontarle. I risultati di questa tesi aiuteranno la comunità ML a valutare meglio le potenziali vulnerabilità provenienti da dati e servizi di formazione di terze parti non affidabili. L'obiettivo è quello di aiutare a comprendere meglio tali vulnerabilità nei sistemi di ML, e a migliorarli anche in base alle nuove normative governative.