Dissecting continual learning: a structural and data analysis

Abstract

Continual Learning (CL) è un campo della ricerca dell'intelligenza artificiale dedicata al progetto di algoritmi capaci di superare il problema del catastrofic forgetting nelle reti neurali, il fenomeno per il quale si ha la distruzione dei concetti appresi nel passato quando la rete sta apprendendo un concetto nuovo. Attualmente le reti neurali hanno dimostrato sorprendenti capacità nel risolvere diversi problemi reali, questi modelli, però, assumono una certa stabilità nella distribuzione dei dati e quando questo viene a meno il fenomeno di catastrofic forgettingsi presenta. In questa tesi, dopo una introduzione sullo stato dell'arte ed una discussione sulla letteratura corrente, introduciamo una analisi sul catastrophic forgetting nelle reti convolutive. In particolare vedremo come il pretraining di una backbone influisca sulle performance in ambito incrementale. Dopodichè dimostreremo come nei sistemi basati su buffer di replay (ossia memorie), sia di gran lunga più essenziale riporre l'attenzione nel memorizzare più quanti dati si riesca piuttosto che sula qualità di essi. Infine presentiamo uno dei primi studi sull'apprendimento incrementale nelle architetture che implementano il meccanismo di self-attention, ossia sui ViTs. Introduciamo una comparazione tra metodi basati sui dati, metodi funzionali e metodi basati sulla regolarizzazione del meccanismo di self-attention e dimostreremo come quest'ultimi siano competitivi rispetto allo stato dell'arte.