Metonymy Resolution with BERT and RoBERTa: what language models can infer about the interpretation of metonymy.

Abstract

La metonimia, figura retorica che usa un concetto per riferirsi a un altro strettamente collegato, è un mezzo usato per rendere la comunicazione più efficace. Tuttavia, da un punto di vista computazionale, l’interpretazione di questa figura retorica non sempre risulta immediata. L’obiettivo di questa tesi è valutare la performance di alcuni modelli di linguaggio, come BERT (Devlin et al., 2018) e RoBERTa (Liu et al., 2019), sull’interpretazione della metonimia. In contrapposizione a ricerche precedenti che trattano l’interpretazione della metonimia come classificazione, questo studio mira invece a studiare quali informazioni i modelli di linguaggio citati riescono a ricavarne. L’esperimento è stato condotto su un dataset formato da 509 metonimie (Pedinotti & Lenci, 2020) e ogni modello ha interpretato ciascuna espressione metonimica con 5 referenti diversi. L’accuratezza delle risposte è stata calcolata sulla base delle relazioni tra iperonimi e iponimi riportate su WordNet (Fellbaum, 1998). Inoltre, gli embedding contestuali sono stati analizzati per capire a quale livello i modelli riescono a interpretare meglio la metonimia. I risultati ottenuti contribuiscono ad avanzare la comprensione sul funzionamento di modelli come BERT e quale tipo di informazioni pragmatico-semantiche del linguaggio umano siano in grado di processare.