Q-Learning: un algoritmo ad apprendimento per rinforzo applicato al trading finanziario

Abstract

"In an efficient market prices fully reflect all available information". È con questa celeberrima frase che Fama, nel 1969, teorizzava le ipotesi di un mercato efficiente, presupponendo informazioni disponibili a costo zero ed individui razionali. Il più grande contributo di Fama fu quello di accendere un dibattito ultra trentennale che ha spinto la letteratura accademica alla ricerca di teorie e prove empiriche che confutassero il lavoro dell'economista statunitense, attingendo a materie interdisciplinari che considerassero non solo teorie economiche, ma anche comportamentali ed ambientali. Recentemente, Andrew Lo si è mosso in questa direzione sviluppando le ipotesi di mercato adattivo, con il principale intendo di riconciliare le teorie economiche basate sulle ipotesi di Fama con il comportamento che i soggetti economici assumono nell'ambiente in cui agiscono, applicando dunque i principi dell'evoluzionismo (competizione, adattamento, selezione naturale) alle interazioni finanziarie. Sotto questa nuova luce, è possibile trattare problemi di ottimizzazione e management dei portafogli finanziari in un'ottica evoluzionistica. La tecnica che viene presentata ed utilizzata in questo lavoro è l'apprendimento per rinforzo, ovvero una tecnica di apprendimento automatico che punta ad adattarsi alle mutazioni dell'ambiente nel quale è immersa utilizzando la valutazione delle performance ottenute. Tale tecnica viene attuata mediante l'algoritmo Q-Learning: viene sviluppata la costruzione di un sistema di trading finanzio mediante questa tecnica per verificare se, grazie all'uso dell'algoritmo citato, si è in grado di ottenere performance positive e significative, senza la necessità di una supervisione attiva del portafoglio selezionato.