DEEP LEARNING FOR NATURAL LANGUAGE PROCESSING

Il corso si inquadra all’interno del percorso di studi in Computer Science e si focalizza su tecniche di analisi del linguaggio naturale con approcci basati su architetture neurali profonde e modelli più tradizionali. Il corso si sviluppa gradualemente, partendo dalle fondamenta dell’analisi automatica del testo fino a coprire modelli generativi di ultima generazione.

Vengono inoltre coperti moderni modelli a cavallo tra visione e linguaggio, audio e linguaggio e particolari architetture per l’analisi di grafi con reti neurali (graph neural networks) e modelli di diffusione.

L’obiettivo formativo è fornire una conoscenza ampia delle moderne tecniche dell’analisi del linguaggio naturale e i campi in cui essa viene applicata.

Al termine del corso lo studente sarà in grado di:
- Utilizzare e conoscere gli algoritmi fondamentali per l’analisi del linguaggio naturale
- Implementare e addestrare modelli per l’analisi automatica di testo
- Scegliere i modelli più adatti per specifiche applicazioni

Conoscenza di base di algebra lineare e statistica sono consigliate. Si richiede inoltre una conoscenza di Python per le attività pratiche.

Introduction
- Syntactic and semantic analysis
- Regular Expressions
- Tokenization
- Lemmatization and stemming 
- Part-Of-Speech tagging
- Word Sense Disambiguation

Word Embedding Models:
- Bag of Word
- CBOW
- Skipgram
- Word2Vec
- GloVe
- ELMo

Deep Learning for Sequences
- Recurrent networks and language models
- Backprop through time
- LSTM
- GRU

Attention Mechanisms
- Self-Attention
- Transformers

(Large) Language Models:
- BERT
- Generative Pre-trained Transformer (GPT), GPT-3, GPT-4, ChatGPT

Applications
- Text classification (sentiment analysis, language classification, intent classification)
- Named Entity Recognition
- Machine Translation: seq2seq
- Question Answering
- Text Summarization
- Topic Modeling (LDA, BERTopic)

Graphs and NLP
- Graph Neural Networks
- Knowledge Graphs

Vision and Language (tentative)
- Image Captioning
- CLIP
- Generative Models

Audio and Language (tentative)
- Speech-to-Text

Diffusion Processes (tentative)
- DDPM
- Stable Diffusion

Tutti i materiali di studio saranno forniti attraverso Moodle.

La verifica dell'apprendimento prevede un esame orale e lo sviluppo di un progetto in Python con discussione orale.

orale

Il corso si compone di lezioni frontali e attività pratiche in aula utili a consolidare i concetti appresi. Come materiale di studio saranno fornite slide e articoli scientifici.