NATURAL LANGUAGE PROCESSING

Lo sviluppo del corso è graduale e parte da una breve introduzione al Natural Language Processing e alla sua evoluzione storica. Ci si concentrerà poi sui modelli del linguaggio e sui più recenti approcci per addestrarli.

L’obiettivo formativo è fornire una conoscenza ampia delle moderne tecniche dell’analisi del linguaggio naturale e indicare i campi in cui essa viene applicata.

Al termine del corso lo studente sarà in grado di:
- Utilizzare e conoscere gli algoritmi fondamentali per l’analisi del linguaggio naturale
- Implementare e addestrare modelli per l’analisi automatica di testo
- Scegliere i modelli più adatti per specifiche applicazioni

Conoscenza di base di algebra lineare e statistica sono consigliate. Si richiede inoltre una conoscenza di Python per le attività pratiche. Le librerie Pytorch e Transformers sono un plus.

Introduction
- The NLP pipeline
- Morphology
- Syntax
- Semantics
- Pragmatics
- Tokenization
- Lemmatization and stemming 
- Word-based analysis
- Sentence-based analysis

(Large) Language Models:
- Encoder models
- Decoder Models
- Encoder-Decoder models
- Masked Language Modeling
- Autoregressive Models
- Fine-tuning
- Post-training
- Alignment

Tutti i materiali di studio saranno forniti attraverso Moodle.

La verifica dell'apprendimento prevede lo sviluppo da parte dello studente di un progetto (individuale da concordare con il docente) in Python volto a mettere in pratica le conoscenze acquisite durante il corso e ad affrontare un problema specifico di NLP.

La valutazione si baserà su tre aspetti principali:

1. Capacità di progettazione: Il progetto dovrà riflettere una chiara comprensione dei concetti teorici e delle metodologie apprese. Sarà importante dimostrare una pianificazione strutturata e un approccio critico nella realizzazione del lavoro.
2. Organizzazione del lavoro: Verrà valutata l'abilità nel gestire le varie fasi del progetto, dall'ideazione alla sua implementazione. Questo include la gestione del tempo, la suddivisione delle attività e la collaborazione (se applicabile).
3. Padronanza degli strumenti: Durante la presentazione, lo studente dovrà dimostrare di avere piena padronanza degli strumenti e delle tecnologie usate e piena conoscenza dei concetti introdotti durante il corso.

orale

I criteri per la valutazione sono i seguenti:

A. punteggi nella fascia 18-22 verranno attribuiti in presenza di:
- sufficiente conoscenza e capacità di strutturare il progetto;
- limitata capacità di motivare le scelte implementative;
- sufficienti abilità comunicative, specie in relazione all'utilizzo del linguaggio specifico che attiene ai temi del corso;
B. punteggi nella fascia 23-26 verranno attribuiti in presenza di:
- discreta conoscenza e capacità di strutturare il progetto;
- discreta capacità di raccogliere e/o interpretare i dati, proponendo soluzioni implementative efficaci;
- discrete abilità comunicative, specie in relazione all'utilizzo del linguaggio specifico che attiene ai temi del corso;
C. punteggi nella fascia 27-30 verranno attribuiti in presenza di:
- buona o ottima conoscenza e capacità di strutturare il progetto;
- buona o ottima capacità di raccogliere e/o interpretare i dati, proponendo soluzioni implementative innovative;
- abilità comunicative pienamente appropriate, specie in relazione all'utilizzo del linguaggio specifico che attiene ai temi del corso.
D. la lode verrà attribuita in presenza di conoscenza e capacità di comprensione applicata in riferimento al programma, capacità di giudizio e abilità comunicative, eccellenti.

Il corso si compone di lezioni frontali e attività pratiche in aula utili a consolidare i concetti appresi. Come materiale di studio saranno fornite slide e articoli scientifici.