FOUNDATIONS OF INFORMATION THEORY AND COMPUTATIONAL NEUROSCIENCES - MOD. 1

L’insegnamento è una delle attività formative obbligatorie del Corso di Laurea Magistrale in Engineering Physics, curriculum Physics of the Brain, e consente allo studente di acquisire la conoscenza e la comprensione dei concetti fondamentali e applicativi di probabilità e teoria dell’informazione.

1. Conoscenza e capacità di comprensione
Conoscere e comprendere le leggi della probabilità e della teoria dell’informazione, ed il loro apporto all’interno del metodo scientifico nello studio dei fenomeni stocastici. Il corso si pone anche l’obiettivo di sviluppare il pensiero critico negli studenti.

2. Capacità di applicare conoscenza e comprensione
Usare la matematica necessaria per descrivere i fenomeni stocastici.

3. Autonomia di giudizio
Saper valutare la consistenza logica dei risultati, sia in ambito teorico sia nell’inferenza da dati sperimentali o empirici.
Saper riconoscere eventuali errori tramite un’analisi critica del metodo applicato

4. Abilità comunicative
Saper comunicare le conoscenze apprese utilizzando una terminologia appropriata, sia in ambito orale sia scritto
Saper interagire con il docente e con i colleghi di corso in modo rispettoso e costruttivo, in particolare durante i lavori realizzati in gruppo

5. Capacità di apprendimento
Saper prendere appunti, selezionando e raccogliendo le informazioni a seconda della loro importanza e priorità
Saper essere sufficientemente autonomi nella raccolta di dati e informazioni rilevanti alla problematica investigata

L'insegnamento dà per scontati molti dei concetti trattati nei corsi di Analisi Matematica I e Analisi Matematica II (derivate e integrali ad una e più variabili), Algebra Lineare (spazi vettoriali e operazioni tra vettori, equazioni agli autovalori).

1. Definizioni della probabilità:
Assiomi di Kolmogorov e probabilità come estensione della logica a stime di plausibilità
2. Indipendenza stocastica, probabilità condizionata, teorema di Bayes
3. Variabili causali
4. Modelli di probabilità classica: modelli di urne, distribuzioni di particelle in stati, marce aleatorie
5. Funzioni generatrici per variabili causali intere e loro applicazione a marce aleatorie e processi a cascata.
6. Lemma di Borel-Cantelli. Limiti in probabilità. Legge dei grandi numeri.
7. Leggi limite per somme (teorema del limite centrale e leggi di Levy) e per estremi (Random Energy model). Limiti di validità del teorema del limite centrale.
8. Informazione, entropia, teorema di Shannon, equipartizione asintotica. Informazione mutua e relativa, distribuzioni di massima entropia.
9. Teoria delle grandi deviazioni per distribuzioni a code fini e a code grasse per variabili indipendenti. Esempi di variabili correlate, teorema di Garner-Ellis e transizioni di fase.
10. Applicazioni alla statistica: test delle ipotesi e lemma di Stein, informazione di Fisher e stima dei parametri, selezione dei modelli Bayesiana e stime di complessità. Teoria della lunghezza di descrizione minima.

W. Feller, An Introduction to Probability Theory and its Applications (J.Wiley & Sons 1968).
Cover and Thomas, Elements of Information Theory (J. Wiley & Sons 2006).
E. T. Jaynes, Probability Thoery: the logic of science, (Cambridge U. Press 2003).
M. Mezard, A. Montanari, Information, Physics and Computation (Oxford Univ. Press
2009).
C.W. Gardiner, Handbook of stochastic methods (Springer-Verlag, 1985).

Il raggiungimento degli obiettivi di apprendimento viene valutato attraverso la partecipazione a sessioni di domane e risposte (Q&A), una prova scritta intermedia, e un esame finale orale.

L'esame scritto è composto da problemi simili a quelli svolti in classe durante le sessioni Q&A.

scritto e orale

Il/la docente ha il dovere di vigilare affinché siano rispettate le regole di autenticità e originalità delle prove d'esame. Di conseguenza, nei casi in cui vi sia il sospetto di un comportamento irregolare, l'esame può prevedere un ulteriore approfondimento, contestuale alla prova d'esame, che potrà essere realizzato anche in modalità differente rispetto alle modalità sopra riportate.

Voto 18-22 conoscenze di base dei contenuti dell'insegnamento, sufficiente capacità di collegamento tra i temi discussi.
Voto 23-26 conoscenze discrete dei contenuti dell'insegnamento, buona capacità di collegamento tra i temi discussi.
Voto 27-28 conoscenze molto buone dei contenuti dell'insegnamento, ottime capacità di collegamento tra i temi discussi.
Voto 29-30 conoscenze eccellenti di tutti i contenuti dell'insegnamento, eccellenti capacità di collegamento tra i temi discussi.
Voto 30 lode come per voto 29-30 a cui si unisce risoluzione di domande sfidanti su temi di letteratura proposti dal docente e non discussi a lezione.

Lezioni preregistrate e sessioni interattive di domande e risposta.