AnnoAcc0809 < ApprAuto

Tags: view all tags
---+!! Corso di Apprendimento Automatico - A.A. 2008/2009

| *Docente*             |  *Telefono*  | *Orario di ricevimento* | *Studio* |
| [[http://www.dsi.uniroma1.it/~navigli/index.html][Roberto Navigli]]  | 06-49918472 | Per appuntamento | Via Salaria 113 - 3° Piano st. 312 | 

---++ Orari del corso

| *Quando* | ** |  *Dove*  |
| Martedì | 15.45-17.15 | Aula I NEC |
| Mercoledì  | 14.10-15.45    | Aula I NEC |

---++ Avvisi

   * Sono online le soluzioni delle prove intermedie del 21 aprile ([[%ATTACHURL%/esonero_21_04_2009.pdf][compito A]], [[%ATTACHURL%/esonero_21_04_2009_b.pdf][compito B]])
   * Sono online i [[Intermedia2009][risultati della prova intermedia]] del 21 aprile.
   * Le lezioni del 31 marzo e 1 aprile non avranno luogo, causa partecipazione del docente a una [[http://www.eacl2009.gr/conference/][conferenza]].

---++ Importante! Iscrizione al gruppo Google

*Tutti gli studenti del corso* sono pregati di iscriversi al gruppo Google accessibile [[http://groups.google.com/group/apprauto2009][cliccando qui]].
Il gruppo ha diversi fini: 

   * Permettere agli studenti di scambiarsi opinioni e informazioni sul corso e sul progetto
   * Ricevere informazioni relative al corso dal docente
   * Colloquiare col docente fuori dell'orario di lezione
   * Discutere il progetto 

---++ Introduzione

Il corso introduce un'area fondamentale dell'<b>Intelligenza Artificiale</b>, detta *Apprendimento Automatico* (*Machine Learning*). 
Il corso si svolge in circa 40-45 ore di lezione frontale (10-11 settimane). Durante il corso, verranno introdotti e discussi i principali approcci all'apprendimento automatico (metodi supervisionati, non supervisionati, apprendimento per rinforzo, ecc.). Gli studenti potranno effettuare delle esercitazioni pratiche utilizzando il software [[http://www.cs.waikato.ac.nz/ml/weka/][Weka]], che mette a disposizione implementazioni dei vari algoritmi e utilità varie per lo studio dei risultati. 

---++ Testi

Il testo adottato è:

   * Tom Mitchell, [[http://www-2.cs.cmu.edu/~tom/mlbook.html][Machine Learning]], !McGraw-Hill, 1997, testo aderente a una buona parte del corso, da complementare con il materiale fornito

Per approfondire alcuni argomenti, si consigliano i seguenti testi:

   * Ethem Alpaydin, [[http://mitpress.mit.edu/catalog/item/default.asp?ttype=2&tid=10341][Introduction to Machine Learning]], MIT Press, 2004
   * Pang-Ning Tan, Michael Steinbach, Vipin Kumar, [[http://www-users.cs.umn.edu/~kumar/dmbook/index.php][Introduction to Data Mining]], Pearson Addison Wesley, 2005

cui si aggiungono i lucidi usati dal docente.

---++ Modalità d'esame

L'esame *consiste in una prova orale*, per verificare la conoscenza degli algoritmi studiati, ed *un progetto*, sull'uso di (alcuni) degli algoritmi studiati, in vari ambiti applicativi. La prova orale può essere *sostituita da una prova di esonero* che si terrà all'incirca a metà corso (il *21 aprile 2009*, in orario di lezione).

Il *progetto* può essere svolto da soli o in gruppo (normalmente 2 studenti, eccezionalmente 3 se giustificato adeguatamente). In un progetto di gruppo dovrà essere messo in evidenza il contributo di ciascun partecipante mediante una chiara suddivisione in moduli. Ciascuno studente sarà esaminato su tutto il progetto e, in profondità, sul modulo di sua competenza. Il progetto viene assegnato dal docente. L'elenco dei progetti si trova sul gruppo [[http://groups.google.com/group/apprauto2009][Google del corso]], che permette l'interazione tra studenti e docente sul progetto. 

---++ Testi d'esame degli anni precedenti

   * [[%ATTACHURL%/esonero_13_11_2007.pdf][Esonero 13/11/2007]]
   * [[%ATTACHURL%/esonero_15_01_2008.pdf][Esonero 15/01/2008]]
   * [[%ATTACHURL%/esame_22_01_2008.pdf][Esame 22/01/2008]]
   * [[%ATTACHURL%/esame_21_02_2008.pdf][Esame 21/02/2008]]

---++ Diario delle lezioni

| *Data*             |  *Argomenti*  | *PPT* | *PDF* | *Note* |
| 25 febbraio 2009 | Introduzione | [[%ATTACHURL%/1Intro.ppt][ppt]]  | [[%ATTACHURL%/1Intro.pdf][pdf]] |  |
| 3 marzo 2009 | Appprendimento di concetti | [[%ATTACHURL%/2Concetti.ppt][ppt]]  | [[%ATTACHURL%/2Concetti.pdf][pdf]] |  |
| 4 marzo 2009 | Alberi di decisione (1) | [[%ATTACHURL%/3DecisionTree.ppt][ppt]]  | [[%ATTACHURL%/3DecisionTree.pdf][pdf]] |  |
| 10 marzo 2009 | Alberi di decisione (2), Valutazione delle prestazioni | [[%ATTACHURL%/4ValutazionePrestazioni.ppt][ppt]] | [[%ATTACHURL%/4ValutazionePrestazioni.pdf][pdf]]||
| 11 marzo 2009 | Esercitazione | |||
| 17 marzo 2009 | Reti neurali (1) | [[%ATTACHURL%/5RetiNeurali.ppt][ppt]] | [[%ATTACHURL%/5RetiNeurali.pdf][pdf]]||
| 18 marzo 2009 | Reti neurali (2) | |||
| 24 marzo 2009 | *Seminario Prof. Madhu Sudan h10 Goethe Institut* | |||
| 25 marzo 2009 | Reti neurali (3) || [[%ATTACHURL%/EsercitazioneNN.pdf][pdf]] ||
| 7 aprile 2009 | Apprendimento probabilistico | [[%ATTACHURL%/6NaiveBayes.ppt][ppt]]|[[%ATTACHURL%/6NaiveBayes.pdf][pdf]]||
| 8 aprile 2009 | Esercitazione (1)| |[[%ATTACHURL%/esercitazione1.pdf][pdf]] ||
| 15 aprile 2009 | Esercitazione (2)| |[[%ATTACHURL%/esercitazione2.pdf][pdf]] ||
| 21 aprile 2009 | *Prova intermedia* ([[%ATTACHURL%/esonero_21_04_2009.pdf][Soluzione A]], [[%ATTACHURL%/esonero_21_04_2009_b.pdf][Soluzione B]], [[Intermedia2009][Risultati]]) | | | |
| 28 aprile 2009 | Algoritmi genetici | [[%ATTACHURL%/7GA.ppt][ppt]]  |||
| 29 aprile 2009 | Programmazione genetica |   |||
| 5 maggio 2009 | *Presentazione dei progetti* | vedi mailing list |||
| 6 maggio 2009 | Apprendimento per rinforzo | [[%ATTACHURL%/8AR.ppt][ppt]]|||
| 12 maggio 2009 | Apprendimento non supervisionato (1) | [[%ATTACHURL%/9UL.ppt][ppt]]|||
| 13 maggio 2009 | Apprendimento non supervisionato (2) | |||
| 19 maggio 2009 | Apprendimento automatico per l'elaborazione del linguaggio naturale  | [[%ATTACHURL%/10NLP.ppt][ppt]]|||
| 20 maggio 2009 | Sviluppare un classificatore con Weka, Apprendimento basato su istanze: kNN | |||
| 26 maggio 2009 | Altri strumenti utili: Cluto, JGap, Graphviz, !TreeTagger| |||

---++ Programma dettagliato

*Introduzione.* Il problema dell'apprendimento. [[http://it.wikipedia.org/wiki/Classificatore][Classificatori]]. Addestramento. Rappresentazione del dominio. Funzione obiettivo e funzione appresa.

*Apprendimento di concetti.* Rappresentazione delle ipotesi, spazio delle ipotesi. Algoritmo FIND-S. [[http://en.wikipedia.org/wiki/Version_space][Algoritmo !VersionSpace]]. Concetto di [[http://en.wikipedia.org/wiki/Inductive_bias][bias]] o inclinazione. Studio delle curve di apprendimento. Sovradattamento, rumore, attributi irrilevanti.

*Alberi di decisione.* Caratteristiche. [[http://en.wikipedia.org/wiki/Occam's_Razor][Principio del rasoio di Occam]]. [[http://en.wikipedia.org/wiki/ID3_algorithm][Algoritmo ID3]], concetto di [[http://it.wikipedia.org/wiki/Entropia_%28teoria_dell%27informazione%29][entropia]], stima dell'entropia di una classificazione, misure di impurità di una classificazione. Scelta dell'attributo migliore: [[http://en.wikipedia.org/wiki/Information_gain_in_decision_trees][guadagno informativo]] e gain ratio. Problemi dell'apprendimento: sovradattamento (reduced error pruning, rule error pruning), valori mancanti.

*Reti Neurali.* Storia delle reti neurali. [[http://it.wikipedia.org/wiki/Neurone][Neurone]], [[http://it.wikipedia.org/wiki/Rete_neurale][rete neurale]], caratteristiche. [[http://it.wikipedia.org/wiki/Percettrone][Percettrone]], funzione somma e funzione soglia o di attivazione, funzione obiettivo. Funzioni rappresentabili con il percettrone, algoritmo di addestramento del percettrone, convergenza del percettrone. [[http://it.wikipedia.org/wiki/Discesa_del_gradiente][Discesa del gradiente]] (delta rule), discesa del gradiente stocastica. [[http://en.wikipedia.org/wiki/Feedforward_neural_network][Reti stratificate alimentate in avanti]], algoritmo di [[http://en.wikipedia.org/wiki/Backpropagation][Back Propagation]]. Condizioni di terminazione, convergenza, momento. 

*Apprendimento Bayesiano.* Richiami di calcolo delle probabilità: [[http://en.wikipedia.org/wiki/Sample_space][spazio di campionamento]], esiti, eventi, [[http://it.wikipedia.org/wiki/Probabilit%C3%A0][probabilità]], [[http://it.wikipedia.org/wiki/Probabilit%C3%A0_condizionata][probabilità condizionata]], somma di probabilità, probabilità congiunte, proprietà fondamentali, [[http://it.wikipedia.org/wiki/Teorema_di_Bayes][teorema di Bayes]]. Teorema di Bayes nell'Apprendimento Automatico, [[http://en.wikipedia.org/wiki/Naive_Bayes_classifier][Naive Bayes]]. 

*Algoritmi Genetici.* [[http://en.wikipedia.org/wiki/Genetic_algorithm][AG]]: Motivazioni. Algoritmo tipo. Rappresentazione delle ipotesi. [[http://en.wikipedia.org/wiki/Genetic_algorithm][Operatori per gli algoritmi genetici]]. Selezione delle ipotesi migliori. GABIL. Il problema del crowding e possibili soluzioni. II problema del commesso viaggiatore. Applicazioni. [[http://en.wikipedia.org/wiki/Genetic_programming][Programmazione genetica]]. Passi preparatori per la PG. Il problema dei blocchi. Meta-programmazione genetica. Applicazioni.

*Apprendimento per Rinforzo.* [[http://en.wikipedia.org/wiki/Reinforcement_learning][Apprendimento per Rinforzo]]: Motivazioni. Definizione del modello. Obiettivi. Varianti. [[http://en.wikipedia.org/wiki/Q-learning][Q-Learning]]: algoritmo, condizioni di convergenza, scelta delle azioni future. Q-Learning per il caso non deterministico.

*Apprendimento Non Supervisionato.* [[http://en.wikipedia.org/wiki/Unsupervised_learning][Unsupervised Learning]]: Motivazioni. Tecniche di [[http://en.wikipedia.org/wiki/Cluster_analysis][clustering]]: clustering gerarchico e clustering partitivo. [[http://www.resample.com/xlminer/help/HClst/HClst_intro.htm][Clustering gerarchico agglomerativo e divisivo]]. Clustering partitivo: [[http://en.wikipedia.org/wiki/K-means_algorithm][k-means]], metriche di prossimità (distanza e similarità), scelta dei semi per k-means. Clustering basato su grafi. Clustering basato sul minimo albero ricoprente. Hard e soft clustering. Problemi nell'apprendimento non supervisionato. Misure di valutazione esterna: entropia e purezza.

*Apprendimento basato su istanze.* Motivazioni. Lazy learning. Algoritmo k-nearest neighbour (k-NN).

*Valutazione delle Prestazioni.* Modalità di test di un classificatore. [[http://en.wikipedia.org/wiki/Confusion_matrix][Matrice di confusione]]. Misure per valutare le prestazioni: [[http://en.wikipedia.org/wiki/Accuracy_and_precision][precisione]], [[http://en.wikipedia.org/wiki/Sensitivity_(tests)][recall]], [[http://en.wikipedia.org/wiki/Accuracy_and_precision][accuratezza]], [[http://en.wikipedia.org/wiki/F1_Score][F1 measure]], scelta delle misure appropriate. 




-- Users.RobertoNavigli - 06 Oct 2009