|

Docente: Irene Finocchi Ricevimento: mercoledì 9:30-10:30 (oppure in altri giorni/orari da concordare via e-mail) durante il corso; per appuntamento al termine del corso. Ufficio: Dipartimento di Scienze Statistiche, Città Universitaria, quarto piano, stanza 21. Tel: 06-49910384. E-mail: irene.finocchi AT uniroma1.it

Orario delle lezioni Giorno Ore Aula Lunedì 8:00-10:30 Aula 2 - Via del Castro Laurenziano 7A Martedì 8:00-10:30 Aula 2 - Via del Castro Laurenziano 7A

Avvisi

• Appello di settembre: 5 settembre, ore 9:00, aula 34, Dipartimento di Statistica (quarto piano).

• Risultati e voti finali per coloro che hanno ultimato l'esame nell'appello di febbraio. Procederò d'ufficio alla verbalizzazione su Infostud, salvo diversa comunicazione da parte vostra entro sabato 16 marzo.

• Voti finali proposti per coloro che hanno ultimato l'esame svolgendo gli esoneri o il primo appello. Procederò d'ufficio alla verbalizzazione su Infostud, salvo diversa comunicazione da parte vostra entro lunedì 11 febbraio.

• Risultati appello 14 gennaio. A breve i voti finali inclusi gli homework.

• Appello 14 gennaio 2019: l'esame si svolgerà in aula P2 (Città universitaria). Prima parte: ore 9:00. Seconda parte: ore 10:30.

• Risultati seconda prova intermedia. Sarà possibile visionare il compito giovedì 10 gennaio dalle 9:30 alle 11:00. Per coloro che abbiano superato entrambi gli esoneri, dopo la data di consegna degli homework prevista per il primo appello e la relativa valutazione, pubblicherò il voto finale, ottenuto come descritto nelle modalità d'esame. Per poter verbalizzare, ricordatevi di prenotarvi su Infostud.

• Risultati prima prova intermedia

• Seconda prova intermedia : martedì 18 dicembre, ore 8:00 - 10:30, Aula 6. La prenotazione è obbligatoria.

• Homework 2018: Sudoku in parallelo. A questo link trovate alcuni benchmark su cui testare la vostra applicazione.

• Per un problema di salute la lezione del 26 novembre è annullata. Verificherò in settimana se c'è uno slot libero in modo da poterla recuperare.

• Presentazione LVenture Group

• Sospensione attività didattica 30 ottobre : a valle della decisione del Comune di chiudere tutte le scuole di ogni ordine e grado causa maltempo, il Rettore ha disposto la sospensione dell'attività didattica. La lezione del 30 ottobre non avrà quindi luogo. Di conseguenza, la data della prova intermedia è posticipata dal 5 al 12 novembre.

• Sospensione attività didattica 29 ottobre : a valle della decisione del Comune di chiudere tutte le scuole di ogni ordine e grado causa maltempo, il Rettore ha disposto la sospensione dell'attività didattica. La lezione del 29 ottobre non avrà quindi luogo.

• Prima prova intermedia : lunedì 12 novembre, ore 8:00 - 10:30, Aula 6. La prenotazione è obbligatoria.

• Cambio aula: tutte le lezioni del terzo anno sono state spostate dall'aula L2 all'aula L6, sempre in Via del Castro Laurenziano.

• Iscrivetevi al Google group per avvisi, notizie last-minute e discussioni sugli argomenti del corso.
  <!--
  
  * Risultati secondo appello sessione estiva: voti. Chiuderò il secondo appello all'inizio della prossima settimana, quindi avete tempo fino al weekend per consegnarmi gli homework. Se non riuscite, potete consegnarli in settembre, prenotandovi su Infostud e ricordandomi per email la vostra situazione. Lo studente 1610406, che ha completato l'esame, è pregato di confermarmi l'accettazione del voto per email in modo da procedere alla verbalizzazione.
  
  * Tutti gli studenti che devono sostenere l'esame di PSMC il giorno 5 giugno, sia prima che seconda parte, possono presentarsi alle ore 9:00 in aula alfa.
  
  * Proposte di voto per gli studenti che hanno superato lo scritto nell'appello del 29 gennaio e consegnato entrambi gli homework. Contattatemi entro venerdì 23 febbraio se non intendete accettare il voto. Se non ricevo mail entro venerdì, procederò con la verbalizzazione su Infostud.
  
  * Voti appello 29 gennaio 2018. A breve pubblicherò le proposte di voto per gli studenti del secondo appello che hanno consegnato entrambi gli homework. Per eventuali domande sul compito, ho fissato un ricevimento per mercoledì 21 febbraio dalle 9:30 alle 11:00.
  
  * Proposte di voto per gli studenti che hanno superato entrambe le parti scritte entro il primo appello (8 gennaio) e consegnato entrambi gli homework. Contattatemi entro venerdì 9 febbraio se non intendete accettare il voto. Se non ricevo mail entro venerdì, procederò con la verbalizzazione su Infostud.
  
  * L'homework 2 è disponibile a questo link, insieme ad alcune immagini di test e utility per la gestione immagini in formato pgm.
  
  * <font color="#AF0F0F"><b>Seconda prova intermedia</b></font>: martedì 19 dicembre, ore 8:00 - 10:30. La prenotazione è obbligatoria.
  
  * Voti prova intermedia 7 novembre 2017. Correzione e visione del compito: in aula, lunedì 27 novembre.
  
  * L'homework 1 è disponibile a questo link. Deadline: 30 dicembre 2017.
  
  * <font color="#AF0F0F"> Esame del 13 gennaio </font>: l'esame inizierà alle ore 9:00 (puntuali). La prova sarà divisa in due parti: chi deve sostenere solo la seconda parte può presentarsi direttamente alle 10:30. Non sarà possibile verbalizzare domani i voti dell'esonero: la verbalizzazione avverrà contestualmente a quella della prova d'esame di domani, per cui comunicherò una data a breve. <p> </p>
  
  * <font color="#AF0F0F"> Esercizi per la preparazione al secondo esonero </font>: concorrenza (esercizi da 6 a 9, il file contiene anche le soluzioni), esercizi OpenCL. <p> </p>
  
  * <font color="#AF0F0F"><b>Appelli invernali</b></font>: i due appelli si svolgeranno il 10 e il 31 gennaio, alle ore 9:00, in Aula 13. E' obbligatoria la prenotazione su Infostud. La prova sarà divisa in due parti: chi deve sostenere solo la seconda parte può presentarsi direttamente alle 10:30. <p> </p>
  
  * Voti esonero 2. Gli studenti che hanno superato entrambi gli esoneri e hanno consegnato (o sono in procinto di consegnare) gli homework, possono prenotarsi in uno degli appelli aperti su Infostud per la verbalizzazione. Comunicherò dopo la valutazione degli homework i voti definitivi e una data per verbalizzare.
  
  * Homework 2: descrizione, modalità di svolgimento e di consegna.
  
  * Homework 1. Alcune istanze su cui testare il codice sono le seguenti:
  * debugInstances.tar.gz: istanze di Sudoku utili per il debugging. Le istanze game0.txt, game1.txt e game2.txt hanno una soluzione unica, mentre game3.txt ha 50142 soluzioni
  * Screenshot di una esecuzione: Screenshot game3
  * test1.tar.gz: benchmark 1
  * test2.tar.gz: benchmark 2
  
  * Soluzioni degli esercizi
  
  * <font color="#AF0F0F"><b>Preparazione esonero</b></font>: in aggiunta a questi esercizi, alla prova intermedia di novembre 2015 (traccia A e B) e alla parte 1 delle prove d'esame di gennaio e febbraio 2016, potete svolgere gli esercizi disponibili sul sito di Grossman (limitandovi alla parte di programma svolta finora nel corso). <p> </p>
  
  -->

Obiettivi e programma sintetico

Il corso affronta problematiche e tecniche di programmazione delle moderne piattaforme di calcolo parallele, dai sistemi multicore presenti sui più comuni laptop, desktop, server e dispositivi mobili, fino alle moderne GPU.

Il parallelismo offre enormi opportunità nello sviluppo di applicazioni con requisiti computazionali stringenti: basti pensare ai benefici in aree come computer graphics e big data computing. Ma un maggior parallelismo nell'hardware risulta inefficace se non è opportunamente sfruttato a livello software. Ciò impone cambiamenti fondamentali nello stile di programmazione e, ad un più alto livello di astrazione, nella progettazione degli algoritmi e delle strutture dati utilizzate. Ad oggi, la maggior parte degli algoritmi sono pensati secondo una visione sequenziale del modello di calcolo soggiacente e i linguaggi di programmazione offrono poche astrazioni per programmare sistemi multiprocessore.

Scopo del corso è di insegnare agli studenti a "pensare in parallelo", rivisitando sia il modo in cui i programmi sono espressi che alcune tecniche algoritmiche tradizionalmente pensate per modelli sequenziali. La prima parte del corso utilizza Java come linguaggio di programmazione e si focalizza su un modello a memoria condivisa con thread espliciti. Presenteremo successivamente tecniche di programmazione di GPU (OpenCL) e - tempo permettendo - di problem solving su cluster a larga scala (MapReduce).

Il corso ha una natura trasversale, coniugando aspetti di algoritmi e linguaggi di programmazione e discutendo le basi teoriche del parallelismo (grafi delle computazioni, parallelismo ideale, speedup, leggi del parallelismo, data race e determinismo delle computazioni). L'homework farà acquisire allo studente un'esperienza diretta scrivendo software parallelo efficiente in alcuni dei modelli presentati a lezione.

Diario delle lezioni

Lunedì 24 settembre 2018 - Introduzione al corso. Legge di Moore e implicazioni sullo sviluppo di software (the free lunch is over). Differenza tra parallelismo e concorrenza.

• Slide della lezione
• The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software, articolo di Herb Sutter apparso in Dr. Dobb's Journal, 30(3), Marzo 2005.
  Martedì 25 settembre 2018 - Speedup ed efficienza. Limiti teorici e pratici del parallelismo: legge di Amdahl, legge di Gustafson, overhead di comunicazione e sincronizzazione.
• Slide della lezione

  Esercizi di riepilogo (A) Prova intermedia del 3 novembre 2015. Traccia A: domanda 1, domanda 2 punti 1 e 2. Traccia B: domanda 2 punto 1 Appello gennaio 2016. Domanda 1 punti a) e c) Appello febbraio 2016. Domanda 1 Prova intermedia novembre 2016. Domanda 1, parte A

  Lunedì 1 ottobre 2018 - Sistemi paralleli: tassonomia di Flynn, modello di comunicazione (sistemi distribuiti o a memoria condivisa, NUMA vs UMA). Parallelizzazione automatica: storie di successo (vettorizzazione), difficoltà, data dependency. Modelli di programmazione: memoria condivisa con thread espliciti. Java.lang.Thread: nozioni fondamentali, parallel hello world.
• Slide della lezione
  Martedì 2 ottobre 2018 - Cenni ad altri modelli di programmazione: scambio di messaggi, dataflow e data parallelism (vedere slide del 1 ottobre). Parallelismo fork/join in Java. Un primo esempio: somma degli elementi in un array. Esperimenti al calcolatore. 1) Alcuni problemi pratici: come aumentare la dimensione dell'heap, perché iterare un esperimento, come misurare i tempi di esecuzione real, user e system con il comando time. 2) Un primo esperimento: cosa accade all'aumentare del numero dei thread? Analisi dello speedup ottenuto in pratica: perché all'aumentare del numero di thread i tempi di esecuzione non diminuiscono considerevolmente (anzi, se aumentiamo di molto i thread potrebbero anche aumentare)? Memory bottleneck. 3) Un secondo esperimento: computazioni memory- o CPU-bounded, differenze ottenute in termini di speedup (nel codice per la somma degli elementi di un array, decommentate la linea ans += (long)... nel metodo run).
• Slide della lezione
• Parallel sum: implementazione, sintesi degli esperimenti e delle analisi svolte
  Lunedì 8 ottobre 2018 - Scelta del numero di thread: portabilità del codice, thread vs processori: è una buona idea usare tanti thread quanti sono i processori disponibili all'inizio dell'esecuzione? Load balancing. Una diversa soluzione: divide-and-conquer parallelism. Implementazione ricorsiva della somma in un array tramite fork di un nuovo thread per ciascuna chiamata ricorsiva. Quanti thread nell'implementazione ricorsiva? Un semplice conteggio su alberi binari. Due importanti ottimizzazioni: cutoff sequenziale e dimezzamento del numero di thread.
• Slide della lezione
  <!-- <font color="#AF0F0F"> Martedì 9 ottobre 2018 </font> - -->

Lunedì 15 ottobre 2018 - La libreria Java ForkJoin: ForkJoinPool, RecursiveAction e RecursiveTask<V> 3) Due utili astrazioni: map e reduce, implementazione con thread espliciti tramite ForkJoin, cenni al framework MapReduce di Google. 4) Strutture dati e parallelismo: array, alberi bilanciati, liste collegate.

• Slide della lezione
  Martedì 16 ottobre 2018 - Analisi di algoritmi paralleli: il DAG di esecuzione, work e span, ovvero T₁ (numero di nodi) e T_∞ (lunghezza del cammino critico). Generalizzazione delle analisi ad un numero arbitrario P di processori. Lower bound: T_P ≥ max{T₁/P, T_∞}. Come ottenere un'esecuzione che richiede tempo O(T₁/P+T_∞): l'importanza dello scheduling, gli scheduler greedy funzionano bene! Analisi 2-approssimazione, cenni al work stealing.
• Slide della lezione
• L'analisi dello scheduling greedy si basa sul Cormen, Leiserson, Rivest, Stein, Introduction to Algorithms (3rd edition). Il capitolo su algoritmi multithreaded può essere scaricato gratuitamente a questo link (Sample chapter).

  Esercizi di riepilogo (B) Prova intermedia del 3 novembre 2015. Traccia A: domanda 3, domanda 2 punto 3. Traccia B: domanda 1, domanda 2 punto 2, domanda 3 Appello gennaio 2016. Domanda 1 punto b), domanda 2 Appello febbraio 2016. Domanda 2 Prova intermedia novembre 2016. Domanda 1, parte B, domanda 2, domanda 4

  Lunedì 22 ottobre 2018 - Somme prefisse: definizione del problema, work e span dell'algoritmo sequenziale, due algoritmi paralleli con span O(log n). Un'applicazione delle somme prefisse: array packing. Un'applicazione del packing: partitioning. Un'applicazione del partitioning: parallel quicksort. Analisi del quicksort nel caso migliore, equazioni di ricorrenza per work e span.
• Slide della lezione
  Martedì 23 ottobre 2018 - Calcolo della più lunga sottosequenza iniziale di 1 in un array di bit (esercizio): soluzione basata su ForkJoin esplicito, soluzione basata sul calcolo del minimo, tecnica delle coppie. Parallel mergesort. Analisi della parallelizzazione naive (con merge sequenziale). Fusione (ricorsiva) di due array in parallelo: analisi di work e span dell'algoritmo merge. Integrazione nel mergesort ed analisi.
• Slide della lezione

  Esercizi di riepilogo (C) Prova intermedia del 3 novembre 2015. Traccia A: domanda 4. Traccia B: domanda 4. Appello gennaio 2016. Domanda 3. Appello febbraio 2016. Domanda 3. Prova intermedia novembre 2016. Domanda 3. Appello 28 giugno 2017. Tutta la parte 1. Appello 10 gennaio 2017. Tutta la parte 1.

  Lunedì 29 ottobre 2018 - sospensione attività didattica causa maltempo

Martedì 30 ottobre 2018 - ulteriore sospensione attività didattica causa maltempo

Lunedì 5 novembre 2018 - Somma di interi: come calcolare il bit di riporto in parallelo. Svolgimento di esercizi di preparazione all'esonero.

• Introduction to parallel & distributed algorithms, Carl Burch, 2009: somma di interi, sezione 3.3
  Martedì 6 novembre 2018 - Svolgimento di esercizi di preparazione all'esonero.

Lunedì 12 novembre 2018 - Prova intermedia prima parte (parallelismo)

Martedì 13 novembre 2018 - Programmazione concorrente: accessi alla memoria sovrapposti, bad interleaving, il problema della mutua esclusione. Lock come ADT: caratteristiche di un mutex e di un reentrant lock. <!--Concorrenza in Java: la keyword synchronized. -->

• Slide della lezione
  Lunedì 19 novembre 2018 - Concorrenza in Java: la keyword synchronized. Race condition: bad interleaving vs. data race. Metodi reader e metodi writer, possibili interleaving tra le istruzioni (quali istruzioni? A che livello di astrazione? Il ruolo del compilatore), uso di synchronized, stati intermedi inconsistenti. La keyword volatile: quando è corretto usarla? Una distinzione fondamentale: memoria thread-local, immutable e synchronized.
• Slide della lezione
  Martedì 20 novembre 2018 - Linee guida per usare i lock correttamente. Locking consistente, granularità dei lock (fine vs coarse grained locking), granularità della sezione critica e il problema A-B-A. Deadlock: tecniche di deadlock avoidance (acquisizione ordinata dei lock). Lock in pratica: un esempio basato su liste concorrenti. Coarse-grained locking. Fine-grained hand-over-hand locking: perchè serve prendere il lock su elementi consecutivi della lista, esempio relativo alla rimozione di un nodo della lista.
• Slide della lezione
• Ulteriori slide: liste concorrenti
  Lunedì 26 novembre 2018 - lezione annullata

Martedì 27 novembre 2018 - Ulteriori meccanismi di sincronizzazione: reader/writer locks. Ulteriori meccanismi di sincronizzazione: condition variables. Come implementare una attesa passiva, le operazioni wait, notify (signal) e notifyAll (broadcast), errori di programmazione tipici (e soluzioni), costrutti ed idiosincrasie di Java.

• Slide della lezione
  Lunedì 3 dicembre 2018 - Heterogeneous computing: CPU vs GPU, genesi di OpenCL. Architettura di una GPU, platform model, execution model e memory model in OpenCL. Concetti fondamentali: host, compute device, compute unit, processing element, contesto, programma, kernel, work item, work group, coda dei comandi, tipi di memoria (host, private, local, global). API OpenCL: ottenere informazioni sui dispositivi, creazione del contesto e della coda dei comandi.
• Slide della lezione
• OpenCl 2.0 quick reference card
• OpenCL 2.0 specification
• La macchina virtuale con OpenCL è disponibile nella sezione "Libri di testo e materiale didattico"
  Martedì 4 dicembre 2018 - Ancora API OpenCL: memory objects, program objects, kernel objects, gestione delle code dei comandi. Un primo esempio, con discussione dettagliata del codice host: OpenCL Hello World. Discussione dettagliata del layout di memoria: quali dati risiedono in memoria host, globale, privata? Task parallelism e data parallelism in OpenCL: le funzioni clEnqueueTask e clEnqueueNDRangeKernel.
• Slide della lezione
• Il codice del programma hello è contenuto nel tar gzippato disponibile nella sezione "Libri di testo e materiale didattico"
  Lunedì 10 dicembre 2018 - Data parallelism: global e local size, work group ids. Esempi al calcolatore. 1) Calcolo parallelo dei quadrati dei valori contenuti in un array (square). Parallelismo su dati di input ad una dimensione: numero di work items e dimensione dei work group. 2) Moltiplicazione di matrici (quadrate) come esempio di parallelismo su dati di input a due dimensioni. Implementazione naive in cui ciascun work item calcola uno degli n² elementi di output come prodotto scalare di una riga e una colonna delle matrici di input.
• Slide della lezione
• Il codice dei programmi square e matmul è contenuto nel tar gzippato disponibile nella sezione "Libri di testo e materiale didattico"
  Martedì 11 dicembre 2018 - La tecnica del blocking: moltiplicare due matrici tramite molteplici moltiplicazioni di matrici più piccole (blocchi). Implementazione basata su blocking tramite uso di memoria locale e barriere. Confronto prestazionale sul calcolatore.
• Il codice dei due programmi per la moltiplicazione di matrici è contenuto nel tar gzippato disponibile nella sezione "Libri di testo e materiale didattico". Usare con cautela: in particolare, il codice che utilizza memoria locale funziona sotto ipotesi piuttosto stringenti (ad esempio, il lato delle matrici deve essere un multiplo del work group size).
  Lunedì 17 dicembre 2018 - didattica sospesa per IT meeting. Sono disponibile dalle 9:00 alle 11:00 nel mio studio in Via Salaria per chiarimenti su esercizi ed esoneri.

Martedì 18 dicembre 2018 - Prova intermedia seconda parte (concorrenza, GPU)

<!--

<font color="#AF0F0F"> Lunedì 25 settembre 2017 </font> - Introduzione al corso. Legge di Moore e implicazioni sullo sviluppo di software (the free lunch is over). Differenza tra parallelismo e concorrenza.
* Slide della lezione
* The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software, articolo di Herb Sutter apparso in Dr. Dobb's Journal, 30(3), Marzo 2005. <p> </p>

<font color="#AF0F0F"> Martedì 26 settembre 2017 </font> - Speedup ed efficienza. Limiti teorici e pratici del parallelismo: legge di Amdahl, legge di Gustafson, overhead di comunicazione e sincronizzazione.
* Slide della lezione <p> </p>

<font color="#AF0F0F"> Lunedì 2 ottobre 2017 </font> - Sistemi paralleli: tassonomia di Flynn, modello di comunicazione (sistemi distribuiti o a memoria condivisa, NUMA vs UMA). Modelli di programmazione: memoria condivisa con thread espliciti, cenni a scambio di messaggi, dataflow e data parallelism. Java.lang.Thread: nozioni fondamentali. Parallel hello world. Soluzione domanda 1A prova intermedia novembre 2016.
* Slide della lezione <p> </p>

<font color="#AF0F0F"> Martedì 3 ottobre 2017 </font> - Parallelismo fork/join in Java. Un primo esempio: somma degli elementi in un array. Esperimenti al calcolatore. 1) Alcuni problemi pratici: come aumentare la dimensione dell'heap, perché iterare un esperimento, come misurare i tempi di esecuzione real, user e system con il comando time. 2) Un primo esperimento: cosa accade all'aumentare del numero dei thread? Analisi dello speedup ottenuto in pratica: perché all'aumentare del numero di thread i tempi di esecuzione possono aumentare considerevolmente? Memory bottleneck. 3) Un secondo esperimento: computazioni memory- o CPU-bounded, differenze ottenute in termini di speedup (nel codice per la somma degli elementi di un array, decommentate la linea ans += (long)... nel metodo run). Soluzione domanda 1 appello febbraio 2016.
* Slide della lezione
* Parallel sum: implementazione, sintesi degli esperimenti e delle analisi svolte<p> </p>

<font color="#AF0F0F"> Lunedì 9 ottobre 2017 </font> - Scelta del numero di thread: portabilità del codice, thread vs processori: è una buona idea usare tanti thread quanti sono i processori disponibili all'inizio dell'esecuzione? Load balancing. Una diversa soluzione: divide-and-conquer parallelism. Implementazione ricorsiva della somma in un array tramite fork di un nuovo thread per ciascuna chiamata ricorsiva. Quanti thread nell'implementazione ricorsiva? Un semplice conteggio su alberi binari. Due importanti ottimizzazioni: cutoff sequenziale e dimezzamento del numero di thread.
* Slide della lezione <p> </p>

<font color="#AF0F0F"> Lunedì 16 ottobre 2017 </font> - La libreria Java ForkJoin: ForkJoinPool, RecursiveAction e RecursiveTask<V> 3) Due utili astrazioni: map e reduce, implementazione con thread espliciti tramite ForkJoin, cenni al framework MapReduce di Google. 4) Strutture dati e parallelismo: array, alberi bilanciati, liste collegate.
* Slide della lezione <p> </p>

<font color="#AF0F0F"> Martedì 17 ottobre 2017 </font> - Analisi di algoritmi paralleli: il DAG di esecuzione, work e span, ovvero <i>T₁</i> (numero di nodi) e <i>T_∞</i> (lunghezza del cammino critico). Generalizzazione delle analisi ad un numero arbitrario P di processori. Lower bound: <i>T_P</i> ≥ max{T₁/P, T_∞}. Come ottenere un'esecuzione che richiede tempo O(T₁/P+T_∞): l'importanza dello scheduling, gli scheduler greedy funzionano bene! Analisi 2-approssimazione, cenni al work stealing.
* Slide della lezione
* L'analisi dello scheduling greedy si basa sul Cormen, Leiserson, Rivest, Stein, Introduction to Algorithms (3rd edition). Il capitolo su algoritmi multithreaded può essere scaricato gratuitamente a questo link (sample chapter). <p> </p>

<BLOCKQUOTE>
<B>Esercizi di riepilogo (B)</B> </br>
_Prova intermedia del 3 novembre 2015._ Traccia A: domanda 3, domanda 2 punto 3. Traccia B: domanda 1, domanda 2 punto 2, domanda 3</br>
_Appello gennaio 2016._ Domanda 1 punto b), domanda 2</br>
_Appello febbraio 2016._ Domanda 2</br>
_Prova intermedia novembre 2016._ Domanda 1, parte B, domanda 2, domanda 4
</BLOCKQUOTE>

<font color="#AF0F0F"> Lunedì 23 ottobre 2017 </font> - Somme prefisse: definizione del problema, work e span dell'algoritmo sequenziale, due algoritmi paralleli con span O(log n). Un'applicazione delle somme prefisse: array packing.
* Slide della lezione<p> </p>

<font color="#AF0F0F"> Martedì 24 ottobre 2017 </font> - Un'applicazione del packing: partitioning. Un'applicazione del partitioning: parallel quicksort. Analisi del quicksort nel caso peggiore e migliore, equazioni di ricorrenza per work e span. Parallel mergesort. Analisi della parallelizzazione naive (con merge sequenziale). Fusione (ricorsiva) di due array in parallelo: analisi di work e span dell'algoritmo merge. Integrazione nel mergesort ed analisi.
* Slide della lezione <p> </p>

<BLOCKQUOTE>
<B>Esercizi di riepilogo (C)</B> </br>
_Prova intermedia del 3 novembre 2015._ Traccia A: domanda 4. Traccia B: domanda 4.</br>
_Appello gennaio 2016._ Domanda 3.</br>
_Appello febbraio 2016._ Domanda 3.</br>
_Prova intermedia novembre 2016._ Domanda 3.</br>
_Appello 28 giugno 2017._ Tutta la parte 1.</br>
_Appello 10 gennaio 2017._ Tutta la parte 1.
</BLOCKQUOTE>

<font color="#AF0F0F"> Martedì 31 ottobre 2017 </font> - svolgimento di esercizi di preparazione alla prova intermedia

<font color="#AF0F0F"> Lunedì 6 novembre 2017 </font> - svolgimento di esercizi di preparazione alla prova intermedia

<font color="#AF0F0F"> Martedì 7 novembre 2017 </font> - prova intermedia*

<font color="#AF0F0F"> Lunedì 13 novembre 2017 </font> - Programmazione concorrente: accessi alla memoria sovrapposti, bad interleaving, il problema della mutua esclusione. Lock come ADT: caratteristiche di un mutex e di un reentrant lock. Concorrenza in Java: la keyword synchronized.
* Slide della lezione <p> </p>

<font color="#AF0F0F"> Martedì 14 novembre 2017 </font> - Race condition: bad interleaving vs. data race. Metodi reader e metodi writer, possibili interleaving tra le istruzioni (quali istruzioni? A che livello di astrazione? Il ruolo del compilatore), uso di synchronized, stati intermedi inconsistenti. La keyword volatile: quando è corretto usarla? Una distinzione fondamentale: memoria thread-local, immutable e synchronized.
* Slide della lezione <p> </p>

<font color="#AF0F0F"> Lunedì 20 novembre 2017 </font> - Linee guida per usare i lock correttamente. Locking consistente, granularità dei lock (*fine vs coarse grained locking), granularità della sezione critica e il problema A-B-A. Deadlock: tecniche di deadlock avoidance (acquisizione ordinata dei lock).
* Slide della lezione <p> </p>

<font color="#AF0F0F"> Martedì 21 novembre 2017 </font> - Lock in pratica: un esempio basato su liste concorrenti. Coarse-grained locking. Fine-grained hand-over-hand locking: perchè serve prendere il lock su elementi consecutivi della lista, esempio relativo alla rimozione di un nodo della lista. Ulteriori meccanismi di sincronizzazione: reader/writer locks.
* Slide della lezione

<BLOCKQUOTE>
<B>Esercizi di riepilogo (D)</B> </br>
_Esonero dicembre 2015._ Domande 1 e 2.</br>
_Appello gennaio 2016._ Domande 4 e 5.</br>
_Appello febbraio 2016._ Domande 4 e 5.
</BLOCKQUOTE>

<font color="#AF0F0F"> Lunedì 27 novembre 2017 </font> - Ulteriori meccanismi di sincronizzazione: condition variables. Come implementare una attesa passiva, le operazioni wait, notify (signal) e notifyAll (broadcast), errori di programmazione tipici (e soluzioni), costrutti ed idiosincrasie di Java. Correzione del primo homework e visione compiti.
* Slide della lezione <p> </p>

<font color="#AF0F0F"> Martedì 28 novembre 2017 </font> - Heterogeneous computing: CPU vs GPU, genesi di OpenCL. Architettura di una GPU, platform model, execution model e memory model in OpenCL. Concetti fondamentali: host, compute device, compute unit, processing element, contesto, programma, kernel, work item, work group, coda dei comandi, tipi di memoria (host, private, local, global). API OpenCL: ottenere informazioni sui dispositivi, creazione del contesto e della coda dei comandi.
* Slide della lezione
* OpenCl 2.0 quick reference card
* OpenCL 2.0 specification
* La macchina virtuale con OpenCL è disponibile nella sezione "Libri di testo e materiale didattico"

<font color="#AF0F0F"> Lunedì 4 dicembre 2017 </font> - didattica sospesa per IT Meeting

<font color="#AF0F0F"> Martedì 5 dicembre 2017 </font> - Ancora API OpenCL: memory objects, program objects, kernel objects, gestione delle code dei comandi. Un primo esempio, con discussione dettagliata del codice host: OpenCL Hello World. Discussione dettagliata del layout di memoria: quali dati risiedono in memoria host, globale, privata? Task parallelism e data parallelism in OpenCL: le funzioni clEnqueueTask e clEnqueueNDRangeKernel.
* Slide della lezione
* Il codice del programma hello è contenuto nel tar gzippato disponibile nella sezione "Libri di testo e materiale didattico"

<font color="#AF0F0F"> Martedì 12 dicembre 2017 </font> - Parallelismo su dati di input ad una dimensione: numero di work items e dimensione dei work group (global e local size). Esempio al calcolatore: calcolo parallelo dei quadrati dei valori contenuti in un array (square).
* Slide della lezione
* Il codice del programma square è contenuto nel tar gzippato disponibile nella sezione "Libri di testo e materiale didattico"

-->

<!--

<font color="#AF0F0F"> Martedì 29 novembre 2016 </font> - Svolgimento esercizi: domanda 2 esonero dicembre 2015; domanda 4 appello febbraio 2016.

<BLOCKQUOTE>
<B>Esercizi di riepilogo (D)</B> </br>
_Esercizi 6, 7, 8 e 9_ dal sito di Grossman
</BLOCKQUOTE>

<font color="#AF0F0F"> Martedì 13 dicembre 2016 </font> - Esempi al calcolatore. 1) Calcolo parallelo dei quadrati dei valori contenuti in un array (square). Parallelismo su dati di input ad una dimensione: numero di work items e dimensione dei work group (global e local size). 2) Moltiplicazione di matrici (quadrate) come esempio di parallelismo su dati di input a due dimensioni. Implementazione naive in cui ciascun work item calcola uno degli <i>n²</i> elementi di output come prodotto scalare di una riga e una colonna delle matrici di input.
* Il codice dei programmi square e matmul è contenuto nel tar gzippato disponibile nella sezione "Libri di testo e materiale didattico"

<BLOCKQUOTE>
<B>Esercizi di riepilogo (E)</B> </br>
Esercizi OpenCL
</BLOCKQUOTE>


-->

<!--

<font color="#AF0F0F"> Lunedì 5 ottobre 2015 </font> - Stima della frazione di esecuzione sequenziale e parallela mediante performance profiling: l'opzione -prof del Java Runtime, analisi dei file prodotti. -
* Slide della lezione <p> </p>

<font color="#AF0F0F"> Lunedì 14 dicembre 2015 </font> - Programmazione di cluster su larga scala: MapReduce, un modello di programmazione di alto livello corredato da un complesso sistema runtime.
* Slide della lezione <p> </p>

-->

Materiale didattico

• Dan Grossman, A Sophomoric Introduction to Shared-Memory Parallelism and Concurrency, reading notes, febbraio 2015.
• Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein, Introduction to Algorithms, terza edizione, capitolo 27 (Multithreaded Algorithms, sample chapter scaricabile gratuitamente sul sito web del libro).

• Codice OpenCL contenente tutti gli esempi visti in classe
• Macchina virtuale contenente una distribuzione Linux Slitaz minimale (32 bit) con OpenCL 1.2 preinstallato, read me. Per poter utilizzare la macchina virtuale è necessario installare VirtualBox (disponibile sul sito di Oracle).

Slide

A questo link potete trovare le slide messe a disposizione degli studenti durante l'Anno Accademico 2017-2018.

Le slide per l'Anno Accademico 2018-2019 potrebbero essere aggiornate o modificate a ridosso della lezione, e saranno messe a disposizione settimanalmente nel Diario delle lezioni, corredate da una breve sintesi degli argomenti affrontati.

Modalità d'esame

Per superare l'esame si deve sostenere una prova scritta (divisa in due parti) e svolgere un homework che sarà assegnato a metà corso.

Nella prova scritta occorrerà dimostrare di aver studiato e compreso gli argomenti trattati nelle lezioni:

• rispondendo a tipiche domande da esame orale volte a verificare la comprensione della materia;
• svolgendo esercizi che prevedono l'applicazione dei concetti esposti a lezione.
  L'homework richiede di implementare ed analizzare sperimentalmente un software parallelo e può essere svolto in gruppi costituiti da al più 3 persone.

Non è previsto un esame orale, salvo su esplicita richiesta del docente in caso di sospetta copiatura - parziale o totale - dell'homework o della prova scritta.

Prove intermedie. Sono previste due prove intermedie: la prima nella settimana di interruzione della didattica (tipicamente inizio novembre), la seconda al termine del corso. La prima prova intermedia riguarderà tutti gli argomenti svolti fino alla data della prova stessa e sarà strutturata come la prova scritta, ovvero con domande aperte ed esercizi di ragionamento. La seconda prova intermedia coprirà gli argomenti svolti nella seconda parte del corso. La sufficienza ottenuta alle prove intermedie sarà valida fino all'ultimo appello dell'anno accademico corrente.

Voto. Sia l'homework che la prova scritta saranno valutati in trentesimi e concorrono a determinare il voto finale (homework 30%, prova scritta 70%). Il voto verrà inoltre incrementato di un punto per chi termini nella sessione invernale avendo superato le prove intermedie.

Prenotazioni. Per partecipare alle prove scritte (incluse quelle intermedie) è obbligatoria la prenotazione. Sarà possibile prenotarsi agli appelli d'esame tramite infostud, e alle prove intermedie tramite twiki.

Date d'esame

Prove d'esame

• Testo esame del 28 giugno 2017
• Testo esame del 10 gennaio 2017
• Prova intermedia novembre 2016
• Testo esame del 2 febbraio 2016
• Testo esame del 13 gennaio 2016
• Esonero seconda parte - dicembre 2015
• Prova intermedia novembre 2015: traccia A, traccia B