Docenti:

• Dino Pedreschi, Fosca Giannotti, Mirco Nanni
  • KDD Laboratory, Università di Pisa ed ISTI - CNR, Pisa
  • http://www-kdd.isti.cnr.it
  • dino [dot] pedreschi [at] di [dot] unipi [dot] it
  • fosca [dot] giannotti [at] isti [dot] cnr [dot] it
  • mirco [dot] nanni [at] isti [dot] cnr [dot] it

Assistenti:

• Anna Monreale, Salvo Rinzivillo, Diego Pennacchioli
  • KDD Laboratory, Università di Pisa ed ISTI - CNR, Pisa
  • http://www-kdd.isti.cnr.it
  • annam [at] di [dot] unipi [dot] it
  • rinzi [at] di [dot] unipi [dot] it
  • pennacchioli [at] isti [dot] cnr [dot] it

• [28/04/2011] La data del primo appello estivo è stata spostata al 15 giugno, in aula C
• [11/04/2011] Le date degli appelli estivi sono state fissate
• [21/03/2011] Attenzione: a partire dal 28 marzo 2011, la lezione del venerdì viene sostituita con una il lunedì, dalle 14.00 alle 16.00, in aula N
• [26/01/2011] Sono state fissate le date di esame per il prossimo appello
• [26/01/2011] I risultati della seconda prova intermedia sul clustering del dataset WarLogs sono online.
• [24/01/2011] I risultati del primo esercizio sono online.
• [21/12/2010] Una nuova versione del datset WarLogs, che Weka carica correttamente, è online.
• [17/12/2010] Il secondo esercizio - clustering su WarLogs - è online. Consegna entro 10.01.2011.
• [01/12/2010] Il Polo Fibonacci è occupato dagli studenti in mobilitazione contro il DDL Gelmini. La lezione del 01.12.2010 è cancellata.
• [23/11/2010] Pubblicato il testo del primo esercizio 2010-2011.
• [23/11/2010] Il Polo Fibonacci è occupato dagli studenti in mobilitazione contro il DDL Gelmini. La lezione del 24.11.2010 non è garantita.
• [15/11/2010] La lezione di Mercoledì 17 Novembre 2010 è cancellata per lo sciopero generale di tutti i settori della conoscenza (scuola, università, ricerca) info
• [15/11/2010] Il sito dell'edizione 2010-11 è online

La grande disponibilità di dati provenienti da database relazionali, dal web o da altre sorgenti motiva lo studio di tecniche di analisi dei dati che permettano una migliore comprensione ed un più facile utilizzo dei risultati nei processi decisionali. L'obiettivo del corso è quello di fornire un'introduzione ai concetti di base del processo di estrazione di conoscenza, alle principali tecniche di data mining ed ai relativi algoritmi. Particolare enfasi è dedicata agli aspetti metodologici presentati mediante alcune classi di applicazioni paradigmatiche quali il Basket Market Analysis, la segmentazione di mercato, il rilevamento di frodi. Infine il corso introduce gli aspetti di privacy ed etici inerenti all’utilizzo di tecniche inferenza sui dati e dei quali l’analista deve essere a conoscenza. Il corso consiste delle seguenti parti:

1. i concetti di base del processo di estrazione della conoscenza: studio e preparazione dei dati, forme dei dati, misure e similarità dei dati;
2. le principali tecniche di datamining (regole associative, classificazione e clustering). Di queste tecniche si studieranno gli aspetti formali e implementativi;
3. alcuni casi di studio nell’ambito del marketing e del supporto alla gestione clienti, del rilevamento di frodi e di studi epidemiologici.
4. l’ultima parte del corso ha l’obiettivo di introdurre gli aspetti di privacy ed etici inerenti all’utilizzo di tecniche inferenza sui dati e dei quali l’analista deve essere a conoscenza

Lezioni:

Ricevimento:

• su appuntamento con i docenti c/o ISTI-CNR

• Pang-Ning Tan, Michael Steinbach, Vipin Kumar. Introduction to Data Mining. Addison Wesley, ISBN 0-321-32136-7, 2006
  • http://www-users.cs.umn.edu/~kumar/dmbook/index.php

• Le slide utilizzate durante il corso verranno inserite nel calendario al termine di ogni lezione. In buona parte esse sono tratte da quelle fornite dagli autori del libro di testo: Slides per "Introduction to Data Mining".

• Oltre ai testi e (dove disponibili) soluzioni degli appelli d'esame degli anni recenti, sono consultabili i seguenti esercizi proposti in anni precedenti.
  • Verifica 2006, Verifica 2005 (con soluzioni), Verifica 2004
  • Verifica 5 giugno 2007, Verifica 26 giugno 2007, Verifica 24 luglio 2007 (e Soluzioni)
  • Verifica 3 aprile 2008 (e Soluzioni), Verifica 18 luglio 2008 - parte 1, Verifica 18 luglio 2008 - parte 2

Prima parte del corso

Seconda parte del corso

L'esame consiste in una prova scritta ed in una prova orale:

• La prova scritta è composta essenzialmente di esercizi sui metodi e algoritmi visti a lezione. I testi degli appelli d'esame passati vengono regolarmente messi online e possono essere presi come riferimento generale. La prova scritta può essere sostituita dalle due verifiche intermedie: nel caso vengano entrambe superate con successo la media dei loro voti costituirà il voto con cui presentarsi all'orale – a meno che non si sostenga nuovamente l'esame scritto, nel qual caso il voto più recente cancella quelli precedenti (in meglio o in peggio). Non è possibile recuperare una sola verifica intermedia durante gli appelli d'esame regolari. Per l'a.a. 2010-2011, le verifiche intermedie sono sostituite da una serie di esercizi che verranno proposti durante il corso.
• La prova orale verte sugli aspetti più teorici del corso (definizioni, metodi, algoritmi, ecc.) trattati a lezione, oppure dalla discussione di bibliografia concordata con i docenti.

1. Comprensione dei dati: Adult dataset. Assegnato il 19.11.2010. Da completarsi entro il 30.11.2010. Consegnare per email al docente, cc a annamonreale [at] gmail [dot] com specificando [DM] nel subject della mail. Considerare il dataset Adult, scaricabile dall'UCI Machine Learning Repository http://archive.ics.uci.edu/ml/datasets/Census+Income, analizzarlo con gli strumenti di data understanding di Weka, e produrre un breve rapporto di “data understanding” (2-3 pag. max) che descriva la semantica e la qualità dei dati, le distribuzioni delle diverse variabili ed il grado di correlazione fra variabili. Per caricare il file in Weka: 1) ridenominarlo usando l'estensione .csv (comma separated values); 2) inserire nel file una riga in prima posizione contenente i nomi delle diverse variabili (o attributi).
2. Analisi di clustering: WarLogs dataset. Assegnato il 17.12.2010. Da completarsi entro il 10.01.2011. Consegnare per email al docente, cc a rinzivillo [at] isti [dot] cnr [dot] it specificando [DM] nel subject della mail. Testo e dataset sono scaricabili a questa pagina
3. Classificazione: Adult dataset. Da consegnare all'esame orale (solo appelli di febbraio/marzo 2011). Considerare il dataset Adult dell'esercio 1, e sperimentare la costruzione di alberi di decisione per il problema di classificazione binaria relativamente alla condizione “reddito superiore o inferiore a 50.000 dollari”. Discutere la qualità dei modelli estratti e, ove possibile, una loro interpretazione.

Dati e dettagli delle esercitazioni possono essere richiesti scrivendo a mirco [dot] nanni [at] isti [dot] cnr [dot] it. Nota: i gruppi di progetto possono essere composti fino a 3 persone.

1. Progetto “Rilevazione rischio frode fiscale”. Consegna finale scaduta.
2. Progetto “Market Basket Analysis”. Consegna finale: fine maggio 2011.
3. Progetto “Mobility Data Analysis”. Consegna finale: fine giugno 2011.

• Data Mining A.A. 2009/10
• Data Mining A.A. 2008/09
• Data Mining A.A. 2007/08
• Data Mining A.A. 2006/07
• PhD Workshop 2011
• Analisi delle Reti Sociali