Questa è una vecchia versione del documento!
Progetto di ASD 2021/2022
Il gioco delle K parole consiste nell'indovinare una parola W che si combina bene con le K parole fornite. Per esempio, con K=2, se le parole fornite sono Buffalo e Clinton, la parola che si combina bene con loro è W = Bill (ossia Buffalo Bill e Bill Clinton). Affinché le K parole siano valide in questo gioco, non devono dar luogo ad ambiguità nella scelta di W: quest'ultima deve risultare come l'unica scelta ragionevole. Un noto quiz televisivo utilizza questo gioco con K=5.
Il progetto richiede di individuare insiemi di K parole valide per questo gioco, utilizzando i testi di alcune pagine prese da Wikipedia e “ripulite” dalla formattazione. È richiesto di modellare tale problema utilizzando un grafo non orientato G = (V,E), dove V rappresenta le parole distinte che si trovano nelle varie pagine di Wikipedia e ciascun arco (u,v) in E indica che le due parole corrispondenti a u e v appaiono consecutivamente (in alternativa, sufficientemente vicine) in almeno una di tali pagine.
Sono lasciate allo studente delle scelte:
- se ignorare le “stop word” come articoli, preposizioni, verbi ausiliari, ecc.;
- se vedere G come grafo pesato o meno (per esempio in quante pagine occorrono le coppie di parole);
- se annotare i nodi e gli archi di G con ulteriori informazioni se necessarie.
Il progetto si basa su file presi dal mondo reale e prevede di effettuare un'analisi sperimentale dei dati per validare se le scelte di K parole fornite abbiano senso o meno:
- qui c'è un piccolo campione per fare le prove wiki-small.zip;
- qui c'è un campione di circa 21mila pagine per un totale di circa 100 milioni di caratteri wikipedia_20k.zip: più pagine si riescono a trattare, meglio è.
Nello svolgimento del progetto, conviene memorizzare G mediante liste di adiacenza (un array di |V| vector in C++, come visto in laboratorio). Potrebbero essere utili un paio di strumenti (facoltativi):
od -c
è utile per vedere il contenuto di un file testuale, carattere per carattere, inclusi i caratteri non stampabili; vedi https://www.geeksforgeeks.org/od-command-linux-example/mmap
è utile per accedere a un file testuale come se fosse un gigantesco array di caratteri; vedi mmap e http://man7.org/linux/man-pages/man2/mmap.2.html