Author: yattaman Date: To: hackmeeting@inventati.org Subject: [Hackmeeting] [Talk - modelli linguistici demistificati: la
geometria semantica]
Titolo: Modelli linguistici demistificati: la geometria semantica
Durata: 1 ora -- Se c'è abbondanza di spazi, anche 1.30
Proiettore: sì
Autore: Yattaman
Lingua: italiano
Registrazione: ok
Orario: sabato se possibile
Descrizione:
"Un uomo di 76 anni è morto nel pomeriggio di oggi a San Raffaele
Cimena, nel Torinese, travolto da un trattore che si è ribaltato. La
vittima è l'uomo che si trovava alla guida del mezzo. L'allarme è
scattato poco prima delle 16 nei campi di via Carpanea. Inutili tutti
i soccorsi. Sul posto anche i vigili del fuoco e i carabinieri della
compagnia di Chivasso ai quali sono ora affidati gli accertamenti
sulla dinamica dell'incidente".
"Nel cuore del remoto villaggio medievale di San Raffaele, situato tra
le verdi colline del Torinese, un anziano mugnaio di 76 anni ha
trovato la sua fine tragica nel pomeriggio di oggi. Attraversava i
campi di via Carpanea quando il suo mulo impaurito ha perso
l'equilibrio, schiacciando il suo padrone sotto il peso dei sacchi. Le
grida di aiuto hanno richiamato i soldati della vicina rocca di
Chivasso".
"Su un remoto pianeta extraterrestre, noto come Xeltron-9, un alieno
di 76 cicli solari ha trovato la sua fine tragica oggi. La sua navetta
spaziale di ricerca è stata travolta da un meteorite. Scattati i
sensori di emergenza, sul posto sono intervenute le autorità della
federazione intergalattica con squadre di soccorso specializzate. Le
indagini sono affidate agli investigatori interstellari".
Come fanno i modelli linguistici a convertire la notizia Ansa del
primo paragrafo in notizie dallo stesso contenuto ma ambientate in
epoche diverse? Più in generale, come sono in grado di costruire
analogie? E come fanno a costruire consecuzioni logiche?
Il talk sarà un tuffo nella geometria semantica. Partiremo da un
modello linguistico fatto in casa, molto limitato, che riproduce
sconclusionati discorsi di Mattarella, per passare alla costruzione
degli embeddings e alla loro funzione, al percorso che ha consentito
di arrivare alla realizzazione di traduttori, fino a come sono fatti i
transformers e in particolare il loro meccanismo dell'attenzione. Per
demistificare i modelli linguistici, capirne limiti e potenzialità
concrete, e possibili futuri sviluppi: addestramento su dataset
multimodali escludendo il testo (che al momento è il man in the middle
che rende possibile tutto); costruzione della grammatica.
Se c'è tempo, una incursione nel filone dei linguaggi artificiali
emergenti: come agenti possono sviluppare un lessico comune da zero,
sulla base di una serie di giochi comunicativi.
