Word embedding

Cos'è

Un embedding di parola trasforma una parola in una lista di numeri (un vettore) in modo che parole usate in contesti simili abbiano vettori simili. Le parole sono posizionate su una mappa dei significati: "gatto" finisce vicino a "cane" e lontano da "ponte". I vettori si imparano da grandi quantità di testo prevedendo le parole dai loro vicini.

A cosa serve

Dare testo a qualunque modello che lavora con i numeri: ricerca per significato invece che per parole esatte, trovare documenti simili, clustering, raccomandazioni. Gli embedding di frasi e documenti interi estendono la stessa idea e alimentano la ricerca semantica moderna.

Come si fa

Il processo, passo per passo. Librerie e strumenti cambiano; questi passi restano.

1. Scegli un modello di embedding adatto alla tua lingua (un testo in italiano richiede un modello che copra l'italiano).
2. Dividi i tuoi testi nelle unità che vuoi confrontare: parole, frasi o paragrafi.
3. Fai passare ogni unità nel modello per ottenere il suo vettore, e salva i vettori.
4. Confronta i vettori con la similarità del coseno: più è vicina a 1, più i significati sono vicini.
5. Per cercare, trasforma la domanda in vettore allo stesso modo e restituisci gli elementi salvati con la similarità più alta.
6. Provalo su coppie che sai simili o diverse, e fai attenzione ai pregiudizi che il modello ha assorbito dal testo con cui è stato addestrato.