Meccanismo di attenzione

Cos'è

L'attenzione permette a un modello di decidere, per ogni parte dell'uscita, quali parti dell'ingresso guardare di più. Invece di comprimere un'intera frase in un riassunto di dimensione fissa, conserva ogni parte e le dà un peso.

A cosa serve

Traduzione, riassunti, risposte a domande, modelli per immagini: ovunque la parte utile dell'ingresso cambi da un passo all'altro. È il cuore del transformer, e quindi dei modelli del linguaggio moderni.

Come si fa

Il processo, passo per passo. Librerie e strumenti cambiano; questi passi restano.

1. Trasforma ogni elemento dell'ingresso in un vettore.
2. Per l'elemento su cui lavori, confrontalo con tutti gli altri per ottenere un punteggio di rilevanza per ciascuno.
3. Trasforma i punteggi in pesi che sommano a 1 (una softmax).
4. Calcola la media pesata degli elementi: è ciò a cui il modello presta attenzione.
5. Passa il risultato allo strato successivo. I transformer lo ripetono in parallelo in più teste (head), così il modello segue relazioni diverse insieme.