Cos'è
Il transformer è un'architettura di rete neurale costruita attorno all'attention. Invece di leggere un testo parola per parola, ogni posizione guarda tutte le altre insieme e decide quali contano per lei. Impilando molti strati di questo tipo si ottiene una rete che si può addestrare in parallelo su enormi quantità di testo. È la base di quasi tutti i modelli del linguaggio moderni.
A cosa serve
Modelli del linguaggio e assistenti in chat, traduzione, generazione di codice e, con piccole modifiche, immagini, audio e strutture di proteine. Se lavori con l'IA moderna lo incontri quasi ovunque, quindi conviene conoscerne le parti: token, embedding, attention, strati feed-forward.
Come si fa
- Taglia l'ingresso in token e trasforma ogni token in un vettore (un embedding), aggiungendo l'informazione sulla sua posizione.
- Fai passare i vettori in una pila di blocchi identici; in ogni blocco l'attention mescola informazione tra le posizioni e una piccola rete feed-forward elabora ogni posizione.
- Per generare testo, maschera il futuro così che ogni posizione veda solo ciò che la precede, e prevedi il token successivo.
- Addestra su una quantità enorme di testo, che richiede molti chip specializzati: per questo la maggior parte delle persone riusa un modello già addestrato.
- Adatta il modello pre-addestrato al tuo compito con i prompt o con il fine-tuning (vedi Pretraining e Fine-tuning).
- Per sperimentare, carica un piccolo modello aperto con una libreria standard e osserva la sua attention e le sue uscite.