Pretraining e transfer learning

Cos'è

Pretraining significa addestrare prima un modello grande su un'enorme raccolta generale di testo, con un obiettivo semplice come prevedere la parola successiva o riempire parole nascoste, così che assorba grammatica, fatti e schemi di ragionamento. Il risultato si può poi riusare per molti compiti specifici: è il transfer learning applicato al linguaggio.

A cosa serve

È il motivo per cui un solo modello può tradurre, riassumere e rispondere a domande senza essere costruito apposta per ciascun compito. Per te significa che quasi mai parti da zero: prendi un modello pre-addestrato e lo adatti, con molti meno dati e molta meno potenza di calcolo.

Come si fa

Il processo, passo per passo. Librerie e strumenti cambiano; questi passi restano.

1. Capisci le due fasi: il pretraining costoso su testo generale, fatto una volta da un laboratorio, e poi l'adattamento economico al tuo compito, fatto da te.
2. Scegli un modello pre-addestrato con lingua, dimensione e licenza adatte al tuo progetto.
3. Provalo così com'è, con un buon prompt, su un campione del tuo compito e misura il risultato.
4. Se non basta, raccogli esempi del compito e fai il fine-tuning del modello su di essi, oppure aggiungi il recupero dei tuoi documenti.
5. Tieni da parte esempi di prova che il modello non ha mai visto, e controlla che il tuo materiale di prova non fosse già nel testo di pretraining.
6. Ricorda cosa il pretraining non può dare: le conoscenze successive alla data di fine addestramento e i fatti che non ha mai visto.