Cos'è
Il fine-tuning prosegue l'addestramento di un modello pre-addestrato su un insieme più piccolo di esempi, per specializzarlo. L'allineamento (alignment) è l'obiettivo più ampio di far fare al modello ciò che le persone vogliono davvero ed evitare danni. Per gli assistenti in chat si fa spesso addestrando su risposte scritte da persone e su classifiche di risposte date da persone, come in InstructGPT. LoRA è un modo economico di fare fine-tuning: addestra solo poche piccole matrici aggiunte e lascia intatti i pesi originali.
A cosa serve
Far seguire a un modello un formato o un tono in modo costante, insegnargli un compito o un lessico specialistico, ridurre il costo di un compito specializzando un modello piccolo, e rendere gli assistenti più utili e sicuri. Non è lo strumento giusto per aggiungere fatti nuovi: per quello di solito è meglio il recupero di documenti.
Come si fa
- Prova prima i prompt e il recupero dei tuoi documenti; fai il fine-tuning solo se non bastano.
- Raccogli esempi del comportamento esatto che vuoi, come coppie ingresso e uscita ideale, preferendo la qualità alla quantità.
- Tieni da parte alcuni esempi per la prova, e scrivi come giudicherai se è migliorato.
- Scegli il metodo: fine-tuning completo se hai le risorse, oppure LoRA se vuoi addestrare con hardware modesto.
- Addestra, poi confronta con il modello originale sugli esempi tenuti da parte e su qualche domanda generale, per scoprire cosa ha dimenticato o rotto.
- Metti in uso il modello, registra dati e impostazioni, e preparati a rifarlo quando cambia il modello di base.