Leggi di scala

Cos'è

Le leggi di scala (scaling laws) sono regolarità trovate misurando molti addestramenti: l'errore di un modello del linguaggio scende in modo regolare, seguendo una legge di potenza, quando aumentano la dimensione del modello, la quantità di dati e il calcolo usato per addestrarlo. Kaplan e colleghi lo hanno mostrato per i modelli del linguaggio, e questo permette ai laboratori di prevedere quanto sarà bravo un modello più grande prima di costruirlo.

A cosa serve

Pianificare come spendere un budget di addestramento (modello più grande o più dati), spiegare perché i laboratori continuano a costruire modelli più grandi e valutare le affermazioni sul "prossimo modello". Descrivono la loss media, non ogni abilità, e non dicono se un'abilità sarà sicura o utile.

Come si fa

Il processo, passo per passo. Librerie e strumenti cambiano; questi passi restano.

1. Scegli una famiglia di modelli che differiscono solo per dimensione e addestra versioni piccole con quantità diverse di dati.
2. Misura la loss su testo tenuto da parte per ogni addestramento e disegnala rispetto a dimensione, dati e calcolo su assi logaritmici.
3. Adatta una retta (una legge di potenza) ai punti; la pendenza dice quanto in fretta si migliora.
4. Usa la retta per prevedere la loss di un addestramento più grande e decidere come dividere il budget tra dimensione del modello e dati.
5. Verifica la previsione con un addestramento più grande, e osserva dove l'andamento si piega o si rompe.
6. Leggendo notizie su un nuovo modello, chiediti cosa è stato scalato, cosa è stato misurato e se l'affermazione riguarda la loss o un compito reale.