Apprendimento non supervisionato e transfer learning

Cos'è

L'apprendimento non supervisionato trova struttura nei dati senza etichette. Il transfer learning riusa ciò che un modello ha imparato su un grande compito come punto di partenza per un altro. Insieme sono l'idea del pre-training: prima si impara da enormi quantità di dati senza etichette, poi ci si adatta.

A cosa serve

Quando hai pochi esempi etichettati, parti da un modello pre-addestrato su molti dati (un modello del linguaggio, uno per immagini) e lo adatti. È così che si costruisce oggi gran parte dell'IA pratica.

Come si fa

Il processo, passo per passo. Librerie e strumenti cambiano; questi passi restano.

1. Trova un modello pre-addestrato per il tuo tipo di dati (testo, immagini, audio) in un model hub.
2. Decidi quanto cambiare: usarlo così com'è, addestrare solo una piccola parte nuova sopra, oppure fare fine-tuning di tutto.
3. Prepara il tuo piccolo dataset etichettato.
4. Addestra con un learning rate piccolo, così adatti il modello senza cancellare ciò che già sa.
5. Valuta su dati del tuo caso d'uso reale: se sono molto diversi da quelli del pre-training, serve più attenzione.