Cos'è
La generalizzazione è quanto bene un modello funziona su dati nuovi, mai visti, e non sugli esempi con cui si è allenato. Un modello che si limita a memorizzare i dati di addestramento va in overfitting. Perché reti molto grandi generalizzino comunque bene non è del tutto chiaro (Zhang et al., 2016).
A cosa serve
È il vero obiettivo del machine learning: un modello serve solo se funziona sui dati di domani. Controllarla è la prima cosa da fare prima di fidarsi di un risultato.
Come si fa
- Dividi i dati in training, validation e test set prima di fare qualsiasi altra cosa.
- Addestra sul training set. Usa il validation set per scegliere le impostazioni e decidere quando fermarti.
- Tieni il test set per un'unica misura finale.
- Se il punteggio in training è alto e quello sul test è basso, sei in overfitting: procurati più dati, o più vari, semplifica il modello o aggiungi regolarizzazione (dropout, weight decay, augmentation).
- Se entrambi i punteggi sono bassi, il modello è troppo semplice o i dati non contengono il segnale.