Cos'è
L'ensemble learning combina molti modelli in modo che, insieme, facciano previsioni migliori di ciascuno di loro. Il bagging addestra molti modelli su campioni casuali diversi dei dati e ne fa la media (le random forest lo fanno con alberi di decisione). Il boosting addestra i modelli uno dopo l'altro, e ognuno si concentra sugli errori dei precedenti.
A cosa serve
Tabelle di dati (righe e colonne, come i fogli di calcolo), dove foreste e alberi potenziati sono spesso tra i metodi più forti e richiedono poca messa a punto. Serve anche per avere previsioni più stabili quando un singolo modello è troppo sensibile ai dati esatti che ha visto.
Come si fa
- Parti da una tabella di feature e un'etichetta, e da un singolo albero di decisione come riferimento.
- Prova una random forest: addestra molti alberi su sottoinsiemi casuali di righe e feature e ne media i voti.
- Prova una libreria di alberi potenziati (per esempio il gradient boosting di scikit-learn) e confrontala sugli stessi dati di validazione.
- Regola poche impostazioni: numero di alberi, profondità degli alberi, learning rate per il boosting.
- Controlla il risultato sul test set intatto, e guarda su quali feature si è appoggiato l'ensemble per scoprire scorciatoie sospette.
- Ricorda il prezzo: un ensemble è più difficile da spiegare e più lento di un albero solo, quindi tieni il modello semplice se basta.