Modelli non parametrici (kernel, vicini più prossimi)

Cos'è

Un modello non parametrico non comprime ciò che impara in un numero fisso di impostazioni. Conserva gli esempi (o un loro riassunto) e lascia che la sua complessità cresca con i dati. Il caso più semplice sono i vicini più prossimi: per classificare un punto nuovo si trovano gli esempi noti più simili e li si fa votare. I metodi a kernel si basano sulla stessa idea di somiglianza tra esempi.

A cosa serve

Dataset piccoli o medi in cui la forma della risposta non è ovvia, e casi in cui vuoi poter dire "ha deciso così perché somiglia a questi esempi noti". È anche un buon controllo: se i vicini più prossimi funzionano già bene, il problema riguarda soprattutto l'avere buone feature.

Come si fa

Il processo, passo per passo. Librerie e strumenti cambiano; questi passi restano.

1. Trasforma ogni esempio in una lista di numeri (feature) e riscalali, così che nessuna feature domini la distanza.
2. Scegli cosa significa "simile": di solito una distanza, come quella in linea retta, oppure un kernel che dà un punteggio di somiglianza.
3. Scegli quanti vicini votano (k). Un k piccolo segue molto i dati ed è rumoroso; un k grande è più liscio ma può sfumare differenze vere.
4. Scegli k su un validation set, non sul test set.
5. Per prevedere, trova i k esempi memorizzati più vicini al nuovo e prendi l'etichetta di maggioranza o il valore medio.
6. Se è lento su un dataset grande, usa una struttura di indicizzazione per cercare i vicini più in fretta, oppure passa a un modello parametrico.