Reti ricorrenti

Cos'è

Una rete neurale ricorrente (RNN) legge una sequenza un elemento alla volta e mantiene uno stato nascosto, una specie di memoria di ciò che ha visto finora. L'LSTM è una versione pensata per conservare le informazioni più a lungo.

A cosa serve

Dati in cui l'ordine conta: testo, voce, letture di sensori, musica. Oggi i transformer gestiscono la maggior parte dei compiti sul linguaggio, ma le idee di RNN e LSTM spiegano perché le sequenze sono difficili, e possono ancora essere una scelta leggera per piccoli flussi di dati.

Come si fa

Il processo, passo per passo. Librerie e strumenti cambiano; questi passi restano.

1. Trasforma ogni elemento in numeri (le parole diventano vettori, vedi Word embedding).
2. Dai la sequenza un passo alla volta: a ogni passo la rete combina il nuovo elemento con la sua memoria.
3. Leggi l'uscita che ti serve: una risposta alla fine (per esempio il sentimento di una recensione) o una per passo (per esempio un'etichetta per ogni parola).
4. Addestra con la backpropagation attraverso i passi nel tempo.
5. Per sequenze lunghe preferisci un LSTM o un transformer: una RNN semplice fatica a ricordare l'inizio.