wAIpoint
English

Modelli del linguaggio

Livello: Base

Cos'è

Un modello del linguaggio è un programma che, dato del testo, stima quanto è probabile ogni possibile pezzo di testo successivo. Ripetendo il passo può continuare una frase, rispondere a una domanda o scrivere codice. I modelli più vecchi contavano sequenze di parole; quelli moderni sono reti neurali con miliardi di parametri.

A cosa serve

Completamento automatico, traduzione, riassunti, assistenti in chat, ricerca, aiuto alla scrittura. Un modello del linguaggio è il motore dentro un chatbot: la stessa abilità di base, prevedere cosa viene dopo, copre un numero sorprendente di compiti.

Come si fa

Il processo, passo per passo. Librerie e strumenti cambiano; questi passi restano.

  1. Capisci il ciclo: il testo viene tagliato in token (pezzi di parola), il modello dà un punteggio a ogni possibile token successivo, ne sceglie uno, lo aggiunge al testo e il ciclo riparte.
  2. Usa un modello già pronto tramite una chat o un'API invece di addestrarne uno tuo: addestrare da zero richiede dati e potenza di calcolo enormi.
  3. Scrivi un prompt chiaro: di' il compito, dai il contesto che serve e, se utile, un esempio della risposta che vuoi.
  4. Controlla l'uscita con impostazioni come la temperatura (bassa = prevedibile, alta = più varia) e una lunghezza massima.
  5. Verifica il risultato: un modello del linguaggio può produrre testo fluido ma sbagliato, quindi controlla i fatti che contano.
  6. Se il modello non basta per il tuo compito, sali per gradi: prompt migliori, recupero dei tuoi documenti, fine-tuning.

Cronologia

  1. 2020GPT-3: scalare i modelli del linguaggio per l'apprendimento da pochi esempi (Brown et al.). fonte

Fonti