Generazione aumentata dal recupero (RAG)

Cos'è

La retrieval-augmented generation (RAG, generazione potenziata dal recupero) dà a un modello del linguaggio i documenti di cui ha bisogno nel momento in cui risponde. Prima un passo di ricerca trova nella tua raccolta i passaggi più rilevanti per la domanda; poi quei passaggi vengono messi nel prompt e il modello scrive la risposta a partire da essi. Lewis e colleghi hanno introdotto il nome e il metodo.

A cosa serve

Rispondere a domande su materiale su cui il modello non è stato addestrato o che cambia: documenti aziendali, manuali, un corso, notizie recenti. Riduce le risposte inventate perché il modello può indicare i suoi passaggi, ed è di solito più economico e più facile da aggiornare del fine-tuning.

Come si fa

Il processo, passo per passo. Librerie e strumenti cambiano; questi passi restano.

1. Raccogli i documenti e puliscili: togli duplicati e rumore di pagina, e conserva titoli e date.
2. Dividili in passaggi di lunghezza ragionevole, qualche paragrafo ciascuno, così che ognuno contenga un'idea.
3. Calcola un embedding per ogni passaggio con un modello di embedding e salvali in un indice di ricerca o in un database vettoriale.
4. Al momento della domanda, calcola l'embedding della domanda, prendi i pochi passaggi più vicini e mettili nel prompt con l'istruzione di rispondere solo da essi e di dire quando non contengono la risposta.
5. Mostra le fonti accanto alla risposta, così chi legge può controllarle.
6. Prova con domande vere, comprese quelle la cui risposta non è nei documenti, e guarda se sono stati recuperati i passaggi giusti: la maggior parte dei fallimenti viene dal recupero, non dal modello.