Cos'è
Un modello multimodale lavora con più di un tipo di dati, come testo e immagini (a volte anche audio e video), in uno spazio condiviso. CLIP è l'esempio classico: impara da coppie di immagini e didascalie in modo che una foto e la frase che la descrive finiscano vicine, e così riesce ad abbinare immagini a parole per cui non è stato addestrato in modo specifico.
A cosa serve
Descrivere una foto, rispondere a domande su un grafico o uno screenshot, cercare immagini con una frase, leggere documenti con figure e dare occhi e orecchie a un assistente. È il motivo per cui un assistente in chat può accettare la foto dei tuoi compiti o di uno schema.
Come si fa
- Scegli un modello che accetti il tipo di ingresso che hai (immagine, audio, video) e controlla i suoi limiti.
- Dai l'ingresso insieme a una domanda precisa: "qual è l'andamento in questo grafico?" funziona meglio di "descrivi questo".
- Per la ricerca, usa un modello di embedding immagine-testo: calcola una volta gli embedding delle immagini, calcola quello della frase di ricerca e restituisci le immagini più vicine.
- Controlla tu la risposta sull'ingresso, perché i modelli possono inventare dettagli che nell'immagine non ci sono o leggere male i testi piccoli.
- Attenzione alla privacy: le foto possono mostrare volti, luoghi e documenti.
- Negli usi critici, come immagini mediche o legali, tratta il modello come un aiutante e lascia la responsabilità a una persona qualificata.