Nella prima parte, abbiamo affrontato come interagire con un modello per ottenere un dialogo basato su informazioni sulle quali non è stato addestrato. Nella nostra seconda parte, abbiamo esaminato la strategia per creare i nostri indici e memorizzarli. In questa ultima parte, attraverso un caso pratico, vedremo come creare un completo sistema RAG e inizializzare un dialogo, per dare agli utenti la possibilità di conversare con il nostro modello arricchito con i nostri dati pe...
Nella prima parte, abbiamo discusso di come interagire con un modello per ottenere un dialogo basato su informazioni sulle quali non è stato addestrato. Per riassumere, si aggiungono al contesto le informazioni desiderate. Ma allora, supponiamo che si voglia utilizzare un'intera base di conoscenza? Ciò comporterebbe troppo molte informazioni da aggiungere al contesto. Pertanto, dobbiamo inserire nel database l'insieme delle informazioni che desideriamo fornire agli utenti. Div...
Per questa prima parte della nostra serie di articoli, baseremo la nostra esplorazione su questo tutorial
per implementare un processo RAG. Ma cos'è un RAG? RAG, o "Generazione Potenziata dal Recupero" (Retrieval-Augmented Generation), è una tecnica avanzata nell'intelligenza artificiale, specificatamente nel campo del processing del linguaggio naturale (NLP), che coinvolge l'arricchimento del processo di generazione del testo tramite l'incorporazione di una fase di recupero d...
Llama CPP è un nuovo strumento progettato per eseguire modelli di linguaggio direttamente in C/C++. Questo strumento è ottimizzato per i processori Apple Silicon, grazie all'utilizzo della tecnologia ARM NEON e del framework Accelerate. Offre inoltre compatibilità AVX2 per sistemi basati su architetture x86. Funzionando prevalentemente sulla CPU, Llama CPP integra anche la capacità di quantizzazione a 4 bit, aumentando così la sua efficienza.
Il vantaggio ...