Il costo di un assistente non deriva solo dai token dell'ultima chiamata. Un RAG genera embedding, ricerca, riordina, chiama a volte diversi modelli e utilizza strumenti. Un agente può ripetere, aspettare e chiedere una convalida umana. L'infrastruttura, i log e il supporto completano il costo.
Ottimizzare richiede di misurare un compito completo e il suo successo. Una richiesta economica che produce una risposta sbagliata e un recupero manuale è una falsa economia.
Costruire un'unità economica
Scegliere un'unità legata al lavoro: fascicolo qualificato, documento trattato, risposta utile, ordine preparato o incidente risolto. Per ogni unità, contare:
- chiamate;
- token ;
- incorporamenti ;
- riordinamento
- strumenti;
- stoccaggio ;
- ritenti ;
- validazione ;
- errori;
- infrastruttura ;
- supporto.
Questa unità consente di confrontare un'architettura, un modello e il processo attuale.
Calcolare il costo per compito riuscito
Una formula semplificata è:
(coûts variables + coûts fixes affectés + validation + reprises) / tâches réussies
Il tasso di successo deve rispettare una definizione. Una risposta visualizzata non è un compito riuscito se l'utente deve rifare tutto.
Gli scenari integrano volume medio, picco, crescita e stagionalità. Le tariffe sono datate e verificate, poiché evolvono.
Scomposizione del costo di un compito IA tra contesto, ricerca, modello, strumenti, revisioni, validazione e sfruttamento.
Evitare la chiamata al modello
La leva più efficace è di non chiamare un LLM quando:
- basta una regola;
- una risposta esiste nella cache;
- la richiesta non è valida;
- i dati mancano;
- l’utente non ha il diritto;
- una ricerca classica risponde ;
- un'operazione può essere raggruppata.
La classificazione iniziale può essere deterministica o utilizzare un piccolo modello. I percorsi frequenti sono ottimizzati prioritariamente.
Router in base alla difficoltà
Non tutti i compiti richiedono il modello più potente. Un router può scegliere:
- regola;
- modello leggero;
- modello specializzato;
- modello generale più potente;
- trattamento umano.
Il routing utilizza intenzione, lunghezza, rischio, lingua e fiducia. Viene valutato: un errore di orientamento può costare più del risparmio.
Per i compiti sensibili, la politica e i dati possono imporre un ambiente indipendentemente dal costo.
Ridurre il contesto
I prompt accumulano talvolta cronologia, documenti e istruzioni. Un contesto più lungo aumenta il costo e la latenza, e può ridurre la precisione.
Le leve sono:
- recupero più preciso;
- deduplicazione ;
- filtri;
- compressione con provenienza ;
- memoria strutturata;
- riassunto degli scambi antichi;
- contesto diverso a seconda della fase;
- eliminazione degli esempi inutili.
Il guadagno deve essere convalidato dalle valutazioni.
Ottimizzare il RAG
Una cattiva ricerca porta a inviare troppi passaggi. Migliorare i metadati, l'ibrido e il reranking può ridurre il contesto finale.
Gli embedding sono calcolati solo per i contenuti modificati. I batch, le dimensioni e i modelli sono scelti in base al corpus. Una modifica dell'embedding richiede un confronto prima della reindicizzazione completa.
Il reranking è riservato alle richieste in cui porta un vantaggio. Un piccolo numero di candidati riduce il costo.
Cache
Esistono diversi livelli:
- risposta esatta;
- risultato della ricerca;
- embedding di query ;
- prefisso di prompt;
- uscita dello strumento;
- sotto-compito agentico.
La chiave deve includere versione, diritti, lingua e freschezza. Una cache condivisa tra utenti non deve esporre dati privati. L'invalidazione segue le sorgenti e le politiche.
I fornitori possono proporre meccanismi di cache del contesto; le loro condizioni e risparmi vengono verificati.
Batch e asincrono
I compiti non interattivi possono essere raggruppati e trattati con una capacità meno costosa o in un orario appropriato. Le eventuali API batch hanno tempi e tariffe specifici.
L'architettura separa le esigenze di tempo reale dai processi in background. Un utente riceve uno stato e una notifica piuttosto che una connessione mantenuta inutilmente.
Limitare i tentativi e i cicli
Un timeout non significa sempre fallimento. L'idempotenza e la verifica evitano di ripetere un'operazione. I tentativi usano un numero massimo, un backoff e una distinzione tra errori temporanei e permanenti.
Gli agenti hanno un budget di passaggi, di durata e di costo. Si fermano quando non appare alcuna nuova prova.
Uscite strutturate
Un formato chiaro riduce le chiamate di correzione. Lo schema è convalidato e gli errori deterministici vengono restituiti al modello con un numero limitato di tentativi.
Per un'estrazione, un modello specializzato o una regola di post-elaborazione può essere più economico di una conversazione generale.
Modelli aperti e capacità privata
Un'infrastruttura privata può ridurre il costo variabile a volume stabile, ma comporta investimenti e gestione. Bisogna calcolare il tasso di utilizzo, la capacità di picco, l’energia, il supporto e il rinnovo.
Un'architettura ibrida instrada il volume prevedibile verso una capacità riservata e i picchi o compiti complessi verso un'API. La qualità e la sovranità rimangono dei vincoli.
Negoziare e prenotare
A volume elevato, i fornitori possono proporre capacità, impegni o tariffe adeguate. Una prenotazione è redditizia solo se l'uso è stabile e la dipendenza è accettata.
Il contratto deve trattare versioni, disponibilità, regione, reversibilità ed evoluzione dei prezzi. La negoziazione non sostituisce l’ottimizzazione tecnica.
Ridurre i costi di convalida
L'interfaccia mostra le fonti, le differenze e le aree di incertezza per accelerare la revisione. I controlli deterministici filtrano gli errori prima dell'intervento umano. Il campionamento è adattato al rischio e alla qualità dimostrata.
Il tempo umano è seguito nel costo per compito.
FinOps per l’IA
Una pratica FinOps combina visibilità, responsabilità e ottimizzazione. Ogni team conosce:
- uso ;
- bilancio ;
- costo unitario ;
- modello ;
- qualità ;
- anomalie ;
- previsione.
Dei tag e degli identificatori assegnano le chiamate al caso d'uso. Gli avvisi rilevano picchi, loop, cambiamenti di contesto e deriva del tasso di successo.
Budget e vincoli
I limiti esistono per utente, squadra, compito e periodo. Quando un budget si avvicina, il sistema può:
- usare un modello più leggero;
- ridurre le fasi;
- passare in asincrono;
- chiedere una convalida;
- rifiutare un compito non prioritario.
Le decisioni rischiose non devono essere degradate silenziosamente per risparmiare.
Misurare qualità e costo insieme
Una tabella confronta le versioni su:
- successo ;
- errori critici;
- latenza ;
- costo;
- validazione ;
- soddisfazione.
Il confine di Pareto mostra le opzioni che migliorano una dimensione senza degradare eccessivamente le altre. La scelta viene fatta caso per caso.
Un approccio continuo
Iniziare con l'implementazione degli strumenti, identificare i tre principali punti, testare una leva e verificare la qualità. I risparmi duraturi derivano spesso dal processo: migliore instradamento, meno contesto, meno ripetizioni e meno chiamate inutili.
Partitech può strumentare i costi, costruire il router, ottimizzare RAG e agenti e confrontare gli scenari di hosting. L’obiettivo è un costo per compito controllato con una qualità e una sicurezza comprovate.
Parliamo del tuo progetto
Auditare e ottimizzare il costo della vostra piattaforma IA con Partitech. Contatta Partitech.