Parliamo del progetto
Architettura web

Cache dei prompt di 12 ore: quando fa scendere il costo

L’applicazione rimanda le stesse istruzioni più volte al giorno. Confronta letture e scritture fatturate prima di estendere la cache e controlla quali dati rientrano nel prefisso condiviso.

Cache de prompts de 12 heures : à partir de quand coûte-t-il moins cher ?

Un servizio classifica richieste con lo stesso lungo manuale al mattino e al pomeriggio. La cache può riutilizzare il calcolo per l’inizio comune delle richieste, il prefisso. Il vantaggio dipende da cosa si ripete e quanto tempo passa.

Quanto paga l’applicazione

Il 20 ottobre OpenAI ha annunciato la cache di 12 ore per l’API Responses. La guida indica un costo complessivo di scrittura «12h» pari a 2,5 volte l’input senza cache, un prezzo di lettura identico per le durate e una durata minima per la cache. Controlla modello, parametri e condizioni di conservazione per la tua organizzazione.

Cosa verificare nella tua applicazione

Usa una guida fittizia stabile seguita da richieste fittizie diverse. Riproduci gli stessi orari con durata breve e poi con 12 ore su un modello compatibile. Registra token letti, scritti e fatturati senza cache. Se la durata breve non avrebbe avuto riutilizzo, il risparmio deve coprire il costo aggiuntivo della prima scrittura. Se le richieste sono già ravvicinate, conta anche le letture ottenute con durata breve.

Togli segreti e identificatori non necessari dal prefisso. La durata serve a pianificare il riutilizzo e non stabilisce una scadenza di cancellazione. Decidi in base al costo effettivo del tuo traffico.

Condividi questo articolo