Un servizio classifica richieste con lo stesso lungo manuale al mattino e al pomeriggio. La cache può riutilizzare il calcolo per l’inizio comune delle richieste, il prefisso. Il vantaggio dipende da cosa si ripete e quanto tempo passa.
Quanto paga l’applicazione
Il 20 ottobre OpenAI ha annunciato la cache di 12 ore per l’API Responses. La guida indica un costo complessivo di scrittura «12h» pari a 2,5 volte l’input senza cache, un prezzo di lettura identico per le durate e una durata minima per la cache. Controlla modello, parametri e condizioni di conservazione per la tua organizzazione.
Cosa verificare nella tua applicazione
Usa una guida fittizia stabile seguita da richieste fittizie diverse. Riproduci gli stessi orari con durata breve e poi con 12 ore su un modello compatibile. Registra token letti, scritti e fatturati senza cache. Se la durata breve non avrebbe avuto riutilizzo, il risparmio deve coprire il costo aggiuntivo della prima scrittura. Se le richieste sono già ravvicinate, conta anche le letture ottenute con durata breve.
Togli segreti e identificatori non necessari dal prefisso. La durata serve a pianificare il riutilizzo e non stabilisce una scadenza di cancellazione. Decidi in base al costo effettivo del tuo traffico.