Un service classe des demandes avec le même guide de plusieurs pages le matin et l’après-midi. Le cache peut réutiliser un calcul associé au début commun de ces requêtes, appelé préfixe. Son intérêt dépend de ce que vous répétez et du temps qui sépare deux usages.
Ce que paie votre application
OpenAI a annoncé l’option de cache de 12 heures le 20 octobre pour l’API Responses. Le guide technique cite un tarif total d’écriture à 2,5 fois le tarif d’entrée hors cache pour « 12h », un prix de lecture identique entre les durées et une durée demandée qui est un minimum. Vérifiez le modèle, ses paramètres et la politique de conservation applicable à votre organisation.
À vérifier sur votre application
Prenez un guide fictif stable suivi de demandes fictives distinctes. Rejouez les mêmes heures d’appel avec la durée courte puis avec 12 heures sur un modèle compatible. Relevez les jetons lus, écrits et facturés hors cache. Si la durée courte n’aurait réutilisé aucune entrée, le gain doit couvrir le surcoût de la première écriture. Si les requêtes se suivent déjà de près, comptez aussi les lectures obtenues avec la durée courte.
Retirez les secrets et identifiants inutiles de la partie partagée. La durée annoncée sert à planifier la réutilisation. Elle ne constitue pas une échéance de suppression garantie. Décidez après mesure du coût effectif sur votre profil de trafic.