Un servicio clasifica peticiones con la misma guía extensa por la mañana y por la tarde. La caché puede reutilizar cálculo del inicio común de ambas peticiones, el prefijo. Su utilidad depende de qué se repite y del tiempo entre solicitudes.
Qué paga la aplicación
El 20 de octubre, OpenAI anunció la caché de 12 horas para la API Responses. Su guía indica que la tarifa total de escritura con «12h» es 2,5 veces la de entrada sin caché, que las tarifas de lectura son iguales en ambas duraciones y que la duración solicitada es un mínimo. Revisa el modelo, sus parámetros y la política de conservación de tu organización.
Qué comprobar en tu aplicación
Toma una guía ficticia fija seguida de solicitudes ficticias distintas. Repite los mismos horarios con duración corta y después con 12 horas en un modelo compatible. Anota los tokens leídos, escritos y cobrados sin caché. Si la duración corta no permite ninguna reutilización, el ahorro debe cubrir la primera escritura adicional. Si las peticiones ya son cercanas, cuenta también las lecturas obtenidas con la duración corta.
Quita secretos e identificadores innecesarios del prefijo común. La duración solicitada sirve para planear la reutilización y no implica una fecha de borrado garantizada. Decide según el coste efectivo de tu tráfico.