Trao đổi về dự án
Kiến trúc web

Bộ nhớ đệm prompt 12 giờ: khi nào thực sự giảm chi phí?

Ứng dụng gửi cùng hướng dẫn nhiều lần mỗi ngày. So sánh phí đọc và ghi trước khi kéo dài thời gian lưu, đồng thời kiểm tra dữ liệu nào nằm trong phần đầu dùng chung.

Cache de prompts de 12 heures : à partir de quand coûte-t-il moins cher ?

Dịch vụ phân loại yêu cầu dựa trên cùng một hướng dẫn dài vào buổi sáng và chiều. Bộ nhớ đệm có thể dùng lại phần tính toán cho phần đầu giống nhau, gọi là tiền tố. Lợi ích tùy vào nội dung lặp lại và khoảng cách giữa các lần gọi.

Ứng dụng trả phí cho việc gì

Ngày 20 tháng 10, OpenAI công bố tùy chọn lưu đệm 12 giờ cho API Responses. Tài liệu ghi tổng phí ghi với «12h» bằng 2,5 lần phí đầu vào không lưu đệm, phí đọc giống nhau giữa hai thời hạn và thời gian yêu cầu là mức tối thiểu. Kiểm tra mô hình, thông số và chính sách lưu dữ liệu của tổ chức.

Cách kiểm tra trên ứng dụng của bạn

Dùng một hướng dẫn giả định cố định rồi nối vào các yêu cầu giả định khác nhau. Chạy lại cùng lịch gọi với thời gian ngắn, sau đó với 12 giờ trên mô hình tương thích. Ghi lượng token được đọc, ghi và tính phí ngoài bộ nhớ đệm. Nếu thời gian ngắn không dùng lại được lần nào, phần tiết kiệm phải bù được phí ghi thêm ban đầu. Nếu các yêu cầu vốn đã gần nhau, hãy tính cả lượt đọc có được với thời gian ngắn.

Bỏ bí mật và mã định danh không cần thiết khỏi phần chung. Thời gian yêu cầu giúp lên lịch dùng lại và không bảo đảm ngày xóa dữ liệu. Quyết định dựa trên chi phí thực tế cho lượng truy cập của bạn.

Chia sẻ bài viết