Trao đổi về dự án
Kiến trúc IA

Decisions API: chuyển quy trình phân luồng khỏi bản beta

Ứng dụng đã phân luồng yêu cầu bằng bản beta. Chạy lại kết quả đã lưu trước khi chuyển, rồi kiểm tra đầu vào JSON, hình ảnh và tác động của lô lớn hơn.

Decisions API : migrer un classement de la bêta vers la version générale

Công cụ chuyển yêu cầu trả hàng sang nhóm giao nhận hoặc hóa đơn. Khi chuyển khỏi beta, việc đầu tiên là kiểm tra xem hồ sơ còn vào đúng hàng chờ hay không.

Điểm mới ngày 22 tháng 10

Ngày 22 tháng 10, OpenAI mở Decisions API rộng rãi với gpt-6-luna. Các thay đổi gồm đầu vào dùng chung giữa yêu cầu để tận dụng bộ nhớ đệm, hình ảnh trong hướng dẫn của từng câu hỏi và JSON qua input_json. Số câu hỏi tối đa mỗi yêu cầu tăng từ 200 lên 400.

Cách kiểm tra trên ứng dụng của bạn

Chạy lại yêu cầu giả định với cấu hình beta và chương trình mới. Nếu dịch vụ cũ không còn, dùng phản hồi đã lưu. So sánh kiểu dữ liệu, mã định danh, lỗi phân luồng và độ trễ. Thử riêng lô 200 rồi 400 câu hỏi và mô phỏng yêu cầu bị từ chối hoặc không có câu trả lời.

Chuyển đổi sau khi xác minh luồng xử lý và giữ hàng chờ thủ công dự phòng. Mức 400 câu hỏi là giới hạn kỹ thuật. Cỡ lô hữu ích còn tùy thời gian trả lời và chi phí chạy lại.

Chia sẻ bài viết