OpenAI đã bổ sung các khung thời gian hoàn tất 2 giờ và 8 giờ vào chế độ nền của Responses API, với mức giảm đơn giá token lần lượt 30% và 40% so với xử lý Standard.
OpenAI nêu trong tài liệu dành cho nhà phát triển rằng khung mặc định 'soonest' không áp dụng giảm giá. Tài liệu cũng quy định các yêu cầu dùng khung 2 giờ và 8 giờ phải sử dụng xử lý Standard, chia sẻ giới hạn tốc độ với Batch API và không hỗ trợ đầu ra dạng streaming.
Các khung thời gian được giảm giá hiện cung cấp dưới dạng beta công khai trên GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra và GPT-6 Luna. OpenAI cho biết các mô hình mới bắt đầu từ GPT-6.2 Astra và GPT-6.2 Sol sẽ không được cung cấp xử lý Flex.
Tài liệu dành cho nhà phát triển của OpenAI cũng cho biết việc tái sử dụng cùng continuation_id trong các yêu cầu tiếp theo có thể giúp nhận được mức ưu tiên cao hơn trong hàng đợi.
Comment 0