OpenAI đã bổ sung các khung hoàn tất 2 giờ và 8 giờ vào chế độ nền của Responses API. Lựa chọn khung 2 giờ giúp giảm 30% chi phí token của mô hình so với xử lý Standard, còn khung 8 giờ giảm 40%.
OpenAI cho biết trong tài liệu dành cho nhà phát triển rằng khung mặc định 'soonest' không có chiết khấu. Tài liệu này nêu rõ các yêu cầu dùng khung 2 giờ và 8 giờ phải sử dụng xử lý Standard, dùng chung giới hạn tốc độ với Batch API và không hỗ trợ đầu ra streaming.
Các khung hoàn tất được giảm phí hiện được cung cấp dưới dạng beta công khai trên GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra và GPT-6 Luna. OpenAI cho biết các mô hình mới, bắt đầu từ GPT-6.2 Astra và GPT-6.2 Sol, sẽ không còn được cung cấp xử lý Flex. Tài liệu dành cho nhà phát triển của OpenAI cũng ghi rõ việc tái sử dụng cùng continuation_id trong các yêu cầu tiếp theo có thể giúp nhận mức ưu tiên hàng đợi cao hơn.
Comment 0