Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

OpenAI API thêm khung hoàn tất 8 giờ, giảm 40% phí token

Bàn tay chọn khung xử lý nền trên máy tính xách tay / TokenPost.ai

OpenAI đã bổ sung các khung hoàn tất 2 giờ và 8 giờ cho chế độ nền của Responses API. Chọn khung 8 giờ giúp phí token mô hình thấp hơn 40% so với xử lý Standard.

OpenAI cho biết ngày 17 trong nhật ký thay đổi dành cho nhà phát triển rằng tính năng này được bổ sung dưới dạng beta công khai. Các điều kiện chi tiết được nêu trong tài liệu về chế độ nền.

Khung hoàn tất là thời gian mục tiêu để API xử lý phản hồi đầu tiên sau khi nhận yêu cầu. Việc chọn khung không đồng nghĩa dịch vụ cam kết hoàn thành trước một thời hạn theo mức dịch vụ; đây là tiêu chí xác định thời điểm xử lý phản hồi ban đầu.

Giá trị mặc định soonest hướng tới thời gian xử lý nhanh nhất mà không giảm giá. Khung 2h giảm 30% phí token mô hình so với Standard, còn khung 8h giảm 40%.

Các khung được giảm giá có trên GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra và GPT-6 Luna. Cả bốn mô hình đều nằm trong đợt beta công khai lần này.

Tính năng nhắm tới các tác vụ như rà soát tài liệu hoặc phân tích ban đêm, khi người dùng không cần nhận kết quả ngay. Với các phiên chạy agent nhiều bước, nhà phát triển có thêm lựa chọn kéo dài thời gian xử lý để giảm chi phí token.

Để dùng khung 2 giờ và 8 giờ, cần bật xử lý nền và chọn chế độ Standard. Các khung giảm giá không hỗ trợ streaming, vì vậy trạng thái phải được kiểm tra qua webhook hoặc truy vấn mã ID phản hồi.

Đối với yêu cầu tiếp theo, có thể tái sử dụng cùng continuation_id. OpenAI cho biết các yêu cầu tiếp nối cùng khung hoàn tất, continuation_id, mô hình và dự án có thể được xếp ở mức ưu tiên cao hơn trong hàng đợi; mức giảm giá cũng áp dụng cho các yêu cầu tiếp nối đủ điều kiện.

GPT-6.2 Astra và GPT-6.2 Sol không còn cung cấp phương thức xử lý Flex. Với tác vụ kéo dài, muốn giảm chi phí cần dùng khung nền 2 giờ hoặc 8 giờ thay cho Flex trước đây.

Yêu cầu dùng khung 2 giờ và 8 giờ chia sẻ giới hạn tốc độ dành riêng cho các tác vụ Batch API và Batch/Background. Token đầu vào được tính vào hạn mức khi gửi yêu cầu, còn soonest sử dụng hạn mức yêu cầu và token thông thường.

Khi gửi đồng thời nhiều tác vụ quy mô lớn, cần quản lý hạn mức khác với yêu cầu thông thường. Do đó, cần kiểm tra cả số lượng yêu cầu gửi cùng lúc và hạn mức còn lại.

Chế độ nền có thể tạm thời lưu dữ liệu phản hồi để truyền kết quả ngay cả khi đã tắt tùy chọn lưu trữ hoặc bật Zero Data Retention. Tài liệu cho biết nội dung yêu cầu được mã hóa trong thời gian lưu trữ này.

Các khung hoàn tất mới chỉ dành cho chế độ nền của Responses API, không phải chương trình giảm giá áp dụng cho yêu cầu thông thường của Chat Completions. Ứng dụng cần phản hồi theo thời gian thực có thể chọn soonest, trong khi phân tích tài liệu ban đêm có thể chọn 2h hoặc 8h để phân bổ theo nhu cầu.

Đây không phải lần đầu OpenAI điều chỉnh giá API. TokenPost trước đó đã đưa tin về việc giảm đơn giá token đầu vào API của GPT-6 Luna; thay đổi lần này khác ở chỗ mức giảm được chia theo thời gian chờ xử lý thay vì áp dụng một mức giá cố định cho từng mô hình.

Các nhà phát triển sử dụng beta công khai cần kiểm tra đồng thời khung hoàn tất, việc chọn Standard, giới hạn streaming và hạn mức tốc độ dùng chung. Tài liệu hiện mô tả đây là cách điều chỉnh điều kiện giữa tốc độ phản hồi và chi phí ngay ở bước gửi yêu cầu API.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1