Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Giảm 40% phí token mô hình: khung 8 giờ của OpenAI API

Bàn tay chọn khung xử lý nền trên máy tính xách tay / TokenPost.ai

OpenAI đã bổ sung các khung thời gian hoàn tất 2 giờ và 8 giờ cho chế độ nền của Responses API. Khi chọn khung 8 giờ, phí token mô hình thấp hơn 40% so với xử lý Standard.

OpenAI cho biết trong nhật ký thay đổi dành cho nhà phát triển ngày 17 rằng hãng đã bổ sung tính năng này dưới dạng beta công khai. Các điều kiện chi tiết được nêu trong tài liệu về chế độ nền.

Khung hoàn tất là thời gian mục tiêu để API xử lý phản hồi đầu tiên sau khi nhận yêu cầu. Khoảng thời gian được chọn không phải là thời hạn được bảo đảm theo cấp độ dịch vụ, mà là mốc dùng để xác định thời điểm xử lý phản hồi ban đầu.

Giá trị mặc định soonest hướng tới xử lý nhanh nhất mà không giảm giá. Khung 2h giảm 30% phí token mô hình so với Standard, còn khung 8h giảm 40%.

Các khung giảm giá được cung cấp cho GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra và GPT-6 Luna. Cả bốn mô hình đều nằm trong đợt beta công khai lần này.

Tính năng nhắm tới những công việc như rà soát tài liệu hoặc phân tích ban đêm, khi không cần nhận kết quả ngay. Trong các quy trình agent nhiều bước, người dùng có thêm lựa chọn kéo dài thời gian xử lý để giảm chi phí token.

Để sử dụng khung 2 giờ và 8 giờ, phải bật xử lý nền và chọn xử lý Standard. Các khung giảm giá không hỗ trợ đầu ra streaming, vì vậy cần theo dõi trạng thái qua webhook hoặc truy vấn ID phản hồi.

Các yêu cầu tiếp theo có thể tái sử dụng cùng continuation_id. OpenAI cho biết nếu tiếp tục dùng cùng khung hoàn tất, continuation_id, mô hình và dự án, các yêu cầu liên quan có thể nhận mức ưu tiên hàng đợi cao hơn. Mức giảm giá cũng áp dụng cho các yêu cầu tiếp nối đủ điều kiện.

GPT-6.2 Astra và GPT-6.2 Sol không còn cung cấp phương thức xử lý Flex. Để giảm chi phí cho các tác vụ dài, người dùng phải dùng khung nền 2 giờ hoặc 8 giờ thay cho Flex trước đây.

Các yêu cầu 2 giờ và 8 giờ dùng chung giới hạn tốc độ dành cho tác vụ Batch API và Batch/Background. Token đầu vào được tính vào hạn mức khi gửi yêu cầu, trong khi soonest mặc định sử dụng hạn mức yêu cầu và token thông thường.

Khi gửi đồng thời khối lượng lớn, cần quản lý hạn mức khác với các yêu cầu thông thường. Vì vậy, phải kiểm tra đồng thời số lượng gửi cùng lúc và hạn mức còn lại.

Chế độ nền có thể tạm thời lưu dữ liệu phản hồi để gửi kết quả ngay cả khi tắt tùy chọn lưu trữ hoặc sử dụng Zero Data Retention. Tài liệu giải thích rằng nội dung yêu cầu được mã hóa trong thời gian lưu này.

Các khung hoàn tất lần này chỉ dành cho chế độ nền của Responses API, không phải tính năng giảm giá áp dụng cho các yêu cầu thông thường của Chat Completions. Ứng dụng cần phản hồi theo thời gian thực có thể chọn soonest, còn phân tích tài liệu ban đêm có thể chọn 2h hoặc 8h tùy mục đích.

Điều chỉnh giá API của OpenAI không phải lần đầu. TokenPost trước đó đã đưa tin về việc giảm đơn giá đầu vào API của GPT-6 Luna. Thay đổi lần này khác ở chỗ mức giảm được phân chia theo thời gian chờ xử lý, thay vì theo đơn giá cố định của từng mô hình.

Các nhà phát triển sử dụng beta công khai cần kiểm tra đồng thời khung hoàn tất, việc có chọn xử lý Standard hay không, giới hạn streaming và hạn mức tốc độ dùng chung. Tài liệu hiện tại cho thấy các lựa chọn này điều chỉnh điều kiện giữa tốc độ phản hồi và chi phí ngay ở bước gửi yêu cầu API.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1