Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

OpenAI theo dõi hơn 1.700 cuộc điều tra, tìm ra nguyên nhân hơn 600 sự cố hiệu năng ChatGPT

Màn hình giám sát cho thấy quá trình suy giảm và phục hồi hiệu năng / TokenPost.ai

OpenAI đã theo dõi hơn 1.700 cuộc điều tra về tình trạng suy giảm hiệu năng ChatGPT bằng tác tử Codex và xác định nguyên nhân trong hơn 600 trường hợp. Hệ thống tự động điều tra trung bình 17 trường hợp mỗi ngày.

Trong bài viết kỹ thuật công bố ngày 19, OpenAI giới thiệu hệ thống nội bộ Performance Factory và ứng dụng đầu tiên mang tên Regression Workflow. Các số liệu điều tra và chẩn đoán do công ty công bố là thống kê nội bộ.

Regression Workflow tạo tác vụ điều tra khi có cảnh báo hiệu năng được thiết lập trước. Tác tử Codex tìm nguyên nhân suy giảm, đề xuất cách khắc phục rồi kiểm tra xem hiệu năng có phục hồi sau khi triển khai hay không.

Trước đây, kỹ sư phải xem chỉ số, nhật ký và dữ liệu truy vết, đồng thời đọc mã để tìm nguyên nhân. OpenAI cho biết trong quá trình đó, công ty đã tích lũy hơn 30 công cụ điều tra hiệu năng.

OpenAI hệ thống hóa các phương pháp điều tra thành quy trình Codex có thể tái sử dụng, đồng thời kết nối cảnh báo để tự khởi chạy điều tra trên đám mây. Performance Factory lưu riêng trạng thái tác vụ và kết quả điều tra để các công việc nhiều bước có thể tiếp nối nhau.

Hệ thống phân công phiên Codex phù hợp cho từng bước. Công việc tiếp theo chỉ diễn ra sau khi kỹ sư hoàn tất khâu rà soát hoặc triển khai. Kết quả điều tra không chỉ nằm trong cuộc trò chuyện của một tác tử, nhờ đó tác tử khác hoặc kỹ sư có thể xem lại thông tin trước đó.

Codex trước tiên xác định chỉ số nào bắt đầu xấu đi từ thời điểm nào và những yêu cầu nào bị ảnh hưởng. Sau đó, tác tử đối chiếu lịch sử triển khai, thay đổi cấu hình, mã liên quan và nhật ký để đưa ra nguyên nhân khả dĩ.

Một phiên Codex riêng rà soát lại giả định và căn cứ của chẩn đoán ban đầu, đồng thời xem xét liệu có cách giải thích khác hay không. OpenAI gọi quy trình này là “rà soát đối kháng” đối với chẩn đoán.

Trong một cuộc điều tra, tác tử xác định lỗi tải ảnh là nguyên nhân khiến các cuộc trò chuyện trên ChatGPT thất bại. Tác tử rà soát phát hiện yêu cầu hình ảnh vẫn liên tục thất bại dù dịch vụ nội bộ tìm vị trí tệp đã phục hồi. Vì chẩn đoán ban đầu chưa giải thích được sự cố, cuộc điều tra được mở lại.

OpenAI rà soát thủ công 100 đề xuất về nguyên nhân gốc và đánh giá 70% là chính xác. 30% còn lại cần được bổ sung hoặc chưa có đủ bằng chứng chứng minh quan hệ nhân quả. Kết quả này chỉ áp dụng cho 100 trường hợp được rà soát, không phản ánh độ chính xác của toàn bộ hơn 1.700 cuộc điều tra.

Nếu chẩn đoán vượt qua khâu rà soát, Codex có thể viết mã sửa lỗi và mở yêu cầu thay đổi mã. Kỹ sư sẽ xem xét thay đổi rồi quyết định có hợp nhất và triển khai hay không. Đề xuất sửa lỗi cũng được rà soát riêng, vì tác tử có thể đề xuất thay đổi phức tạp quá mức cần thiết hoặc tạo ra vấn đề mới. Chẳng hạn, thêm bộ nhớ đệm có thể giúp phản hồi nhanh hơn nhưng cũng khiến dữ liệu cũ tiếp tục được sử dụng.

Sau khi triển khai, một tác tử khác kiểm tra xem hiệu năng đã trở lại mức trước đó hay chưa. Nếu cải thiện chưa đầy đủ hoặc sự cố vẫn tiếp diễn, tác vụ sẽ quay lại bước điều tra. Khi số kết quả điều tra tăng lên, kỹ sư cũng phải xử lý nhiều thông tin hơn; OpenAI cho biết công ty đang tìm cách nhóm các sự cố liên quan và sắp xếp theo mức độ ảnh hưởng dự kiến để giảm khối lượng rà soát.

OpenAI cho biết đang nghiên cứu giám sát chủ động để phát hiện suy giảm hiệu năng trước khi cảnh báo xuất hiện, cùng khả năng tự động triển khai một số đề xuất sửa lỗi có rủi ro thấp.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1