Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Phiên tìm kiếm tăng 0,23% trong thử nghiệm AI của Meta, màn hình hiển thị chậm hơn

Màn hình điện thoại thông minh hiển thị các gợi ý bên dưới ô tìm kiếm / TokenPost.ai

Mô hình gợi ý tìm kiếm do tác nhân AI phát triển giúp số phiên tìm kiếm tăng tương đối 0,23% so với nhóm đối chứng. Tuy nhiên, màn hình tìm kiếm mất nhiều thời gian hơn để hiển thị.

Nhóm nghiên cứu Meta (META) công bố kết quả trong bài nghiên cứu ngày 18 tháng 11. Mô hình thử nghiệm có tên Nullstate, dùng để sắp xếp các gợi ý xuất hiện khi người dùng mở ô tìm kiếm, trước khi họ nhập chữ. Bài nghiên cứu cho biết mô hình xử lý hơn 1 tỷ yêu cầu mỗi ngày; đây là số yêu cầu gửi đến mô hình, không phải số người dùng hay số phiên tìm kiếm.

Chiến dịch thử nghiệm kéo dài 31 ngày. Tác nhân AI chỉnh sửa mã mô hình, chạy các tác vụ huấn luyện rồi đánh giá ngoại tuyến. Nhóm nghiên cứu dùng Claude Opus 4.8 để tìm kiếm các phương án thay đổi.

Mỗi lượt, tác nhân xử lý song song 7 phương án và theo dõi mức biến động của kết quả. Chiến dịch hoàn tất 1.097 thí nghiệm ứng viên.

Trong số đó, 325 thí nghiệm vượt qua đánh giá ngoại tuyến và các thay đổi tương ứng được đưa vào mô hình tích lũy. Tỷ lệ chấp nhận là 29,6%. Tính thêm 155 tác vụ đo độ biến động riêng biệt, tổng số lượt chạy hoàn tất là 1.252.

Nhóm nghiên cứu ước tính các tác vụ hoàn tất, thất bại và chạy lại tiêu tốn khoảng 360.000 giờ GPU. Bài nghiên cứu ghi nhận khoảng 5.000 job-hour cho tác vụ hoàn tất và khoảng 600 job-hour cho tác vụ thất bại hoặc chạy lại.

Bài nghiên cứu cũng ghi nhận 2.798 lần thử thất bại hoặc chạy lại. Nhóm nghiên cứu không công bố chi phí bằng tiền cho lượng GPU đã sử dụng.

Thử nghiệm A/B với người dùng thực tế kéo dài hơn một tuần. Nhóm nghiên cứu cho biết số phiên tìm kiếm tăng tương đối 0,23% so với nhóm đối chứng, với khoảng tin cậy 95% là ±0,15. Nhóm mô tả đây là mức cải thiện có ý nghĩa thống kê.

Các chỉ số tiếp theo như mức độ tham gia và duy trì sử dụng cũng chuyển biến theo hướng tích cực, nhưng nhóm nghiên cứu không công bố số liệu cụ thể. Kết quả 0,23% chỉ phản ánh thay đổi về số phiên tìm kiếm, không phải mức cải thiện của các chỉ số tiếp theo.

Trong cùng thử nghiệm, thời gian hiển thị màn hình tìm kiếm tăng lên. Bài nghiên cứu không công bố mức độ chậm trễ.

325 thí nghiệm vượt qua đánh giá ngoại tuyến không đồng nghĩa với 325 mô hình thành công riêng biệt trong thử nghiệm người dùng. Đây là số phương án thay đổi được đưa vào mô hình tích lũy trong quá trình thử nghiệm; nhóm nghiên cứu sau đó kiểm tra riêng mô hình cuối cùng đã tích hợp các thay đổi này.

Ở phiên bản trước, 10 trong số 64 phương án được chấp nhận, tương ứng tỷ lệ 15,6%. Nhóm nghiên cứu cho biết không thể chỉ dựa vào tỷ lệ chấp nhận để so sánh mức cải thiện giữa hai phiên bản, do mục tiêu và điều kiện tìm kiếm khác nhau.

Tác nhân AI cũng không tự thực hiện toàn bộ quá trình. Nhóm nghiên cứu xác định mục tiêu và hướng tìm kiếm, đồng thời xem xét mô hình cuối cùng; thử nghiệm với người dùng được tiến hành riêng.

Nhóm nghiên cứu cho biết mô hình tốt nhất xuất hiện trước khi chiến dịch kết thúc, còn các lượt thử lặp lại sau đó không tạo thêm cải thiện. Tác nhân cũng gặp hạn chế khi lặp lại hướng thử nghiệm thất bại hoặc tự đảo ngược những thay đổi được chấp nhận nhầm. TokenPost từng giới thiệu một nghiên cứu về việc tận dụng kết quả chỉnh sửa mà tác nhân không lựa chọn để cải thiện ở bước tiếp theo.

Bảng kiểm trong bài nghiên cứu cho biết mã nguồn và dữ liệu không được công bố. Ở mục báo cáo thống kê, nhóm đánh dấu “No”, dù đã đưa ra khoảng tin cậy cho chỉ số trực tuyến; nhóm cũng cho biết chưa định lượng đầy đủ độ biến động ngoại tuyến.

Cùng ngày, Meta giới thiệu một nghiên cứu riêng về việc áp dụng tác nhân vào mô hình xếp hạng quảng cáo trên blog kỹ thuật. Meta cho biết với một số tổ hợp kỹ thuật và mô hình, lượng tính toán huấn luyện ở mức trung vị giảm còn một phần tư. Con số này xuất phát từ một tác vụ khác, không phải thử nghiệm gợi ý tìm kiếm.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1