Anthropic ra mắt bản beta công khai tính năng theo dõi tác vụ Claude

Anthropic mở bản beta công khai tính năng theo dõi bằng OpenTelemetry trên nền tảng Claude, ghi lại quá trình gọi mô hình và sử dụng công cụ. Nhà phát triển có thể xem độ trễ yêu cầu, mức sử dụng token trong các công cụ quan sát hiện có, đồng thời xác định bước khiến tác vụ của AI agent chậm hoặc thất bại.

Ngày 14 tháng 10, Anthropic công bố tính năng theo dõi yêu cầu và phiên làm việc trên Claude Managed Agents, Messages API và Claude SDK. OpenTelemetry là tiêu chuẩn mở dùng để ghi lại luồng yêu cầu của ứng dụng, cho phép gửi dữ liệu theo dõi đến các nền tảng quan sát hiện có.

Dữ liệu gồm “trace”, bản ghi toàn bộ quá trình một yêu cầu đi qua hệ thống, và các “span”, tức từng bước riêng lẻ bên trong trace. Các span của Claude tuân theo quy ước ngữ nghĩa dành cho AI tạo sinh. Quy ước này biểu diễn thông tin như yêu cầu gửi đến mô hình và việc sử dụng công cụ theo các trường dữ liệu thống nhất, để có thể xem cùng nhau trên những nền tảng hỗ trợ.

Phạm vi theo dõi không chỉ giới hạn ở các lần gọi mô hình. Tính năng có thể ghi lại yêu cầu Messages API, việc sử dụng công cụ và phiên Claude Managed Agents. Nhà phát triển có thể đăng ký đích nhận dữ liệu của công cụ quan sát trong Claude Console hoặc thiết lập nhà cung cấp theo dõi trong SDK. SDK xuất các span từ ứng dụng, còn với API, đích nhận dữ liệu được chỉ định trong Console.

AI agent thường gửi yêu cầu đến mô hình, nhận phản hồi từ công cụ hoặc dịch vụ bên ngoài rồi tiếp tục xử lý. Xem bản ghi của các bước trong cùng một luồng có thể giúp tìm ra nơi phát sinh độ trễ hoặc lỗi. Dữ liệu cũng có thể được đối chiếu với nhật ký và chỉ số hiện có, hoặc dùng để đánh giá tác vụ dựa trên bản ghi sử dụng thực tế.

Anthropic cũng giới thiệu trường hợp ứng dụng của Roman Shtylman, đồng sáng lập kiêm CTO của Foxglove. Ông cho biết Foxglove có thể phân tích tương tác của các agent cùng dữ liệu sử dụng sản phẩm để đánh giá hiệu năng và tìm điểm cần cải thiện. Đây là trường hợp của Foxglove, không đồng nghĩa mọi môi trường đều đạt hiệu quả tương tự.

Tính năng kết nối các công cụ hiện có trên nền tảng Claude với phương tiện quan sát cần thiết để xem các bước xử lý và lỗi của AI agent Anthropic. Trong thời gian beta công khai, cấu hình SDK và cấu trúc dữ liệu span có thể thay đổi theo cách ảnh hưởng đến khả năng tương thích, vì vậy nhà phát triển cần quản lý phiên bản và bảng điều khiển.

Phạm vi thu thập dữ liệu cũng cần được kiểm tra. Khi bật chế độ tùy chọn “toàn bộ nội dung”, prompt, phản hồi, đầu vào và đầu ra của công cụ có thể được đưa vào dữ liệu theo dõi. Quy ước ngữ nghĩa dành cho AI tạo sinh khuyến nghị mặc định không ghi lại chỉ dẫn cho mô hình, tin nhắn người dùng và nội dung đầu ra, vì chúng có thể nhạy cảm hoặc chiếm nhiều dung lượng, đồng thời để người dùng tự lựa chọn. Trong môi trường vận hành, cần rà soát việc thu thập nội dung và quyền truy cập dữ liệu.