AWS ra mắt loạt dịch vụ vận hành và quản lý quyền cho tác nhân AI

AWS liên tiếp công bố các tính năng về môi trường thực thi tác nhân AI, quản lý quyền, kiểm tra hạ tầng và sandbox, mở rộng dịch vụ đám mây từ cung cấp mô hình sang các công cụ vận hành tác nhân trong hệ thống doanh nghiệp.

Ngày 18 tháng 9, AWS công bố Runtime thế hệ mới của Amazon Bedrock AgentCore. Theo thử nghiệm nội bộ của AWS, khi ảnh container có dung lượng từ 200MB đến 2GB, P75 của thời gian khởi động lạnh đạt 1,9–2,0 giây, thấp hơn mức 5,4–30 giây của phiên bản V1.

Runtime mới được thiết kế để thu hồi bộ nhớ không sử dụng và rút ngắn thời gian khởi động bằng cách tải ảnh chụp nhanh của môi trường tác nhân đã được chuẩn bị trước. Khởi động lạnh là thời gian cần để khởi chạy lại một môi trường thực thi chưa được sử dụng, không phải tổng thời gian hoàn thành công việc của tác nhân. Đây là kết quả thử nghiệm nội bộ của AWS.

Ngày 29 tháng 9, AWS ra mắt bản xem trước Bedrock Managed Agents, dịch vụ được phát triển cùng OpenAI. Dịch vụ chạy trong AWS các tác nhân dựa trên Agents API của OpenAI. Người dùng có thể thiết lập vai trò IAM riêng cho từng tác nhân và yêu cầu con người phê duyệt trước các thao tác quan trọng. Hoạt động API được hỗ trợ sẽ được ghi lại trong AWS CloudTrail.

Bản xem trước Bedrock Managed Agents hiện có tại các khu vực Bắc Virginia và Ohio ở miền Đông Hoa Kỳ, cùng Oregon ở miền Tây Hoa Kỳ. IAM là cơ chế quản lý quyền của người dùng và dịch vụ khi truy cập tài nguyên AWS. Vai trò riêng và quy trình phê duyệt giúp kiểm soát phạm vi công việc cũng như quyền truy cập của từng tác nhân.

AWS cũng bổ sung tính năng kiểm tra hạ tầng. Ngày 1 tháng 10, công ty bắt đầu bản xem trước công khai AWS Well-Architected Agent. Công cụ phân tích môi trường của khách hàng và đưa ra khuyến nghị cải thiện chi phí, bảo mật, hiệu năng và khả năng phục hồi. Khách hàng cần xác định phạm vi kiểm tra và thiết lập vai trò IAM cho tác nhân.

AWS cho biết các khuyến nghị có thể kèm theo tập lệnh tự động hóa hoặc đề xuất sửa đổi mã hạ tầng. Tính năng này được thiết kế để đưa ra cả những thay đổi có thể áp dụng, bên cạnh kết quả kiểm tra hạ tầng.

Strands Box, mã nguồn mở được công bố ngày 7 tháng 10, là sandbox giúp cô lập quá trình thực thi của tác nhân. Sản phẩm đang ở giai đoạn xem trước dành cho nhà phát triển và sử dụng giấy phép Apache 2.0. Strands Box kết hợp cơ chế cô lập ở cấp hệ điều hành với bộ máy chính sách Dogwood. Khi đánh giá chính sách, hệ thống xem xét cả hành động được yêu cầu, hành vi trước đó của tác nhân và số lần hành động được tích lũy.

Bốn sản phẩm xử lý các khía cạnh khác nhau trong vận hành tác nhân: Runtime quản lý môi trường thực thi và bộ nhớ; Managed Agents xử lý trạng thái công việc và quyền truy cập; Well-Architected Agent kiểm tra hạ tầng; Strands Box đảm nhiệm cô lập công việc và áp dụng chính sách. Đây là những tính năng cần thiết khi tác nhân gọi nhiều công cụ, duy trì trạng thái trung gian hoặc thực thi mã thay cho người dùng.

Bedrock Managed Agents, Well-Architected Agent và Strands Box đều đang ở giai đoạn xem trước. Tính năng, giá và hiệu năng có thể thay đổi; giai đoạn phát hành và khu vực cung cấp cũng khác nhau tùy sản phẩm.