AWS ra mắt công cụ kiểm thử cục bộ do tác nhân AI xây dựng

AWS, bộ phận điện toán đám mây của Amazon ($AMZN), đã công bố AWS Emulator, công cụ kiểm thử cục bộ có mã được các tác nhân AI viết và rà soát. Tuy nhiên, kiểm thử thành công trên trình giả lập không bảo đảm ứng dụng an toàn hoặc tương thích với toàn bộ chức năng của AWS.

Ngày 11, AWS (Amazon Web Services) ra mắt AWS Emulator. Nhà phát triển có thể dùng AWS CLI và SDK gửi yêu cầu đến trình giả lập cục bộ mà không cần tài khoản AWS hay triển khai lên đám mây. Công cụ không thu phí riêng, theo thông báo ra mắt của AWS.

Matthew Goldberg, kỹ sư chính cấp cao tại AWS, viết trong bài giải thích quy trình phát triển: “Nhóm chúng tôi không viết hoặc rà soát mã của trình giả lập.” Thay vào đó, nhóm AWS thiết kế quy trình phát triển mà không trực tiếp tạo hoặc kiểm tra mã.

Con người xác định phạm vi công việc của sản phẩm và tiêu chí kiểm chứng, còn các tác nhân AI đảm nhiệm việc triển khai và rà soát mã. Vai trò của con người là quyết định trình giả lập cần hỗ trợ những gì và phải đáp ứng các tiêu chí nào.

Quy trình được chia thành ba nhóm tác nhân. Nhóm thứ nhất tạo kiểm thử dựa trên hành vi đã xác nhận trên AWS thực tế. Nhóm thứ hai chạy cùng các bài kiểm thử đó trên trình giả lập để tìm điểm khác biệt. Nhóm thứ ba sửa các vấn đề được phát hiện.

Mã đã chỉnh sửa chỉ được đưa vào sau khi vượt qua các bước kiểm tra về bản dựng, tiêu chuẩn lập trình, bảo mật và mức độ tương đồng với hoạt động trên AWS thực tế. Công việc của các tác nhân gồm cả viết mã lẫn kiểm tra thay đổi theo tiêu chí phát hành.

Kiểm thử tương thích không chỉ so sánh phản hồi API. Khi một tác vụ chạy trên AWS, các bài kiểm thử còn đối chiếu tài nguyên, dữ liệu và lỗi phát sinh với kết quả trên trình giả lập.

AWS công bố tình trạng kiểm thử đạt được theo từng dịch vụ. Với tác vụ chưa được hỗ trợ, công cụ trả về lỗi để nhà phát triển nhận biết rằng họ không thể kiểm thử tác vụ đó trên trình giả lập.

Cách kiểm thử này xác định mức độ khớp giữa AWS thực tế và trình giả lập trong những quy trình cụ thể. AWS gọi đây là kiểm thử “fidelity”, và kết quả chỉ áp dụng trong phạm vi mà bài kiểm thử bao phủ.

Kho đánh giá của AWS nêu rõ những hành vi chưa được kiểm thử vẫn chưa được xác minh. Việc kết quả khớp trong một số tình huống không chứng minh trình giả lập tương thích với mọi chức năng của dịch vụ AWS.

Nhà phát triển cần kiểm tra xem dịch vụ và tác vụ mình sử dụng có nằm trong các bài kiểm thử đã công bố hay không. Tình trạng kiểm thử giúp xác định phạm vi được hỗ trợ, nhưng không phải chứng nhận tương thích cho toàn bộ chức năng.

Đánh giá bảo mật cũng có giới hạn. Tài liệu bảo mật của AWS cho biết trình giả lập không đánh giá quyền IAM, chính sách bucket S3 và chính sách khóa KMS giống như AWS thực tế. Công cụ cũng chưa hỗ trợ hoạt động giữa các tài khoản hoặc giữa các khu vực.

Vì vậy, một yêu cầu bị từ chối trên AWS thực tế vẫn có thể thành công trên trình giả lập. Việc các tác nhân rà soát bảo mật mã của trình giả lập không có nghĩa là ứng dụng do nhà phát triển tạo ra cũng đã được xác minh về bảo mật.

Trên diễn đàn dành cho nhà phát triển Hacker News, một số người hoan nghênh việc AWS cung cấp công cụ kiểm thử cục bộ. Những người khác cho rằng cần xem xét thêm phạm vi tương đồng với AWS thực tế và kế hoạch duy trì công cụ lâu dài, theo cuộc thảo luận trên Hacker News.

AWS khuyến nghị kiểm thử toàn bộ ứng dụng và cấu hình bảo mật trên AWS thực tế trước khi triển khai vào môi trường vận hành. AWS Emulator có thể hỗ trợ phát triển cục bộ, nhưng bước kiểm chứng trước khi đưa vào vận hành vẫn cần được thực hiện riêng trên môi trường thực tế.