Amazon khuyến nghị đánh giá kỹ sư theo kết quả, không theo mức dùng AI

Amazon($AMZN) khuyến nghị không lấy mức sử dụng AI làm mục tiêu đánh giá hiệu suất của kỹ sư phần mềm. Theo công ty, dùng nhiều token hơn hoặc chỉnh sửa nhiều mã hơn chưa chắc tạo ra kết quả có ích cho khách hàng và hoạt động kinh doanh.

Trong hướng dẫn dành cho kỹ sư công bố ngày 27, Amazon đề xuất đánh giá tác động đến khách hàng, hoạt động kinh doanh và đội ngũ thay vì số công cụ đã dùng hay lượng mã được tạo ra.

“Nếu các công cụ AI hiện tại không giúp ích cho công việc, đó không phải là thất bại mà là một phát hiện,” Terk Terkowitz, Phó chủ tịch phụ trách Worldwide Stores của Amazon kiêm Distinguished Engineer, nói. Ông cho rằng việc nhận ra AI không phù hợp với một nhiệm vụ cũng là kết quả cần ghi nhận.

Amazon khuyến nghị nhân viên ghi lại lý do AI không hữu ích, chia sẻ với đồng nghiệp và báo cho quản lý. Công ty cũng đề xuất cùng tìm cách khắc phục vấn đề.

Hướng dẫn cảnh báo về “tokenmaxxing”, tức cách làm tập trung tăng số token mà mô hình AI xử lý.

Terkowitz nhận định số token sử dụng và số dòng mã là những chỉ số “có khiếm khuyết lớn” khi dùng để đo năng suất. Chỉ nhìn vào các con số này không thể cho biết chất lượng đầu ra.

Đặt những chỉ số đó làm mục tiêu có thể làm tăng chi phí và sự phức tạp không cần thiết. Amazon cho rằng dùng thêm token đi ngược nguyên tắc tiết kiệm chi phí, còn tăng số dòng mã trái với mục tiêu đơn giản hóa.

Xu hướng doanh nghiệp theo dõi đồng thời mức sử dụng AI và chi phí cũng xuất hiện ở nơi khác. TokenPost trước đó đã đưa tin về các công ty theo dõi mức sử dụng và chi tiêu cho công cụ AI, đồng thời hạn chế quyền truy cập vào các mô hình đắt tiền.

Amazon không loại bỏ hoàn toàn các chỉ số về mức sử dụng. Terkowitz cho biết tại những đội ngũ chủ động áp dụng AI, mức sử dụng có tương quan với các kết quả công việc quan trọng.

Tuy nhiên, hướng dẫn yêu cầu diễn giải các con số thận trọng. Mức sử dụng cao không đồng nghĩa với hiệu suất cao; quản lý cũng cần vận dụng phán đoán khi tham khảo những chỉ số này.

Amazon khuyến nghị quản lý xem xét cả nhóm có mức độ ứng dụng AI thấp nhất 10% và nhóm cao nhất 10% trong đội ngũ. Với nhóm sử dụng ít, quản lý nên tìm hiểu nguyên nhân triển khai chậm; với nhóm sử dụng nhiều, cần kiểm tra xem kết quả công việc thực tế có tăng hay không.

Hiệu quả dài hạn cần thời gian mới bộc lộ và cũng khó tách riêng khỏi các yếu tố khác. Amazon cho biết vì vậy công ty từng tham khảo những chỉ số như số token sử dụng, số lần thay đổi mã và số lượt rà soát.

Hướng dẫn nhận định vai trò của nhà phát triển khó có thể được xác định chỉ dựa trên những công cụ hiện dùng, bởi cách ứng dụng AI thay đổi nhanh chóng. Do đó, trọng tâm là kết quả công việc thay vì công cụ mà nhà phát triển đã sử dụng.

Amazon đưa ra hình mẫu “nhà phát triển thời Phục hưng”, kết hợp công cụ AI với phán đoán của con người và chuyên môn trong lĩnh vực. Công ty khuyến nghị kỹ sư tìm hiểu AI, áp dụng vào công việc hằng ngày và có thể giải thích công việc nào được AI hỗ trợ, công việc nào thì không.

Amazon cũng yêu cầu quản lý trực tiếp sử dụng AI, rồi giải thích với đội ngũ những công việc mà công cụ phát huy hiệu quả và những việc không hiệu quả. Công ty cho biết kỹ sư hiểu rõ sản phẩm và khách hàng có thể tận dụng AI và tác nhân AI hiệu quả hơn.

Amazon dự kiến tiếp tục điều chỉnh hướng dẫn dành cho kỹ sư theo tác động của AI đối với công việc.