Ngày 20, Tencent (0700.HK) phát hành bản beta tính năng điều khiển máy tính trong tác nhân AI WorkBuddy dành cho công việc, cho phép đọc màn hình và thực hiện thao tác nhấp chuột, nhập liệu, cuộn. Tính năng này đọc và thao tác trực tiếp trên màn hình ngay cả khi phần mềm mục tiêu không cung cấp API riêng.
MarsBit đưa tin ngày 20 rằng WorkBuddy hỗ trợ macOS và Windows. Người dùng phải cập nhật ứng dụng máy tính để bàn lên phiên bản 5.11.0 trở lên, bật tính năng và cấp các quyền liên quan. Kết quả nhận diện màn hình có thể khác nhau tùy phần mềm.
Đọc màn hình và điều khiển ứng dụng hiện có
Tính năng điều khiển máy tính phân tích màn hình hiện tại, xác định vị trí cửa sổ mục tiêu rồi thực hiện các thao tác nhấp chuột, nhập văn bản và cuộn. Không cần thiết lập kết nối riêng, WorkBuddy có thể chuyển qua nhiều ứng dụng và thực hiện tác vụ dựa trên giao diện màn hình.
IT时代网 giới thiệu giao diện beta ngày 10, mô tả WorkBuddy là một tác nhân GUI dùng ảnh chụp màn hình để hiểu giao diện và mô phỏng thao tác “nhìn” và “nhấn” của con người. Hướng dẫn cũng cho biết công cụ có thể chụp màn hình hoặc đọc nội dung cửa sổ trong quá trình sử dụng, đồng thời người dùng có thể dừng tính năng bất cứ lúc nào.
Mở rộng từ xử lý tệp sang thao tác trên màn hình
Tài liệu hướng dẫn sản phẩm chính thức của WorkBuddy mô tả dịch vụ này là một bàn làm việc AI trên máy tính, có thể xử lý tệp, tạo tài liệu, bảng tính, bản trình bày và phân tích dữ liệu bằng lệnh ngôn ngữ tự nhiên. Hệ thống có thể lập kế hoạch và thực hiện nhiều tác vụ mà người dùng không cần chỉ dẫn từng bước.
Chức năng mới bổ sung khả năng thao tác trực tiếp với các nút và ô nhập của ứng dụng hiện có. Người dùng không cần kết nối API riêng của từng chương trình, có thể xử lý các công cụ có giao diện khác nhau như tài liệu, ứng dụng nhắn tin và phần mềm nghiệp vụ trong cùng một quy trình.
Điều khiển máy tính khác với điều khiển từ xa bằng điện thoại. Với điều khiển từ xa, người dùng xem và thao tác màn hình máy tính bằng điện thoại; còn với điều khiển máy tính, WorkBuddy thực hiện công việc trên màn hình theo chỉ dẫn của người dùng. IT之家 đưa tin ngày 28 tháng 10 rằng tính năng điều khiển từ xa của WorkBuddy cho phép người dùng xem và thao tác màn hình máy tính từ điện thoại.
Tencent trước đó đã áp dụng khả năng hiểu hình ảnh và điều khiển máy tính vào bản chính thức của mô hình ngôn ngữ lớn Hy4.
Phê duyệt quyền và kiểm soát doanh nghiệp
Để sử dụng tính năng điều khiển máy tính, người dùng phải cấp quyền chụp màn hình và quyền trợ năng cho hệ điều hành. Nếu chưa được cấp quyền, WorkBuddy không thể đọc màn hình hoặc thay người dùng thực hiện thao tác chuột và bàn phím.
Tài liệu dành cho doanh nghiệp của Tencent Cloud cho biết quản trị viên có thể cho phép tính năng trên toàn hệ thống hoặc chỉ cho một số thành viên, phòng ban, đồng thời có thể chặn hoàn toàn khi cần. Chính sách mặc định được đặt ở trạng thái chặn đối với tất cả thành viên.
Nhật ký phiên bản chính thức của WorkBuddy ghi nhận các tệp cài đặt cho macOS và Windows đến phiên bản 5.11.3 tính đến ngày 15 tháng 11. Phạm vi thao tác thực tế phụ thuộc hệ điều hành được hỗ trợ, việc cấp quyền và mức độ nhận diện màn hình của phần mềm đang sử dụng.
Comment 0