PolicyLM-1.7B phân loại bài đăng dưới chính sách mới mà không cần huấn luyện lại

Một mô hình AI gọn nhẹ có thể phân loại bài đăng theo chính sách mới mà không cần huấn luyện lại vừa được công bố. PolicyLM-1.7B của Musubi được thiết kế để phân loại tin nhắn dựa trên chính sách nội dung bằng tiếng Anh do người vận hành soạn.

TechCrunch đưa tin ngày 6 rằng Musubi phát hành mô hình theo hình thức công bố trọng số. Mô hình chấm điểm mức độ phù hợp của tin nhắn với từng mục chính sách; Musubi cho biết thời gian xử lý dưới 50 mili giây.

Trong khi các bộ phân loại truyền thống tập trung nhận diện nhanh những loại nội dung đã định sẵn, PolicyLM-1.7B cho phép người vận hành sửa tiêu chí phân loại để cập nhật thay đổi trong chính sách. Nền tảng có thể áp dụng quy tắc riêng của từng cộng đồng khi rà soát bài đăng và bình luận.

Theo thẻ mô hình, PolicyLM-1.7B có 1,7 tỷ tham số, nhận tin nhắn và chính sách làm đầu vào rồi trả về điểm số cho từng mục. Mô hình được phát hành theo giấy phép Apache-2.0. Thẻ mô hình lưu ý tốc độ có thể thay đổi tùy phần cứng và cấu hình.

Khi xử lý tin nhắn ngắn cùng tối đa 6 mục phân loại trên NVIDIA L4, thời gian trung vị được ghi nhận là 35 mili giây. Trên H100, con số trung vị là 22 mili giây. Dù được giới thiệu là có thể phân loại theo thời gian thực, kết quả phân loại không đồng nghĩa với việc bài đăng bị xóa hoặc tài khoản bị xử lý.

Đánh giá có thể khác nhau tùy ngưỡng điểm do người vận hành thiết lập. Musubi khuyến nghị điều chỉnh ngưỡng dựa trên dữ liệu riêng.

Thẻ mô hình cho biết chính sách đã được thử nghiệm bằng tiếng Anh. Hiệu suất có thể suy giảm với nội dung đa ngôn ngữ, một số ngôn ngữ ít tài nguyên và cách viết né tránh bộ lọc; mô hình cũng chưa được kiểm chứng trên lưu lượng thực tế của dịch vụ.

Mô hình không hỗ trợ đánh giá đồng thời hình ảnh cần ngữ cảnh hoặc lịch sử hội thoại. Vì vậy, mức độ mô hình có thể giảm khối lượng rà soát trên các nền tảng thực tế vẫn cần được kiểm chứng trong môi trường triển khai.