WeChat WeLM đón nhân sự hậu huấn luyện từ Tencent Hunyuan

Đội ngũ nghiên cứu hậu huấn luyện (post-training) của Tencent Hunyuan vừa chuyển sang nhóm WeLM của WeChat, giúp định hình rõ hơn hướng phát triển AI agent của nền tảng nhắn tin lớn nhất Trung Quốc. WeChat đang mở rộng phạm vi hoạt động, từ chatbot hội thoại thông thường sang loại AI có thể thực thi lệnh, gọi trực tiếp các tính năng trong ứng dụng và mini program bằng ngôn ngữ tự nhiên.

Theo Dongcha Beating (动察 Beating), Can Xu, nghiên cứu viên cấp cao mảng hậu huấn luyện của Tencent Hunyuan, mới đây đã chuyển sang đội WeLM của WeChat để phụ trách nghiên cứu và phát triển mô hình ngôn ngữ lớn (LLM). Can Xu được giới thiệu là người từng phụ trách một hướng hậu huấn luyện LLM của Hunyuan, trước khi Yao Shunyu tiếp quản mảng nghiên cứu phát triển LLM của Hunyuan.

Hậu huấn luyện là bước tinh chỉnh một mô hình ngôn ngữ lớn sau khi đã hoàn tất tiền huấn luyện (pre-training), nhằm phục vụ các mục đích thực tế như thực hiện chỉ dẫn, hội thoại hay sử dụng công cụ. Để WeChat kết nối AI với việc gọi tính năng trong ứng dụng và thao tác mini program, mô hình cần hiểu đúng ý định người dùng và xử lý được nhiều bước liên tiếp. Đây là lý do đợt điều chuyển nhân sự lần này được nhìn nhận gắn liền với hướng nghiên cứu AI agent.

Can Xu còn có liên hệ với dự án WizardLM của Microsoft (MSFT). Trang công bố nghiên cứu WizardLM của Microsoft Research xếp tên Can Xu ở đầu danh sách tác giả, giới thiệu phương pháp Evol-Instruct để biến các chỉ dẫn có sẵn thành dữ liệu chỉ dẫn phức tạp hơn. Dongcha Beating cũng cho biết Can Xu đã nghiên cứu lâu năm về dữ liệu tổng hợp, huấn luyện theo chỉ dẫn và hậu huấn luyện mô hình ngôn ngữ lớn.

Tin tuyển dụng của WeChat cũng cho thấy cùng một hướng đi. Thông tin tuyển dụng công khai cho biết đội WeLM đang tìm nhân sự cho mảng tối ưu suy luận và nghiên cứu agent, trong đó có vị trí phụ trách chiến lược huấn luyện cho AI agent xử lý tác vụ dài hạn (Long-Horizon LLM Agent) ở quy mô tổng quát. Nói cách khác, WeChat muốn đưa khả năng chia nhỏ tác vụ dài thành nhiều bước vào ngay giai đoạn huấn luyện mô hình.

Ở phía sản phẩm, thay đổi cũng đang diễn ra. Kênh chính thức dành cho nhà phát triển của WeChat, trong hướng dẫn truy cập công bố ngày 8 tháng 6, cho biết WeChat AI đang ở giai đoạn thử nghiệm nội bộ, và nhà phát triển mini program có thể kết nối với hệ sinh thái WeChat AI theo hai chế độ: tự động và phát triển. Ở chế độ tự động, nền tảng tự phân tích mã nguồn và giao diện mini program để AI có thể thao tác trực tiếp. Ở chế độ phát triển, nhà phát triển tự xây dựng tính năng riêng, tính năng này phải qua đánh giá và kiểm duyệt trước khi AI được phép gọi tới.

Trợ lý AI riêng của WeChat mang tên Xiaowei (小微) cũng đã bước vào giai đoạn thử nghiệm quy mô nhỏ. Theo bộ phận chăm sóc khách hàng của Tencent, Xiaowei có thể thao tác các tính năng cơ bản của WeChat và gọi mini program thông qua hội thoại bằng văn bản hoặc giọng nói. Dựa trên thông tin được công bố, Xiaowei giống một cửa ngõ kết nối tính năng nội bộ của WeChat bằng ngôn ngữ tự nhiên hơn là một ứng dụng độc lập.

Nghiên cứu mô hình cũng đang được triển khai song song. Kho lưu trữ Hidden Decoding do đội WeChat AI của Tencent công bố cho biết kết quả của WeLM-HD4-80B và WeLM-HD4-617B đã được bổ sung vào ngày 7 tháng 7. Kho lưu trữ này giới thiệu cách tiếp cận giữ nguyên khung kiến trúc transformer nhưng tăng lượng tính toán ẩn (latent computation) trên mỗi token.

Với độc giả theo dõi thị trường công nghệ, điểm đáng chú ý là các nền tảng lớn của Trung Quốc đang đưa AI vào ngay bên trong hệ sinh thái ứng dụng nhắn tin và mini program sẵn có, thay vì tách thành dịch vụ riêng. TokenPost trước đó từng đưa tin về xu hướng các công ty AI Trung Quốc không chỉ dừng lại ở cuộc đua mô hình nền tảng mà dịch chuyển trọng tâm sang lớp thực thi. Ở thời điểm hiện tại, phạm vi có thể xác nhận được là WeChat đang xử lý đồng thời WeLM, hậu huấn luyện và chiến lược huấn luyện AI agent.

Nguồn xác minh: bản tin gốc của BlockBeats, trang công bố nghiên cứu WizardLM của Microsoft Research, kho GitHub Hidden Decoding của Tencent, bài viết của IT之家 về hướng dẫn truy cập dành cho nhà phát triển WeChat AI, và bài viết của IT之家 về Xiaowei.