Biên lợi nhuận gộp Harvey xuống -50% do chi phí suy luận từ AI agent tăng

Biên lợi nhuận gộp của Harvey, công ty trí tuệ nhân tạo (AI) pháp lý, đã giảm từ khoảng 50% vào đầu năm xuống âm 50% trong tháng 6 do lượng sử dụng của khách hàng và chi phí suy luận mô hình tăng mạnh sau khi cập nhật AI agent.

Bloomberg đưa tin lượng sử dụng của khách hàng Harvey tăng đáng kể sau bản cập nhật AI agent vào tháng 3. Định giá Harvey được đưa tin ở mức 15,6 tỷ USD (khoảng 21 nghìn tỷ won).

Đà giảm biên lợi nhuận gộp của Harvey bắt nguồn từ khoảng cách giữa phí cố định theo số ghế và mức sử dụng thực tế. Ngay cả khi số lượng khách hàng không tăng, chi phí gọi mô hình vẫn tăng nếu công việc mỗi người dùng xử lý trở nên phức tạp hơn.

AI agent sử dụng nhiều token hơn hình thức hỏi đáp đơn giản. Khi luật sư đưa vào hàng trăm trang tài liệu tố tụng hoặc hợp đồng quy mô lớn, agent sẽ tìm kiếm tài liệu, suy luận nhiều lần, gọi các công cụ bên ngoài rồi lặp lại quá trình chỉnh sửa kết quả.

Phí cố định theo số ghế giúp doanh nghiệp dễ dự đoán chi phí khi mức sử dụng ổn định. Tuy nhiên, khi agent hoạt động tự động trong thời gian dài, khác biệt về khối lượng tính toán và chi phí giữa các khách hàng có thể tăng lên dù số ghế không đổi.

Khi lượng sử dụng AI agent tăng, số ghế không còn đủ để giải thích chi phí dịch vụ. Lượng token tiêu thụ và chi phí suy luận thực tế thay đổi tùy theo khối lượng tài liệu và độ phức tạp của từng công việc.

Để thu hẹp khoảng cách giữa phí cố định và khối lượng tính toán thực tế, doanh nghiệp cần lựa chọn mô hình và quản lý mức sử dụng theo từng công việc. Với cấu trúc agent liên tục tìm kiếm, suy luận và chỉnh sửa, gánh nặng chi phí có thể tăng cùng lượng sử dụng của khách hàng.

Tự phát triển mô hình để điều chỉnh cơ cấu chi phí

Harvey cũng bắt đầu phát triển mô hình riêng nhằm thay đổi cơ cấu chi phí. Harvey Tenet, được Harvey công bố ngày 20 tháng 8, là mô hình do Harvey phối hợp với Fireworks Research phát triển trên nền tảng Kimi K3, một mô hình open-weight của Moonshot AI.

Harvey cho biết đã áp dụng quy trình hậu xử lý phù hợp với nghiệp vụ pháp lý cho Tenet, đồng thời thiết kế mô hình để thực hiện các tác vụ agent kéo dài. Nội dung Harvey phát triển mô hình AI pháp lý dựa trên Kimi K3 đã được đưa tin trước đó.

Trong tài liệu nghiên cứu về Tenet, Harvey giải thích rằng mô hình open-weight có thể giảm không chỉ giá trên mỗi token mà cả số token sử dụng trong quá trình suy luận. Phương pháp này nhằm tạo ra kết quả tương đương với ít tính toán hơn bằng cách giảm các lần gọi công cụ và bước suy luận không cần thiết.

Tuy nhiên, tài liệu Harvey công bố mới chỉ là kết quả nghiên cứu cho thấy khả năng cải thiện hiệu quả chi phí. Chưa có số liệu cho thấy việc triển khai Tenet đã thực sự giúp khả năng sinh lời của toàn bộ hoạt động kinh doanh Harvey phục hồi.

Tài liệu chính thức của Harvey cho biết Tenet đã hoàn thành nhiều nhiệm vụ hơn Kimi K3 trong bài đánh giá nghiệp vụ pháp lý. Đây là kết quả từ môi trường đánh giá do Harvey tự thiết kế, nên cần phân biệt với mức tiết kiệm chi phí thực tế trong công việc của khách hàng.

Harvey cũng đưa ra tính năng lựa chọn mô hình theo từng công việc như một phương án quản lý chi phí. Theo đó, các mô hình tương đối nhẹ được dùng cho việc soạn thảo tài liệu đơn giản, còn mô hình hiệu năng cao được phân bổ cho phân tích pháp lý phức tạp. Quản trị viên có thể chỉ định trước mô hình cho từng công việc.

Trường hợp này cho thấy đơn vị tính phí của các dịch vụ AI chuyên nghiệp có thể chuyển từ số người dùng sang khối lượng công việc thực tế. Các nhiệm vụ có độ dài và mức độ phức tạp khác nhau, như rà soát tài liệu và thẩm định sáp nhập, có thể tiêu thụ lượng token chênh lệch lớn dù do cùng một khách hàng thực hiện.

Trong thị trường AI pháp lý, yêu cầu cân nhắc đồng thời chất lượng, chi phí và quyền kiểm soát dữ liệu đang gia tăng. Việc Harvey phát triển mô hình dựa trên Kimi K3 là nỗ lực giảm phụ thuộc vào các nhà cung cấp mô hình bên ngoài, nhưng chi phí vận hành thực tế và kết quả thương mại hóa vẫn cần được kiểm chứng thêm.