Fireworks: suy luận mô hình mở mặc định không lưu dữ liệu, Responses API giữ tối đa 30 ngày

Fireworks cho biết dữ liệu đầu vào và đầu ra của suy luận mô hình mở chỉ tồn tại trong bộ nhớ tạm thời khi xử lý, không được ghi vào kho lưu trữ lâu dài. Sau khi bản ghi trò chuyện Notion AI xuất hiện trong tập dữ liệu liên quan đến sự cố bảo mật của Fireworks, phạm vi áp dụng cam kết không lưu trữ dữ liệu trở thành vấn đề được chú ý.

Ngày 14, Lin Qiao, CEO Fireworks AI, viết: “Tải một tệp lên kho lưu trữ đám mây khác với việc nhập một con số vào máy tính”. Phép so sánh này nhằm giải thích rằng khách hàng phải tự xóa tập dữ liệu đã tải lên để chạy tác vụ hàng loạt.

Với suy luận thông thường, người dùng gửi câu hỏi và nhận câu trả lời ngay. Tác vụ hàng loạt yêu cầu tải tập dữ liệu lên trước rồi mới nhận kết quả. Tài liệu xử lý dữ liệu chính thức của Fireworks nêu rằng dữ liệu đầu vào và dữ liệu được tạo ra từ mô hình mở chỉ nằm trong bộ nhớ tạm thời khi xử lý, không được ghi vào kho lưu trữ lâu dài. Tuy nhiên, nếu dùng bộ nhớ đệm prompt, một phần dữ liệu đầu vào và dữ liệu liên quan có thể được giữ trong bộ nhớ tạm thời vài phút. Metadata như số token trong yêu cầu cũng được ghi lại để vận hành dịch vụ.

Batch API yêu cầu lưu tập dữ liệu nên không nằm trong phạm vi không lưu trữ áp dụng cho suy luận thông thường. Lin Qiao cho biết dữ liệu batch được giữ cho đến khi khách hàng xóa.

Ở thiết lập mặc định store=true, Responses API lưu dữ liệu hội thoại tối đa 30 ngày. Tài liệu Fireworks cho biết người dùng có thể đặt store=false trong yêu cầu để ngăn lưu dữ liệu hội thoại.

Khách hàng doanh nghiệp có thể bật chính sách không lưu trữ áp dụng cho toàn tài khoản. Tính năng này mặc định tắt. Khi bật, hệ thống từ chối các yêu cầu và tác vụ lưu nội dung khách hàng, bao gồm tác vụ hàng loạt và tải tập dữ liệu lên. Tài liệu chính sách tài khoản của Fireworks cho biết thiết lập này dành cho tài khoản doanh nghiệp.

Bật chính sách không lưu trữ không tự động xóa các phản hồi, tập dữ liệu và mô hình đã tải lên tài khoản từ trước. Fireworks nêu trong tài liệu rằng khách hàng phải xóa riêng những dữ liệu hiện có.

Ngày 2, Notion nhận được thông báo từ Fireworks rằng một đối tượng có hành vi độc hại đã truy cập một số tài liệu. Khi đó, Notion cho biết tập dữ liệu được phân tích có vẻ chứa tài liệu thử nghiệm tổng hợp của Notion AI, không phải hội thoại khách hàng.

Ngày 3, Notion ngắt kết nối hệ thống với Fireworks. Ngày hôm sau, công ty xóa dữ liệu của mình khỏi hệ thống Fireworks. Đến ngày 6, sau khi được thông báo rằng dữ liệu khách hàng có thể đã bị truy cập, Notion bắt đầu điều tra thêm.

Trong tập dữ liệu cuối cùng nhận ngày 8, Notion tìm thấy bản ghi trò chuyện Notion AI được dùng cho tính năng Insights. Công ty cho biết số không gian làm việc bị ảnh hưởng thấp hơn 1% tổng số; phần lớn bản ghi không hiển thị thông tin người viết hoặc không gian làm việc, đồng thời không chứa kết quả gọi công cụ. Hướng dẫn ứng phó sự cố của Notion cũng nêu cách khách hàng bị ảnh hưởng kiểm tra các bản ghi này.

Notion sử dụng Fireworks cho tính năng Insights, vốn phân loại tình hình sử dụng AI của các thành viên, và để cung cấp mô hình trọng số mở. Trong quá trình điều tra, Notion tạm dừng Insights và ngừng cung cấp mô hình trọng số mở thông qua Fireworks.

Notion giải thích cam kết không lưu trữ với khách hàng doanh nghiệp áp dụng cho các yêu cầu API gửi đến nhà cung cấp mô hình bên ngoài để tạo phản hồi AI. Cam kết này không áp dụng cho trường hợp yêu cầu và phản hồi được lưu nhằm cung cấp các tính năng như lịch sử trò chuyện hoặc Insights.

Để phân tích Insights, Notion đã gửi các yêu cầu và phản hồi được lưu trữ đến Fireworks. Notion cho biết Fireworks có cam kết hợp đồng không lưu trữ dữ liệu cho mục đích sử dụng này, nhưng trong quá trình điều tra, công ty phát hiện dữ liệu vẫn còn trên điểm cuối Fireworks đã sử dụng.

Trong thông báo bảo mật ngày 9, Fireworks cho biết một số tập dữ liệu khách hàng và trọng số mô hình chưa hoàn thiện bị ảnh hưởng. Công ty chưa phát hiện ảnh hưởng đến suy luận thông thường, Training SDK hay Nexus tính đến thời điểm đó và cho biết cuộc điều tra vẫn tiếp tục. Tài liệu công khai của hai công ty không nêu rõ bản ghi trò chuyện Notion được lưu lại trong tính năng lưu trữ nào của Fireworks.

Fireworks cho biết đã tạm dừng tính năng tự phục vụ tải lên và tải xuống tập dữ liệu dùng cho suy luận hàng loạt và huấn luyện dựa trên tập dữ liệu trong thời gian điều tra. Notion hướng dẫn khách hàng bị ảnh hưởng kiểm tra các bản ghi liên quan tại mục Security incident review trong không gian làm việc.