Perplexity giảm 82% độ trễ đọc theo lô với CobbleDB

Perplexity đã xây dựng cơ sở dữ liệu riêng CobbleDB, giúp giảm độ trễ trung vị của tác vụ đọc theo lô trong dịch vụ tìm kiếm AI từ 31,4ms xuống 5,60ms. Theo số liệu so sánh trước và sau do công ty đưa ra, độ trễ đã giảm khoảng 82%.

Perplexity cho biết trong bài viết kỹ thuật chính thức ngày 14 tháng 9 rằng công ty ghi nhận kết quả này sau khi thay thế kiến trúc dựa trên Amazon DynamoDB bằng CobbleDB. CobbleDB được thiết kế để xử lý các tác vụ thiên về đọc trong tìm kiếm AI.

Độ trễ cũng giảm ở các khoảng yêu cầu chậm hơn. Độ trễ phân vị 90 giảm từ 56,7ms xuống 9,77ms, còn phân vị 99 giảm từ 123ms xuống 24,2ms.

Trung vị là giá trị nằm ở giữa khi toàn bộ yêu cầu được sắp xếp theo độ trễ. Phân vị 90 và phân vị 99 cho thấy các khoảng yêu cầu tương đối chậm, qua đó phản ánh những thay đổi về hiệu năng mà giá trị trung bình khó thể hiện đầy đủ.

CobbleDB chia chức năng thành ba lớp. 'Pillar' phụ trách tính bền vững và cập nhật tài liệu, 'Lorry' xử lý dữ liệu đầu vào theo lô, còn CobbleDB đảm nhiệm việc đọc có độ trễ thấp tại thời điểm truy vấn.

RocksDB được sử dụng để lưu trữ dữ liệu thực tế. Perplexity cho biết công ty đã điều chỉnh cách phân vùng và thiết lập bộ nhớ đệm để cải thiện hiệu năng đọc.

Kiến trúc này không hướng tới việc thay thế mọi tác vụ cơ sở dữ liệu bằng một hệ thống đa năng. CobbleDB không hỗ trợ tính nhất quán mạnh và các giao dịch phức tạp, thay vào đó tập trung vào việc nhanh chóng trả về kết quả tìm kiếm.

Tính nhất quán mạnh là cơ chế bảo đảm nhiều bản sao dữ liệu giữ cùng một giá trị tại cùng một thời điểm. Với các tác vụ như kết quả tìm kiếm, trong đó tốc độ phản hồi quan trọng hơn việc dữ liệu mới nhất phải khớp ngay lập tức, có thể điều chỉnh phạm vi nhất quán để ưu tiên hiệu năng đọc.

Perplexity cho biết trong bài viết kỹ thuật chính thức ngày 14 tháng 9 rằng CobbleDB có thể giúp giảm hơn 20% chi phí lớp lưu trữ so với DynamoDB khi vận hành ở quy mô lớn. Tuy nhiên, đây là ước tính nội bộ của công ty, chưa kèm mức tiết kiệm thực tế hoặc điều kiện áp dụng cụ thể.

Lập luận về tiết kiệm chi phí dựa trên việc loại bỏ cơ chế tính phí theo byte của DynamoDB và tối ưu hóa lớp lưu trữ, đọc theo đặc thù của tác vụ tìm kiếm AI. Chi phí thực tế có thể thay đổi tùy theo số lượng yêu cầu, quy mô dữ liệu lưu trữ và môi trường vận hành.

Thời gian phát triển được rút ngắn còn khoảng hai tháng nhờ sử dụng tác nhân lập trình AI nội bộ. Perplexity cho biết sẽ công bố CobbleDB dưới dạng mã nguồn mở sau khi hoàn tất kiểm chứng vận hành ở quy mô xử lý hàng trăm nghìn yêu cầu mỗi giây.

Perplexity chưa xác định thời điểm công bố mã nguồn mở cũng như thời điểm hoàn tất kiểm chứng vận hành quy mô lớn. Vì vậy, các số liệu hiệu năng hiện được công bố nên được xem là kết quả so sánh trước và sau trong môi trường riêng của công ty.

Cùng với trường hợp trước đó khi API tìm kiếm của Perplexity đứng đầu chỉ số API tìm kiếm AI với 80 điểm, diễn biến này cho thấy công ty đang tự tối ưu không chỉ lớp tạo kết quả tìm kiếm mà cả hạ tầng lưu trữ và truy xuất kết quả. Tuy nhiên, hai số liệu được đo theo các điều kiện và phương pháp khác nhau nên không thể gộp thành một chỉ số hiệu năng duy nhất.

Điểm đáng chú ý là, bên cạnh hiệu năng mô hình, đường dẫn lưu trữ và truy xuất của dịch vụ tìm kiếm cũng có thể ảnh hưởng đến tốc độ phản hồi. Việc đo riêng tác vụ đọc theo lô và các khoảng yêu cầu chậm phản ánh đặc điểm vận hành của một dịch vụ thiên về đọc.

Perplexity dự kiến tiến hành kiểm chứng vận hành CobbleDB ở quy mô xử lý hàng trăm nghìn yêu cầu mỗi giây, sau đó xem xét công bố mã nguồn mở. Mức tiết kiệm chi phí thực tế và khả năng tái hiện hiệu năng trong môi trường bên ngoài sẽ là những điểm cần tiếp tục xác minh.