OpenAI giảm độ trễ đọc Habitat từ 120 ms xuống 10 ms

OpenAI cho biết đã giảm độ trễ p50 của các yêu cầu đọc trên toàn cầu của nền tảng lưu trữ trực tuyến nội bộ Habitat từ khoảng 120 mili giây (ms) xuống khoảng 10 ms. Công ty mô tả mức cải thiện là 12 lần, nhưng con số này không phản ánh toàn bộ thời gian tạo câu trả lời của ChatGPT.

Trong tài liệu kỹ thuật công bố ngày 23 (giờ địa phương), OpenAI nêu việc bố trí dữ liệu theo khu vực, xây dựng bộ nhớ đệm và chuyển một phần dịch vụ sang Rust là những biện pháp cải thiện hiệu năng. Habitat là nền tảng lưu trữ được ChatGPT, API, Codex và các dịch vụ nội bộ sử dụng để đọc, ghi dữ liệu. p50 là giá trị ở giữa khi sắp xếp các yêu cầu theo độ trễ.

Khi tài nguyên tính toán xử lý yêu cầu và dữ liệu nằm ở các khu vực khác nhau, thời gian khứ hồi có thể kéo dài. OpenAI đã sao chép một số dữ liệu cần thiết cho mỗi yêu cầu, chẳng hạn như siêu dữ liệu xác thực, sang nhiều khu vực. Công ty cho biết việc sao chép mọi dữ liệu theo cùng cách bị hạn chế bởi dung lượng lưu trữ và không gian tại các trung tâm dữ liệu.

Với các yêu cầu đọc còn lại, OpenAI đặt bộ nhớ đệm Valkey gần hạ tầng xử lý yêu cầu. Cách này lưu dữ liệu thường được truy vấn ở gần hơn, giảm số lần phải kết nối qua lại với kho lưu trữ từ xa. Hơn 90% yêu cầu của Habitat là yêu cầu đọc, cũng là một lý do để triển khai bộ nhớ đệm.

Để tránh lưu dữ liệu cũ trong bộ nhớ đệm, OpenAI sử dụng luồng thay đổi của Azure Cosmos DB. Khi dữ liệu gốc thay đổi, thông tin thay đổi được truyền đến từng khu vực để vô hiệu hóa bộ nhớ đệm tương ứng; lần truy vấn tiếp theo sẽ lấy lại giá trị mới nhất. OpenAI cho biết việc vô hiệu hóa bộ nhớ đệm được truyền đi toàn cầu trong vài giây.

Một phần dịch vụ Habitat được viết lại từ Python sang Rust. OpenAI cho biết độ trễ giảm nhờ kết hợp nhiều biện pháp, gồm bố trí dữ liệu giữa các khu vực, bộ nhớ đệm và chuyển đổi sang Rust. Công ty không công bố mức đóng góp của từng biện pháp, khoảng thời gian đo trước và sau thay đổi, hay phân bố độ trễ theo từng khu vực.

Cách vận hành container cũng được điều chỉnh. OpenAI từng chuyển từ mô hình chứa dữ liệu của nhiều sản phẩm trong một container sang container riêng cho từng sản phẩm, sau đó quay lại dùng container chia sẻ làm mặc định để cân nhắc kế hoạch dung lượng và gánh nặng vận hành.

Để hạn chế tình trạng một tác vụ sử dụng quá nhiều tài nguyên trong mô hình chia sẻ, OpenAI áp dụng các biện pháp như giới hạn yêu cầu đến khóa nóng và hạ mức ưu tiên của tác vụ ngoại tuyến nhằm bảo vệ yêu cầu tương tác. Công ty cho biết hỗ trợ đa khách thuê vẫn đang ở giai đoạn đầu.

Trong tài liệu phần 1 công bố ngày 11 tháng 9, OpenAI cho biết Habitat xử lý hơn 70 triệu yêu cầu mỗi giây và quản lý hơn 500 petabyte (PB) dữ liệu. Công ty cũng nói nền tảng này hỗ trợ các sản phẩm được hơn 1 tỷ người sử dụng mỗi tuần. Những số liệu đó phản ánh quy mô toàn nền tảng, với phạm vi thống kê khác với số liệu độ trễ đọc được công bố lần này.

Dữ liệu không có trong bộ nhớ đệm vẫn phải được lấy từ kho lưu trữ từ xa. OpenAI cho biết trong thời gian tới công ty sẽ nghiên cứu cách bố trí dữ liệu ngay từ lúc lưu trữ gần hơn với khu vực nơi dữ liệu được truy vấn trên thực tế.