Nén các chuỗi trước khi đặt chúng vào dấu đỏ - nó có hợp lý không?

Question

Chi tiết hơn một chút: chúng tôi đã cố gắng tận dụng tối đa các zipmaps, ziplists, v.v. và tôi tự hỏi liệu các biểu diễn này đã được nén hay chỉ là các chuỗi và danh sách được nối tiếp; nén nào làm giảm đáng kể mức sử dụng bộ nhớ?

Ngoài ra, chi phí nén trên lớp máy chủ ứng dụng có được bù đắp bằng cách sử dụng mạng thấp hơn không? StackOverflow's experience đề xuất nó, bất kỳ ý kiến ​​nào khác?

Tóm lại, có hợp lý không - cho cả chuỗi ngắn và dài hơn?

Answer 1

Redis và khách hàng thường được IO ràng buộc và chi phí IO thường có ít nhất 2 đơn vị độ lớn đối với phần còn lại của chuỗi yêu cầu/trả lời. Tải trọng nhỏ hơn sẽ cung cấp cho bạn thông lượng cao hơn và độ trễ thấp hơn.

Tôi không tin rằng có bất kỳ quy tắc cứng và nhanh nào ngoài: cost of compression << IO gains. Bạn nên đặt nó và tìm chỗ mồ hôi trong thiết lập giới hạn dưới, nhưng MTU của mạng của bạn không phải là điểm khởi đầu xấu cho giới hạn dưới.

Answer 2

Redis không nén các giá trị của bạn và nếu bạn tự nén chúng, phụ thuộc rất nhiều vào kích thước của chuỗi bạn sẽ lưu trữ. Đối với các chuỗi lớn, hàng trăm K và nhiều hơn nữa có thể đáng giá chu kỳ CPU phụ ở phía máy khách, giống như khi bạn phục vụ các trang web, nhưng đối với các chuỗi ngắn hơn, nó có thể lãng phí thời gian. Các chuỗi ngắn thường không nén nhiều, vì vậy mức tăng sẽ quá nhỏ.

Answer 3

Có một cách thực tế để có được nén tốt, ngay cả đối với dây rất nhỏ (50 byte) -

Nếu giá trị của bạn là hơi tương tự như nhau - ví dụ, họ đang đại diện JSON của một vài liên quan các lớp đối tượng - bạn có thể tính toán trước từ điển nén/giải nén dựa trên một số văn bản mẫu.

Nghe có vẻ phức tạp, nhưng nó đơn giản trong thực tế - và đơn giản hơn với mã trình bao bọc bên phải để xử lý nó.

Dưới đây là một việc thực hiện Python:

https://github.com/internetarchive/openlibrary/blob/master/openlibrary/utils/compress.py

và đây là một wrapper để nén một lớp cụ thể của chuỗi: (hồ sơ JSON ngắn)

https://github.com/internetarchive/openlibrary/blob/master/openlibrary/utils/olcompress.py

Một bắt: để làm điều này hiệu quả, thư viện nén của bạn phải hỗ trợ 'nhân bản' trạng thái bên trong. (Thư viện Python có) Bạn có thể thực hiện một cái gì đó tương tự bằng cách thêm trước văn bản ví dụ khi nén, nhưng điều này có nghĩa là phải trả thêm chi phí tính toán.

Nhờ solrize cho mẹo tuyệt vời này.