Lưu trữ triệu khóa-giá trị trong memcached - ý tưởng tốt hay xấu?

Question

Tôi đang xem xét sử dụng memcached kết hợp với ứng dụng PHP của tôi để lưu trữ 5 triệu cặp khóa-giá trị. Mục tiêu của tôi là để tránh qua lại từ DB (trong trường hợp của tôi là hệ thống tập tin). Tôi có thể có 100-500 truy cập mỗi giây cho khóa-giá trị. Các khóa giá trị cả MD5 và ở dạng:

array('MD5X' => 'MD5Y', ...) 

Tôi không chắc chắn cách dữ liệu được lưu trữ, nhưng nếu chúng ta nhân 5 million * 16 bytes (keys) + 5 million * 16 bytes (values) chúng tôi nhận ~ 180MB.

:

Tập dữ liệu được cố định vì vậy tôi sẽ chỉ đọc từ nó (EDIT sau khi thử với một trường hợp memcached thực tôi sử dụng lên 750MB để lưu trữ tất cả các mục.).

Câu hỏi:

1. Đây có phải là một thiết kế tốt hay xấu?
2. Tôi có thể buộc phải ghi nhớ không bao giờ (trừ khi máy chủ bị treo) phải tải lại dữ liệu không? Giả sử rằng nắp bộ nhớ cao hơn dữ liệu được lưu trữ? Nếu không, tôi có thể sử dụng những kỹ thuật nào để đạt được cùng một mục tiêu.

Cảm ơn rất nhiều!

Answer 1

Bạn sẽ nhận được hiệu suất bạn cần? Chắc chắn rồi. Memcache rất nhanh. Chúng tôi lưu trữ khoảng 10 triệu phím và chúng tôi truy cập memcache khoảng 700 lần một giây. Nó chưa bao giờ làm chúng tôi thất vọng.

Bạn có thể tải tất cả các khóa trong memcache khi bạn khởi động ứng dụng và đặt ngày hết hạn là một thời gian rất dài. Điều mà bạn phải nhớ là memcache cuối cùng là một bộ nhớ đệm. Và nó không nên được sử dụng như một công cụ lưu trữ. Bạn phải thiết kế nó nghĩ rằng luôn luôn có khả năng không tìm thấy dữ liệu (khóa) mà bạn cần, và thực hiện cuộc gọi DB trong trường hợp đó.

Cách thay thế bạn có thể xem xét cơ sở dữ liệu noSQL như cassandra, Nó có tốc độ đọc và ghi tuyệt vời đáp ứng nhu cầu của bạn. Điều duy nhất là nó là một chút khó khăn để tinh chỉnh cassandra so với memcache.