Kỹ thuật tốt nhất cho kết quả bộ nhớ đệm từ các truy vấn thay đổi không thường xuyên

Question

Tôi có một ứng dụng web php nơi dữ liệu nhất định thay đổi hàng tuần nhưng được đọc thường xuyên.

Truy vấn SQL truy xuất dữ liệu và mã php cho đầu ra html khá phức tạp. Có nhiều kết nối bảng và nhiều phép tính - nhưng chúng dẫn đến một bảng html khá cơ bản. Người dùng được nhóm và bảng giống nhau cho mỗi nhóm mỗi tuần, nhưng khác nhau cho các nhóm khác nhau. Tôi có khả năng có thể có hàng trăm bảng cho hàng ngàn người dùng.

Vì lý do hiệu suất, tôi muốn lưu vào bộ nhớ cache dữ liệu này. Thay vì chạy các truy vấn và tính toán này mỗi khi có ai đó truy cập trang, tôi muốn chạy một quy trình hàng tuần để tạo bảng cho mỗi nhóm cho tôi đọc đơn giản khi được yêu cầu.

Tôi muốn biết kỹ thuật nào bạn đã sử dụng thành công hoặc không thành công để đạt được điều gì đó như thế này?

Tùy chọn tôi có thể nhìn thấy bao gồm:

• Lưu trữ các kết quả html của các tính toán trong một bảng MySQL, xác định bởi nhóm người dùng
• Lưu trữ dữ liệu kết quả trong một bảng MySQL, xác định bởi nhóm người dùng (khó khăn như không có số cố định của các mục dữ liệu)
• Caching sản lượng trang trong các tập tin tĩnh

Bất kỳ lời đề nghị khác sẽ được hoan nghênh!

Answer 1

Có thực sự là một vài lựa chọn:

• PreRender các trang trên một cơ sở hàng tuần và sau đó phục vụ họ "tĩnh".
• Sử dụng bộ nhớ cache (ví dụ: Squid) để lưu trữ các câu trả lời như vậy trên cơ sở đầu tiên trong một tuần. Ví dụ: bạn có thể định cấu hình chính sách lưu vào bộ nhớ cache để các yêu cầu chuyển đến một trang cụ thể (ví dụ: very_long.php? ...) được lưu trữ riêng biệt với phần còn lại của trang web.
• Đảm bảo bạn bật bộ nhớ đệm DB. MySQL có bộ nhớ đệm của riêng nó và bạn có thể tinh chỉnh nó để các truy vấn dài lặp đi lặp lại không được tính toán lại.

Answer 2

trước hết, tiểu sử. xác minh rằng các truy vấn đó thực sự tiêu tốn một lượng thời gian đáng kể. có thể MySQL cache kết quả truy vấn đã thực hiện công việc cho bạn.

nếu chúng thực sự tiêu thụ tài nguyên, điều tôi sẽ làm là tạo bảng có kết quả tính toán và quy trình cần thực hiện khi cần thay đổi dữ liệu. những lần đọc thường xuyên này chỉ nên chuyển đến dữ liệu được tính trước, mà không cần phải kiểm tra xem liệu nó có còn hợp lệ hay không.

chỉ cần thêm một số móc vào các thủ tục sửa đổi dữ liệu cơ sở hoặc trình kích hoạt cơ sở dữ liệu nếu bạn có thể, những điều này sẽ được thực thi không thường xuyên (hàng tuần?) Và có thể mất nhiều thời gian để tạo ra bất kỳ kết quả nào.

Answer 3

Trong chức năng để tạo ra bàn, làm cho nó lưu trữ kết quả vào một tập tin trên đĩa:

/cache/groups/1.txt 
/cache/groups/2.txt 

Bạn không nhất thiết phải chạy một công việc hàng loạt hàng tuần cho nó, khi gọi chức năng lấy dữ liệu, kiểm tra xem bộ nhớ cache đã lỗi thời hay không tồn tại.Nếu vậy, tạo và lưu trữ kết quả sau đó. Nếu không, chỉ cần trả lại tệp đã lưu trong bộ nhớ cache.

function getGroupTable($groupId) { 
    if (cacheIsStale($groupId)) { 
     generateCache($groupId); 
    } 
    return file_get_contents($cacheFile); 
} 

Chức năng cacheIsStale() chỉ có thể nhìn vào file's timestamps để kiểm tra độ tươi.

Answer 4

Có vẻ như bạn đã có hầu hết mọi thứ trong số đó.

Một tùy chọn khác, giả sử dữ liệu bảng không lớn, là sử dụng memcache để lưu trữ kết quả - điều này có thể là giải pháp nhanh hơn, mặc dù bạn cần kiểm tra yêu cầu bộ nhớ để xem đó có phải là tùy chọn khả thi hay không.