Làm thế nào để xây dựng một cơ sở dữ liệu thích hợp cho một hệ thống phân tích lưu lượng truy cập?

Question

Làm thế nào để xây dựng một cấu trúc thích hợp cho một dịch vụ phân tích? Hiện tại tôi có 1 bảng lưu trữ dữ liệu về mọi người dùng truy cập trang bằng ID của khách hàng của tôi để sau này khách hàng của tôi có thể xem thống kê cho một ngày cụ thể.

Tôi đã suy nghĩ một chút và tôi tự hỏi: Giả sử tôi có 1.000 người dùng và mỗi người có khoảng 1.000 lần hiển thị trên trang web của họ hàng ngày, có nghĩa là tôi nhận được 1.000.000 (1 triệu) bản ghi mới mỗi ngày vào một bảng. Làm thế nào nó sẽ làm việc sau 2 tháng hoặc lâu hơn (khi bảng đạt 60 triệu hồ sơ)?

Tôi chỉ nghĩ rằng sau một thời gian nó sẽ có nhiều bản ghi rằng các truy vấn PHP để rút ra dữ liệu sẽ thực sự nặng, chậm và mất rất nhiều tài nguyên, có đúng không? và làm thế nào để ngăn chặn điều đó?

Một người bạn của tôi làm việc trên một cái gì đó tương tự và anh ta sẽ tạo một bảng mới cho mọi khách hàng, đây có phải là cách chính xác để đi cùng không?

Cảm ơn!

Answer 1

Consider this Link to the Google Analytics Platform Components Overview page và đặc biệt chú ý đến cách dữ liệu được ghi vào cơ sở dữ liệu, chỉ dựa trên kiến ​​trúc của toàn bộ hệ thống.

Thay vì viết mọi thứ vào cơ sở dữ liệu của bạn ngay lập tức, bạn có thể ghi mọi thứ vào tệp nhật ký, sau đó xử lý nhật ký sau (có thể tại thời điểm lưu lượng truy cập không cao). Vào cuối ngày, bạn vẫn sẽ cần phải làm cho tất cả những ghi vào cơ sở dữ liệu của bạn, nhưng nếu bạn bó chúng lại với nhau và làm chúng khi loại tải là dễ chịu hơn, hệ thống của bạn sẽ quy mô tốt hơn rất nhiều.

Answer 2

Bạn có thể bình thường hóa hiển thị dữ liệu như thế này;

Client Table 
{ 
    ID 
    Name 
} 


Pages Table 
{ 
    ID 
    Page_Name 
} 

PagesClientsVisits Table 
{ 
    ID 
    Client_ID 
    Page_ID 
    Visits 
} 

và chỉ tăng lượt truy cập trên bảng cuối cùng trên mỗi lần hiển thị mới. Sau đó, số lượng tối đa các bản ghi trong đó sẽ trở thành (Số lượng khách hàng * Số trang)

Answer 3

Có một bảng với 60 triệu bản ghi có thể được chấp nhận. Đó là cơ sở dữ liệu cho cái gì. Nhưng bạn nên cẩn thận về số lượng trường bạn có trong bảng. Ngoài ra những gì datatype (=> kích thước) mỗi lĩnh vực có.

Bạn tạo một số loại báo cáo về dữ liệu. Hãy suy nghĩ về dữ liệu bạn thực sự cần cho các báo cáo đó. Ví dụ: bạn có thể chỉ cần số lượt truy cập trên mỗi người dùng trên mỗi trang. Một số đơn giản sẽ thực hiện thủ thuật.

Điều bạn cũng có thể làm là tạo báo cáo mỗi đêm và xóa dữ liệu thô sau đó.

Vì vậy, hãy đọc và suy nghĩ về điều đó.

Answer 4

Sự cố bạn đang gặp phải là hệ thống bị ràng buộc I/O. 1 triệu bản ghi mỗi ngày là khoảng 12 lần ghi mỗi giây. Điều đó có thể đạt được, nhưng kéo dữ liệu ra trong khi viết cùng một lúc sẽ làm cho hệ thống của bạn bị ràng buộc ở mức HDD. Những gì bạn cần làm là cấu hình cơ sở dữ liệu để hỗ trợ khối lượng I/O, chẳng hạn như - sử dụng công cụ cơ sở dữ liệu thích hợp (InnoDB và MyISAM), đảm bảo bạn có hệ thống con HDD đủ nhanh (RAID) , không phải ổ đĩa thông thường vì chúng có thể và sẽ thất bại tại một số điểm), thiết kế cơ sở dữ liệu của bạn một cách tối ưu, kiểm tra các truy vấn với EXPLAIN để xem bạn có thể gặp vấn đề gì với họ, thậm chí có thể sử dụng một công cụ lưu trữ khác - cá nhân, tôi sẽ sử dụng TokuDB nếu tôi là bạn.

Và cũng có thể, tôi chân thành hy vọng bạn sẽ thực hiện truy vấn, phân loại, lọc ở phía cơ sở dữ liệu chứ không phải ở phía PHP.