Thịnh hành 100 triệu + hàng

Question

Tôi có một hệ thống ghi lại một số giá trị được đo mỗi giây. Cách tốt nhất để lưu trữ dữ liệu xu hướng là giá trị tương ứng với một giây cụ thể?

1 day = 86.400 seconds 
1 month = 2.592.000 seconds 

Khoảng 1000 giá trị để theo dõi từng giây.

Hiện tại có 50 bảng nhóm dữ liệu xu hướng cho 20 cột mỗi cột. Các bảng này chứa hơn 100 triệu hàng.

TREND_TIME datetime (clustered_index) 
    TREND_DATA1 real 
    TREND_DATA2 real 
    ... 
    TREND_DATA20 real 

Answer 1

Tôi sẽ thay đổi phương pháp lưu dữ liệu và thay vì lưu dữ liệu 'thô' làm giá trị tôi sẽ lưu 5-20 phút dữ liệu trong mảng (Bộ nhớ, BL bên), nén mảng đó bằng thuật toán dựa trên LZ và sau đó lưu trữ dữ liệu trong cơ sở dữ liệu dưới dạng dữ liệu nhị phân. Ngoài ra, nó sẽ được tốt đẹp để tiết kiệm Max/Min/Avg/etc .. thông tin cho rằng nhị phân đoạn.

Khi bạn muốn xử lý dữ liệu, bạn có thể xử lý dữ liệu đoạn sau đoạn và bằng cách giữ cấu hình bộ nhớ thấp cho ứng dụng của bạn. cách tiếp cận này phức tạp hơn một chút nhưng rất có khả năng mở rộng về bộ nhớ/xử lý.

hy vọng điều này sẽ hữu ích.

Answer 2

Có phải vấn đề lược đồ cơ sở dữ liệu không?

1 giây đối với nhiều xu hướng rõ ràng trước tiên hiển thị cho bạn một bảng riêng biệt có khóa ngoài thứ hai bảng. Ngoài ra, nếu "nhiều giá trị xu hướng" được đại diện bởi các cột chứ không phải các hàng, bạn luôn có thể nối thêm các cột vào bảng giây và phải chịu các giá trị null.

Bạn đã thử điều đó chưa? Hiệu suất kém?

Answer 3

Bạn đã xem RRDTool - nó cung cấp cơ sở dữ liệu vòng tròn hoặc bộ đệm tròn, cho dữ liệu chuỗi thời gian. Bạn có thể lưu trữ dữ liệu ở bất kỳ khoảng thời gian nào bạn muốn, sau đó xác định các điểm hợp nhất và chức năng hợp nhất, ví dụ (tổng, phút, tối đa, trung bình) trong một khoảng thời gian nhất định, 1 giây, 5 giây, 2 ngày, v.v. các điểm hợp nhất mà bạn muốn, nó không cần lưu trữ tất cả các điểm dữ liệu khi chúng đã được tổng hợp.

Ganglia và Cacti sử dụng điều này dưới bìa và nó khá dễ sử dụng từ nhiều ngôn ngữ.

Nếu bạn cần tất cả các điểm dữ liệu, hãy xem xét sử dụng nó chỉ cho tập hợp.