Làm thế nào tôi có thể lấy mẫu hiệu quả một khoảng thời gian dài trong Splunk?

Question

Tôi muốn chạy truy vấn Splunk trong một khoảng thời gian dài (ví dụ: tháng hoặc năm), nhưng tôi đang tìm kiếm đủ dữ liệu mà tôi chỉ có thể tìm kiếm trong nhiều giờ hoặc ngày dữ liệu.

Tuy nhiên, đối với câu hỏi tôi muốn trả lời trong Splunk, tôi sẽ hài lòng với mẫu thống nhất hoặc thống kê không thống nhất của dữ liệu. Nói cách khác, tôi muốn truy vấn trả về N sự kiện được trải đều trong tháng qua, so với bất kỳ sự kiện liên tiếp nào N.

Một cách tôi xem là chỉ tìm kiếm sự kiện với date_minute=0 để nhanh chóng lọc 1/60 sự kiện, nhưng không linh hoạt.

Có cách nào tốt hơn để lấy mẫu sự kiện hiệu quả trong Splunk không?

Answer 1

Tôi đã tìm thấy một cuộc thảo luận liên quan về lấy mẫu trên trang Câu trả lời Splunk bên dưới.

http://answers.splunk.com/answers/3743/is-it-possible-to-get-a-sample-set-of-search-results-rather-than-the-full-search-results

Một thay thế cho lọc bởi date_minute hoặc date_second, là để lọc các sự kiện trong một điều khoản where sử dụng _serial tài sản hoặc random() chức năng. Ví dụ,

 
* | where (_serial % 60) = 0 | ... 

hoặc

 
* | where (random() % 60) = 0 | ... 

Tuy nhiên, trong cả hai trường hợp, tìm kiếm xuất hiện để làm một quét toàn bộ dữ liệu. Điều này vẫn có thể được mong đợi nếu bạn cần sự linh hoạt và kết quả là đưa vào một truy vấn đắt tiền hơn. Nếu không, sử dụng phương pháp date_second nhanh hơn đáng kể vì các sự kiện được lập chỉ mục theo trường đó. Ví dụ: hai truy vấn bên trên chạy trong 3m 20s trên một tập hợp con dữ liệu, nơi truy vấn dưới đây chạy trong 11s trên cùng một dữ liệu.

 
* date_second=0 | ... 

Answer 2

Nếu bạn đang cố gắng chạy tìm kiếm và bạn không hài lòng với hiệu suất của Splunk, thì tôi sẽ đề xuất bạn hoặc report accelerate hoặc data model accelerate it. Hoặc bạn có thể tạo tệp tsidx của riêng mình (được tạo tự động bằng cách tăng tốc mô hình báo cáo và dữ liệu) với tscollect, sau đó chạy tstats trên đó.

Answer 3

Splunk bây giờ hỗ trợ lấy mẫu dữ liệu link to docs