BigQuery vs Elasticsearch để phân tích và lưu trữ nhật ký ứng dụng

Question

Tôi đang nghiên cứu giá trị của việc sử dụng BigQuery để có được thông tin chi tiết về tệp nhật ký ứng dụng. Các bản ghi được tạo ra bởi các ứng dụng Java và C#, hầu hết trong số chúng trên các máy ảo dựa trên đám mây. Tôi quan tâm để biết liệu những người khác đã làm điều này và các thành tích tương đối của BigQuery so với ElasticSearch/Logstash/Kibana. Lợi thế của BigQuery có vẻ là nó có thể xử lý một lượng lớn dữ liệu trong khi các giải pháp ELK có vẻ phù hợp hơn với bản chất không có cấu trúc của các logfiles, đặc biệt là khi chúng đến từ các hệ thống khác nhau.

Tôi cũng muốn hiển thị thông tin trên trang tổng quan. Kibana có vẻ rất tốt cho điều đó. Làm cách nào để tạo trang tổng quan bằng cách sử dụng giải pháp của Google (sử dụng trang tính google, v.v)?

Suy nghĩ, trường hợp sử dụng?

Answer 1

Elasticsearch và BigQuery làm việc tuyệt vời cùng nhau. BigQuery sẽ lấy nhiều dữ liệu như bạn có và truy vấn dữ liệu theo bất kỳ cách nào bạn muốn trong vài giây. Trong khi đó, một cài đặt Elasticsearch được điều chỉnh tốt sẽ cung cấp cho bạn câu trả lời trong chưa đầy một giây, nhưng chỉ cho một số truy vấn nhất định trong một lượng dữ liệu giới hạn.

Xem bài đăng này bởi ORY tại Vòng, nơi họ chi tiết cách họ sử dụng cả hai:

https://www.rounds.com/blog/collecting-user-data-and-usage/

Hai danh hiệu hàng đầu mà tóm tắt lý do của họ để làm cả hai:

• liệu Sống cùng Elasticsearch
• Dữ liệu lớn với Google BigQuery