Theo dõi nhật ký Amazon S3 bằng Splunk?

Question

Chúng tôi có một mạng lưới người dùng mở rộng lớn mà chúng tôi theo dõi bằng cách sử dụng huy hiệu. Tổng lưu lượng truy cập nằm trong vùng lân cận là 60 triệu lần hiển thị mỗi tháng. Chúng tôi hiện đang xem xét chuyển đổi từ một giải pháp ghi nhật ký dựa trên cơ sở dữ liệu khá chậm (tùy chỉnh được xây dựng trên PHP — lộn xộn ...) sang một thay thế dựa trên nhật ký đơn giản dựa trên nhật ký Amazon S3 và Splunk.

Sau khi sử dụng Splunk cho một số tác vụ phân tích khác, tôi thực sự thích nó. Nhưng không rõ làm thế nào để thiết lập một nguồn giống như S3 với hệ thống. Có vẻ như các nguồn từ xa yêu cầu cài đặt Universal Forwarder, đây không phải là một tùy chọn ở đó.

Mọi ý tưởng về điều này?

Answer 1

Câu trả lời rất muộn nhưng tôi đang tìm kiếm điều tương tự và tìm thấy một ứng dụng Splunk làm những gì bạn muốn, http://apps.splunk.com/app/1137/. Tôi chưa thử nó.

Answer 2

Tôi khuyên bạn nên ghi nhật ký dữ liệu đã xử lý trước j-son vào cơ sở dữ liệu documentdb. Ví dụ, bằng cách sử dụng hàng đợi xanh hoặc công nghệ nhắn tin bus dịch vụ tương tự phù hợp với kịch bản của bạn kết hợp với documentdb xanh. Vì vậy, tôi sẽ giữ cho cơ sở dữ liệu của bạn dựa trên phương pháp tiếp cận và sửa đổi nó là một schemaless dễ dàng để quy mô tài liệu dựa trên DB.

Answer 3

Tôi sử dụng http://www.insight4storage.com/ từ AWS Marketplace để theo dõi tổng số sử dụng bộ nhớ AWS S3 của mình theo tiền tố, nhóm hoặc nhóm lưu trữ theo thời gian; cộng với nó cho tôi thấy các phiên bản trước đó lưu trữ theo tiền tố và mỗi nhóm. Nó có một cài đặt để lưu dữ liệu S3 dưới dạng nhật ký định dạng có thể hoạt động cho trường hợp sử dụng của bạn, ngoài giao diện người dùng và API webservice của nó.