Đăng nhập trễ trong Amazon S3

Question

Gần đây tôi đã lưu trữ trên Amazon S3 và tôi cần tệp nhật ký để tính toán số liệu thống kê cho các hoạt động "có", "đặt", "liệt kê" trong các đối tượng.

Và tôi đã quan sát thấy rằng các tệp nhật ký được sắp xếp một cách kỳ lạ. Tôi không biết khi nào nhật ký sẽ xuất hiện (không phải ngay lập tức, ít nhất 20 phút sau khi hoạt động) và có bao nhiêu dòng nhật ký sẽ được chứa trong một tệp nhật ký.

Sau đó, tôi cần tải xuống các tệp nhật ký này và phân tích chúng. Nhưng tôi không thể biết được tôi sẽ làm điều này bao lâu một lần.

Ai đó có thể trợ giúp? Cảm ơn.

Answer 1

Những gì bạn mô tả (các tệp nhật ký đang được cung cấp với sự chậm trễ và theo thứ tự không thể đoán trước) chính xác là declared by AWS là hành vi mong đợi. Đây là bản chất của hệ thống phân tán, AWS S3 đang sử dụng để cung cấp dịch vụ S3, cùng một yêu cầu có thể được phục vụ mỗi lần từ máy chủ khác nhau - tôi đã thấy 5 địa chỉ IP khác nhau được cung cấp để xuất bản. Vì vậy, giải pháp duy nhất là: chấp nhận sự chậm trễ, xem sự chậm trễ bạn trải nghiệm và thêm một số thời gian thêm và học sống với tổng số chậm trễ này (tôi mong đợi một cái gì đó như 30-60 phút, nhưng số liệu thống kê có thể nói nhiều hơn).

Nếu bạn cần bản ghi nhật ký yêu cầu, bạn có thể tự sắp xếp hoặc tìm kiếm một số giải pháp xử lý nhật ký - Tôi đã thấy một số ứng dụng được cung cấp chính xác cho mục đích này. Trong trường hợp, bạn thực sự cần phải nhận được tệp nhật ký của bạn với độ trễ rất ngắn, bạn phải tự tạo nhật ký và điều này có nghĩa là bạn phải viết và chạy một số giao diện, cho phép truy cập vào tệp của bạn trên S3 và tại đồng thời giữ đăng nhập khi cần thiết.

Tôi chạy giải pháp như vậy, người dùng nhận được tên người dùng và mật khẩu và url của giao diện người dùng của tôi. Khi họ gửi yêu cầu, tôi đánh giá, nếu họ cung cấp thông tin xác thực phù hợp và nếu họ được phép xem tài nguyên đã cho và nếu có, tôi tạo một vài url tạm thời hợp lệ cho tài nguyên đó và chuyển hướng yêu cầu đến đó.

Nhưng chi phí tiền mặt như vậy (bạn phải chạy tiền sảnh của bạn ở đâu đó) và ít mạnh mẽ hơn, sau đó truy cập trực tiếp vào AWS S3.

Chúc may mắn, Lulu.