Dịch vụ phân tích nhật ký Amazon Athena với S3 Glacier
Chúng tôi có petabyte dữ liệu trong S3. Chúng tôi là https://www.pubnub.com/ và chúng tôi lưu trữ dữ liệu sử dụng trong S3 của mạng của chúng tôi cho mục đích thanh toán. Chúng tôi có các tệp nhật ký được phân tách bằng tab được lưu trữ trong thùng S3. Athena cho chúng tôi HIVE_CURSOR_ERROR lỗi.Amazon AWS Athena S3 và thùng hỗn hợp Glacier
Xô S3 của chúng tôi được thiết lập để tự động đẩy lên sông băng AWS sau 6 tháng. Thùng của chúng tôi có các tệp S3 nóng và sẵn sàng để đọc ngoài các tệp sao lưu Glacier. Chúng tôi đang nhận được lỗi truy cập từ Athena vì điều này. Tệp được tham chiếu trong lỗi là bản sao lưu Glacier.
Đoán của tôi là câu trả lời sẽ là: không giữ các bản sao lưu băng hà trong cùng một nhóm. Chúng tôi không có tùy chọn này một cách dễ dàng do kích thước khối lượng dữ liệu của chúng tôi. Tôi tin rằng Athena sẽ không làm việc trong thiết lập này và chúng tôi sẽ không thể sử dụng Athena để phân tích nhật ký của chúng tôi.
Tuy nhiên, nếu có cách chúng tôi có thể sử dụng Athena, chúng tôi sẽ vui mừng. Có giải pháp cho HIVE_CURSOR_ERROR và cách bỏ qua các tệp Glacier không? Xô s3 của chúng tôi là một xô phẳng không có thư mục.
Tên đối tượng tập tin S3 hiển thị trong ảnh chụp màn hình ở trên và dưới được bỏ qua từ ảnh chụp màn hình. Tham chiếu tệp trong số HIVE_CURSOR_ERROR thực ra là đối tượng Glacier. Bạn có thể thấy nó trong ảnh chụp màn hình của S3 Bucket của chúng tôi.
Note Tôi cố gắng để đăng bài trên https://forums.aws.amazon.com/ nhưng đó là không bueno.
Tôi nghĩ đây có thể là lỗi trong Athena. Không nơi nào trong tài liệu Athena họ nhắc đến Glacier. – spg
Tôi đã thêm một số chi tiết khác cho thấy tên tệp đối tượng s3 của chúng tôi là trong thực tế ở trạng thái đối tượng sông băng. – PubNub