2017-12-11 95 views
9

Có cách nào để lấy ngày và giờ mà tài liệu tìm kiếm đàn hồi được viết không?Cách để xử lý dữ liệu mới (chỉ mục sau lần chạy cuối cùng) trong Elasticsearch?

Tôi đang chạy truy vấn es qua tia lửa và muốn KHÔNG để xem qua tất cả tài liệu mà tôi đã xử lý. Thay vào đó, tôi muốn đọc các tài liệu duy nhất được nhập vào giữa lần cuối cùng chương trình chạy và bây giờ.

Cách hiệu quả nhất để thực hiện việc này là gì?

Tôi đã xem xét;

  • cập nhật để thêm một lĩnh vực với một mảng với các phép toán luận vì nếu nó được nhìn qua đó phân tích. Phủ định đang chờ cập nhật xảy ra.
  • chỉ mục cho mỗi khung thời gian phương pháp, có thể là chia nhỏ các chỉ mục hiện tại thành các chỉ mục nhỏ hơn do đó theo giờ.Điều tôi thấy là số lượng mô tả tệp mở.
  • ??

Elasticsearch phiên bản 5.6

+2

Thêm một bộ đếm vào các tài liệu và tăng rằng mỗi khi bạn "quá trình" tài liệu của bạn. Đã từng là '_timestamp' nhưng đã bị xóa trong 5.x. Nhưng dấu thời gian đó không phải là thời điểm chính xác mà tài liệu đã được lập chỉ mục thành ES ;-). –

Trả lời

1

Elasticsearch không có chức năng như vậy.

Bạn cần lưu theo cách thủ công với từng ngày tài liệu. Trong trường hợp này, bạn sẽ có thể tìm kiếm theo phạm vi ngày.

+0

Vì vậy, bạn đang nói để thêm một trường chứa ngày/giờ được viết hoặc bây giờ()? – SparkleGoat

+1

@SparkleGoat Có, đúng. – Igor

2

Tôi đang chạy truy vấn es qua tia lửa và KHÔNG muốn xem qua tất cả tài liệu mà tôi đã xử lý. Thay vào đó, tôi muốn đọc các tài liệu duy nhất được nhập vào giữa lần cuối cùng chương trình đã chạy và bây giờ.

Một cách giải quyết có thể là:

Trong khi chèn dữ liệu sử dụng Logstash để Elasticsearch, Logstash gắn thêm một @timestamp chìa khóa dẫn đến tài liệu mà đại diện cho thời gian (theo giờ UTC) mà tại đó các tài liệu được tạo ra hoặc chúng tôi có thể sử dụng ingest pipline

Sau đó, chúng tôi có thể truy vấn dựa trên dấu thời gian.

Để biết thêm về vấn đề này xin vui lòng có một cái nhìn tại địa chỉ:

  1. Mapping changes
  2. There is no way to ask ES to insert a timestamp at index time
Các vấn đề liên quan