2012-02-06 24 views
8

Tôi đã xem Esper (và Storm) để xử lý luồng .. Esper dường như làm chính xác những gì tôi muốn .. tức là phương tiện roling, trung bình, truy vấn phức tạp, v.v ... nhưng có một điều khiến tôi băn khoăn.Làm thế nào để mở rộng quy mô với siêu năng lực?

Tôi làm cách nào để mở rộng ra nhiều phiên bản với Esper?

Theo như tôi hiểu, Storm xử lý việc xử lý phân tán, nhưng với Esper bạn đang thực hiện.

Tôi sẽ không cần phải làm điều đó cho tương lai gần, nhưng khi chúng tôi phát triển, do đó, khối lượng dữ liệu của chúng tôi, sau đó sẽ cần phải mở rộng ra là tốt. Nhiều khả năng chúng tôi sẽ được triển khai trong Amazon EC2.

Tôi có cần chạy nhiều máy chủ và phân đoạn dữ liệu trước khi gửi chúng đến ứng dụng Esper của tôi không?

Có cách xử lý gọn nhẹ hơn không?

-Sajal

Trả lời

9

Bạn có thể chạy một thể hiện Esper trong vòng một tia, có nghĩa là bão sẽ xử lý tuple/sự kiện liên bang, và Esper sẽ xử lý các CEP vào các sự kiện mà nó nhận được trong một tia nhất định.

này có một số mã và thông tin về nhúng Esper trong một tia Bão: http://tomdzk.wordpress.com/2011/09/28/storm-esper/

Tuy nhiên ... Bạn cần có một trường hợp sử dụng có hỗ trợ tương đối stateless cơ Esper xử lý một tập hợp con của dữ liệu.

Ví dụ: bạn đang tính toán nhiệt độ trung bình hàng ngày theo thành phố. Nếu không phân phối các bộ dữ liệu của bạn bằng cách sử dụng shuffleGrouping dựa trên trường thành phố, thì mỗi tia Esper có thể có một bộ dữ liệu khác nhau cho mỗi thành phố.

Về cơ bản, hãy nhớ đọc về cách dữ liệu được phân phối trong cấu trúc liên kết bão trước khi cam kết với kiến ​​trúc này.

+0

Đó là một cách tiếp cận thú vị. Tuy nhiên, đối với trường hợp của chúng tôi, có vẻ như một trường hợp Esper duy nhất sẽ ổn cho tương lai sắp xảy ra, sau đó chúng ta có thể làm bão + esper, hoặc chúng ta có thể di chuyển theo cách thủ công. Sử dụng ví dụ nhiệt độ của bạn, chúng tôi sẽ theo dõi 10 - 15 thành phố, mỗi thành phố sẽ nhận được một lượng dữ liệu đồng đều và mỗi thành phố có thể được xử lý hoàn toàn riêng biệt và chỉ tóm tắt sau này. – sajal

+0

như tôi biết hầu hết các chức năng esper là bối cảnh cơ bản, trong một từ nó statued. làm thế nào để làm cho cơn bão gửi đúng tuple cho các bu-lông esper quyền? –

0

Từ câu hỏi của bạn, có vẻ như EsperHA có liên quan? Bạn đã xem nó chưa?

EsperHA là giải pháp hoàn chỉnh cho sự kiện ESP/CEP không hoạt động . Nó kết hợp Esper với bộ nhớ đệm cục bộ trong bộ nhớ, khả năng phục hồi dữ liệu tràn vào đĩa hoặc cơ sở dữ liệu và cấu hình cụm với khả năng sao lưu nóng .

+0

Có vẻ như EsperHA chỉ chăm sóc nhân rộng chứ không phải phân phối. Câu hỏi của tôi là đặc biệt về phân phối tải cho nhiều trường hợp. Tôi không hỏi về tính khả dụng. – sajal

+0

Tôi biết về EsperHA, nhưng chưa sử dụng nó. Nó dường như là một sản phẩm trả tiền, và cửa hàng của chúng tôi chỉ khám phá các tùy chọn miễn phí. – cmonkey

Các vấn đề liên quan