Kiến trúc tốt nhất cho truy vấn 30 giờ

Question

Tôi có một vấn đề thú vị cần giải quyết. Một trong những khách hàng của tôi đã giúp tôi phát triển một chương trình phân tích chứng khoán với gần 50 năm dữ liệu chứng khoán cho gần một nghìn ký hiệu. Tôi đã phát triển một loạt các bộ lọc được áp dụng vào bất kỳ ngày cụ thể nào để xem liệu có bất kỳ điều gì rơi vào một giao dịch hay không.

Chúng tôi muốn chạy bộ lọc này cho mỗi ngày dữ liệu chúng tôi có cho mỗi cổ phiếu. Về cơ bản, báo cáo loại ngày bắt đầu và kết thúc của bạn. Tuy nhiên phải mất 6 phút để lọc mỗi tuần cho mỗi biểu tượng. Chúng tôi đang tính toán khoảng 40 giờ để chạy báo cáo trên toàn bộ tập dữ liệu của chúng tôi.

Yêu cầu ghi đè là khách hàng của tôi có thể thực hiện bất kỳ thứ gì trong ứng dụng từ bất kỳ máy tính nào (anh ấy đi rất nhiều), vì vậy chúng tôi dựa trên trình duyệt.

Để giải quyết vấn đề này, tôi đã viết một phương pháp không đồng bộ chạy báo cáo này, tuy nhiên bộ đếm thời gian không hoạt động của hồ bơi ứng dụng sẽ giết công việc. Tôi không muốn phải bắt đầu điều chỉnh thời gian chờ cho toàn bộ ứng dụng để hỗ trợ báo cáo này (chúng tôi sẽ thực hiện rất nhiều điều này vì mọi scenerio cổ phiếu sẽ cần phải chạy trên toàn bộ tập dữ liệu của chúng tôi để phân tích trước khi nó được sử dụng cho hoạt động giao dịch).

Có ai có bất kỳ ý tưởng chung hoặc trải nghiệm nào với kiến ​​trúc web sẽ hỗ trợ quá trình không đồng bộ cực dài không?

Cảm ơn

Answer 1

Như một gợi ý chung tôi muốn giới thiệu một dịch vụ Windows độc lập, Console App hoặc tương tự với các điều khiển cuộc đời rất cẩn thận và khai thác gỗ, mà sẽ chạy liên tục và kiểm tra (thăm dò) cho 'công việc để xử lý' trong một cơ sở dữ liệu, sau đó cập nhật cơ sở dữ liệu với kết quả và thông tin tiến độ.

Nó có thể không phải là cách tốt nhất nhưng tôi đã sử dụng nó trước nhiều lần và nó đáng tin cậy, khả năng mở rộng và có hiệu suất tốt.

Cách tốt nhất để giữ yêu cầu web tối đa một hoặc hai phút - chúng không bao giờ được thiết kế cho thời gian xử lý nặng. Bằng cách này, bạn có thể 'đăng ký' trên trạng thái công việc mỗi phút hoặc lâu hơn (sử dụng Dịch vụ Web).

Nếu bạn có bất cứ thắc mắc của tôi hay về ý tưởng xin vui lòng viết bình luận & tôi sẽ được hạnh phúc để giúp đỡ, xây dựng hoặc đề nghị ..

Hy vọng rằng sẽ giúp!

---

(bổ sung: Tôi tin rằng Windows và dịch vụ được underused Tất cả phải mất là một lớp cơ sở nhanh chóng hoặc tập hợp các phương pháp helper tái sử dụng và bạn đã có một đăng nhập, đáng tin cậy, tự động, cấu hình, nhanh chóng-to-thực hiện! nhanh chóng để thử nghiệm với quá!)

Answer 2

Có lý do nào không chỉ đơn giản là chạy một dịch vụ trong nền và lưu trữ resultsets cá nhân vào một bảng kết quả chỉ đọc khi chúng được yêu cầu? Bạn có cần chạy truy vấn trong thời gian thực không? Ứng dụng có thể truy xuất các trang kết quả khi chúng được tạo bởi dịch vụ.

Answer 3

Nói chung, các quá trình không đồng bộ cực dài không đi trên web.

yêu cầu của ông nên được xếp hàng đợi và quá trình khác nên chạy công việc và lưu trữ dữ liệu theo định dạng người dùng sẽ sử dụng nó trong.

Answer 4

Sáu phút để lọc một tuần dữ liệu? Có vẻ như db của bạn cần finetuning chỉ mục thích hợp.

Answer 5

Có vẻ như bạn đang thực hiện truy vấn SQL trực tiếp dựa trên những dữ liệu này. Bạn đã cân nhắc tải dữ liệu hay chưa, ví dụ: Dịch vụ phân tích SQL Server và thiết lập một khối lập phương với thời gian (để bắt đầu), kích thước kho và mã vạch? Tùy thuộc vào bản chất của các truy vấn của bạn, bạn có thể nhận được vào thời gian phản hồi khá hợp lý. Cơ sở dữ liệu quan hệ là tốt cho xử lý giao dịch trực tuyến (trong một số thông số thời gian tải và đáp ứng), nhưng công việc phân tích đôi khi đòi hỏi phương pháp và công nghệ của kho dữ liệu thay thế. (Hoặc, có lẽ, cơ sở dữ liệu liên kết ... có các lựa chọn thay thế.)

Tuy nhiên, xét đến Murphy, có thể bạn sẽ có một số truy vấn chạy dài. Dữ liệu có khác nhau cho người dùng cuối khác nhau không? Nếu không, tại sao không tính toán trước câu trả lời? Không có gì dựa trên http nên mất hơn một phút để xử lý, nếu lúc đó - ít nhất là không theo thiết kế!

Answer 6

Tùy thuộc vào chi tiết cụ thể của bộ lọc, điều này nghe giống như một tác vụ có thể hưởng lợi từ việc song song - chia truy vấn trên nhiều nút tính toán chạy bộ lọc trên tập con (phân đoạn) của dữ liệu. Nếu bộ lọc của bạn tập trung vào phân tích một cổ phiếu trên nhiều dữ liệu thời gian, bạn có thể chia công việc trên biểu tượng cổ phiếu và có nhiều nút tính toán xử lý các biểu tượng chứng khoán khác nhau đồng thời. Nếu bạn cần nghiên cứu mối quan hệ giữa các biểu tượng chứng khoán theo thời gian, có thể sẽ có ý nghĩa hơn khi chia công việc theo khoảng thời gian và kết hợp các kết quả sau khi hoạt động (mapreduce). Đây là một trường hợp ném phần cứng nhiều hơn vào vấn đề thực sự có thể cải thiện đáng kể thời gian đáp ứng. Hãy xem xét ví dụ về công cụ tìm kiếm của Google.

Thông báo trước áp dụng thông thường: xem xét triển khai bộ lọc hiện tại của bạn để biết các nút cổ chai hiệu suất trước tiên. Đảm bảo rằng các bảng bạn đang nhấn được lập chỉ mục thích hợp, vv. Trước tiên, hãy tính toán trước các mối quan hệ và tiêu hóa các tính toán cần thiết thường xuyên. Lưu trữ là giá rẻ nếu nó sẽ tiết kiệm thời gian.

Yêu cầu web của bạn có thể khởi động hoạt động truy vấn phân tán/thu thập phân phối truy vấn đến các nút tính toán có sẵn trong đám mây (Windows Azure, Google Apps, Amazon). Với đủ các nút tính toán và phân phối công việc phù hợp, bạn có thể nhận được phản hồi trong thời gian thực gần.

Answer 7

Tôi không biết tại sao mọi người trả lời ở đây đều muốn tất cả công việc được thực hiện trong cơ sở dữ liệu, nhưng kiểm soát công việc phải ở bên ngoài. Nó giống như đặt khóa đánh lửa cho chiếc xe của bạn ở bên ngoài. Thực ra, tôi biết tại sao. Bạn đã gắn thẻ câu hỏi này với wcf.

Và đề xuất sử dụng "nút tính toán" vừa hoàn thành bingo buzzword của tôi, cảm ơn dthorpe! bạn không cần "tính toán các nút" chỉ là lõi. Hầu hết các RDBMS có PX được xây dựng ngay trong (Parallel Execution). Tại sao phải trả tiền cho điện toán đám mây mà bạn sử dụng hàng ngày, chỉ cần mua một máy chủ có đủ CPU, bạn sẽ ổn ... Không cần truy vấn "thu thập phân tán", chỉ cần bật PX ...

Pontus chỉ bạn đi đúng hướng. Được hài lòng với hiệu suất 6 phút và lo lắng về cách sắp xếp đó là vấn đề của bạn. Có rất nhiều chiến lược để quản lý dữ liệu của bạn thành các định dạng thúc đẩy tốc độ. Chỉ mục, phân vùng, hình khối, IOT. Bạn có thể làm hai loại vượt qua thay vì trong các loại bộ nhớ. Thống kê của bạn có thể đã lỗi thời gây ra kế hoạch xấu.

Tôi giả định rằng bạn đã không thực hiện toàn bộ tấn điều chỉnh db từ kỳ hạn của câu hỏi này. Bạn thực sự nên gửi một câu hỏi điều chỉnh cơ sở dữ liệu (s) và cho chúng tôi biết RDBMS bạn đang sử dụng và làm thế nào đến nay bạn đã điều chỉnh.

Answer 8

Tôi khuyên bạn nên đọc bài viết này về Asynchronous Procedure Execution. Nếu bạn logic là cơ sở dữ liệu ràng buộc (mà nó chắc chắn nhất là) thì điều này cung cấp cho một cách hoàn toàn đáng tin cậy để khởi động nhiệm vụ tính toán trong một thời trang không đồng bộ đó là đàn hồi để chuyển đổi dự phòng. Do tải của bạn có khả năng tương thích cao, bạn có thể khởi chạy một số tác vụ, ví dụ:một cho mỗi mã, xem bài viết tiếp theo Passing Parameters to a Background Procedure. Là một lưu ý phụ, kỹ thuật này tận dụng kích hoạt không đồng bộ SQL Server tích hợp được sử dụng bởi ít nhất hai tập đoàn tài chính lớn mà tôi biết, cho chính xác kịch bản tương tự như của bạn.

Answer 9

Mike,

Có nhiều cách để trả lời câu hỏi này, nhưng câu hỏi quan trọng hơn tôi thấy rằng bạn nên hỏi là, tại sao nó mất 6 phút để lọc cho một cổ phiếu?

Có Tôi biết bạn có 50 năm dữ liệu và rất nhiều cổ phiếu, NHƯNG không nên mất 6 phút. Vì vậy, quan trọng hơn, tôi sẽ xem xét nó cấu trúc bảng cụ thể, các chỉ mục trên đó và truy vấn và những gì nó đang làm.

Tôi đã từng làm việc cho một công ty tương tự, với các bảng có dung lượng gần 100Gb. Có kích thước của bảng, không phải toàn bộ db, và sau khi một số tinh chỉnh có các truy vấn được sử dụng để mất 15 phút + xuống đến 3 giây.

Tôi rất muốn giúp bạn đặc biệt nếu bạn đang chạy trên SQL Server. Gửi email cho tôi ryk99 [at] hotmail [dot] com và chúng tôi sẽ xem những gì chúng tôi có thể làm từ đó.

Answer 10

Bạn có nghĩ đến việc sử dụng giải pháp ETL như SSIS để điền trước dữ liệu của bạn không?