Loại tải công việc nào sẽ phù hợp để sử dụng trên Amazon EC2 Spot Instances?

Question

Amazon vừa thông báo "Spot Instances" cho cơ sở hạ tầng dựa trên EC2 của họ. Tôi đã tự hỏi loại công việc nào sẽ phù hợp với dịch vụ đó?

Trường hợp điểm cho phép bạn đặt giá thầu cho dung lượng Amazon EC2 chưa sử dụng. Các trường hợp được tính Giá giao ngay được thiết lập bởi Amazon EC2, dao động theo định kỳ tùy thuộc vào nguồn cung cấp và nhu cầu về khả năng phát hiện tại chỗ .

Interesting quote:

Triết lý của JIT là đơn giản: hàng tồn kho là lãng phí.

---

EDITED:

Tôi tự hỏi nếu có những ứng dụng mà có thể duy trì bản thân (đọc: có khả thi) chỉ bằng cách tận dụng một khối lượng lớn những trường hợp Spot. Hãy suy nghĩ về nó: hãy tưởng tượng bạn nhận được 10 trường hợp với giá 1 trung bình ... tất nhiên sẽ không có bảo đảm nhưng trong trường hợp không có trường hợp Spot nào khả dụng, một số trường hợp "bình thường" có thể được khởi động .

Answer 1

Rõ ràng đây là cho bất kỳ khối lượng công việc nào không cần phải là thời gian thực.

Giả sử trên quy mô nhỏ hơn, điều này có thể áp dụng như thế nào với stackoverflow? Ví dụ: nhiều huy hiệu trên trang web này không được tính theo thời gian thực. Có quy trình định kỳ sẽ đánh giá tính đủ điều kiện và không quan trọng liệu nó có chạy vào lúc 4 giờ sáng hay 4 giờ chiều hàng ngày miễn là nó chạy. Làm lúc 4 giờ sáng có thể rẻ hơn 5 xu. (rõ ràng là họ không sử dụng EC2 chút nào cho điều này)

Quy mô lớn hơn? Công cụ tìm kiếm trên tập dữ liệu lớn có thể cần dung lượng máy tính khổng lồ để xây dựng các chỉ mục của nó. Nếu bạn lập chỉ mục dữ liệu mới một lần một ngày và mất 2 giờ để lập chỉ mục chúng trên hàng trăm máy chủ, bạn có thể thực hiện nó qua đêm và tiết kiệm có thể hàng ngàn đô la mỗi ngày.

Bằng cách truyền tải khối lượng công việc suốt ngày đêm, Amazon giúp tối đa hóa việc sử dụng tài nguyên của họ và do đó cung cấp giá rẻ nhất trên thị trường.

Answer 2

Amazon chỉ có thể nghĩ về những khối lượng công việc:

• hình ảnh và video chế biến, chuyển đổi và render
• nghiên cứu khoa học xử lý dữ liệu
• mô hình và phân tích tài chính

Instances điểm nhắc nhở tôi của "đồng hồ đo điện kép", nơi bạn trả ít năng lượng hơn khi nhu cầu ít hơn. Tôi nghĩ đó là một khái niệm rất thú vị, và là một sự giới thiệu khá bất ngờ đối với đám mây, nhưng có lẽ sẽ rất khó áp dụng cho các vấn đề kinh doanh thông thường.

Answer 3

Tôi đang xem xét thiết lập một cụm linh hoạt (nói HADOOP) với một xương sống chạy trên các trường hợp thông thường và một vài bộ trường hợp bổ sung với giá giảm tại chỗ. Khi giá giảm, các phiên bản bổ sung trở nên khả dụng để xử lý các đơn vị công việc.Nếu giá tăng, các nút sẽ bị tắt. Cụm xử lý việc này bằng cách cấp lại các đơn vị công việc cho các nút khác, giống như trong trường hợp lỗi nút.

Rõ ràng đây là một môi trường khá thù địch, do đó cần phải thực hiện một số điều chỉnh. Nếu bạn làm việc với bản sao chuẩn 3 lần cho hệ tập tin toàn cục và ba nút chứa khối được tắt cùng một lúc, bạn sẽ mất. Việc lan truyền giá thể hiện tại chỗ làm giảm khả năng mất nhiều trong một lần giảm giá. Việc tăng nhân rộng sẽ làm giảm tác động và không gian đĩa được miễn phí với cá thể sao cho không phải là yếu tố. Như thế này đủ chưa? Chúng ta sẽ thấy.

Answer 4

Có các trường hợp sử dụng rõ ràng như xử lý theo lô hoặc tác vụ không cần phải chạy 24/7.

Các triển khai thú vị khác là khả năng bổ sung. Bạn có thể sử dụng kết hợp phiên bản theo yêu cầu và tại chỗ để chạy trang web của mình. Các trường hợp theo yêu cầu sẽ đóng vai trò là 'cốt lõi' của bạn. Nếu các phiên bản tại chỗ của bạn bị hỏng trong vài giờ ở đây hoặc ở đó, phiên bản theo yêu cầu của bạn có thể khó hơn một chút nhưng trang web của bạn vẫn có thể truy cập được.