Bộ nhớ chia sẻ giữa nhiều phiên bản AWS EC2

Question

Tôi đang gặp sự cố khi chia sẻ bộ nhớ giữa nhiều phiên bản EC2. Tôi sẽ phải chạy những công việc nặng nhọc nên tôi sẽ cần rất nhiều trường hợp để làm điều đó. Ở một bên, tôi có một khối lượng EBS gắn liền với một cá thể máy chủ. Ở phía bên kia tôi có một ví dụ công nhân. Tôi đã tạo một AMI của cá thể nhân viên này và sau đó tôi tạo ra một vài bản sao của AMI này. Có tất cả đang chạy trên cùng một VPC. Về cơ bản, cá thể máy chủ đang gửi công việc và người lao động đang thực hiện công việc. Tôi muốn tiết kiệm một số file log khi công nhân của tôi đang chạy các công việc, trong một cái gì đó lưu trữ phần như:

worker_1/ logfile.log

worker_2/ logfile.log

gì có thể là giải pháp tốt nhất để làm điều đó?

• Tôi đọc không thể đính kèm cùng một khối lượng EBS cho nhiều phiên bản.
• tôi đã có một cái nhìn tại GlusterFS nhưng đây là những gì tôi thấy:

"Trước khi nhận ra một bằng chứng của khái niệm với hai máy chủ, trong khu sẵn có khác nhau, sao chép một khối lượng EBS với một hệ thống tập tin ext4, chúng tôi sẽ liệt kê các trường hợp không sử dụng GlusterFS: Các tệp tuần tự được ghi đồng thời từ nhiều máy chủ như nhật ký. Hệ thống khóa có thể dẫn đến các sự cố nghiêm trọng nếu bạn lưu trữ nhật ký trong GlusterFS. để lưu trữ chúng. Nếu cần, chúng tôi có thể hợp nhất nhiều nhật ký máy chủ trước hoặc sau khi lưu trữ chúng trong S3. "

• Và cuối cùng, tôi cũng đã kiểm tra S3 xô gắn với s3fs nhưng tôi phát hiện ra nó không phải là một lựa chọn tốt quá:

"Bạn không thể cập nhật phần một tập tin với s3fs để thay đổi một byte sẽ tải lại toàn bộ tập tin ". Sau đó, nếu bạn muốn thực hiện thay đổi gia tăng nhỏ thì đó là số không xác định. Bạn không thể sử dụng s3fs - S3 Chỉ cần không làm việc theo cách đó bạn không thể thay đổi từng tệp một. ”

Sau đó, giải pháp tốt cho vấn đề của tôi và cho phép nhân viên viết tệp nhật ký của họ một lưu trữ chia sẻ?

Nhờ sự giúp đỡ của bạn!

Romanzo

Answer 1

Cảm ơn câu trả lời. nhưng cuối cùng tôi đang sử dụng NFS giữa các trường hợp và nó hoạt động khá tốt!

Answer 2

bạn có xem xét các tùy chọn có mỗi công nhân viết bản ghi của nó trên một đĩa cục bộ (có lẽ ngay cả trên phân vùng phù du), và sau đó làm mỗi nhân viên tải lên tệp nhật ký lớn của riêng mình lên S3 sau khi hoàn thành?

Điều này tương tự như những gì xảy ra khi bạn sử dụng Elastic MapReduce để chạy một số tác vụ phân tán trên cụm Hadoop.

Bạn sẽ nhận được thông lượng ghi cao (vì nó đang ghi vào đĩa cục bộ, nếu bạn sử dụng phân vùng tạm thời) và thông lượng tải lên cao để gửi tệp tới S3 (vì bạn có băng thông của nhiều công nhân có sẵn).

Answer 3

Không hoàn toàn chắc chắn về ngữ cảnh, nhưng liệu có thể writing objects trực tiếp trên S3 được lắp đặt có khả thi không?

Answer 4

Như được mô tả trong this thread và trong một số câu trả lời đã được cung cấp, hai cách phổ biến để thực hiện mục tiêu này là sử dụng S3 hoặc NFS để chia sẻ truy cập dữ liệu giữa các phiên bản.

Trên April 9th 2015, Amazon công bố Amazon Elastic File System (Amazon EFS), cung cấp giải pháp tốt hơn cho vấn đề bạn đang cố giải quyết.