6
EC2 cung cấp cơ chế có thể mở rộng theo yêu cầu rất thuận tiện để thực thi các quy trình có thể phân phối (song song) và S3 cung cấp dịch vụ lưu trữ đáng tin cậy.Cách thiết lập kết nối S3 đến EC2 nhanh và đáng tin cậy
Tôi đã cố gắng sử dụng các nút EC2 cho quy trình phân tích ETL &, quá trình này cần lượng lớn dữ liệu (100GB - 1TB) nhập vào rất nhanh (và nhiều lần trong ngày) và tài nguyên tính toán đầy đủ một thời gian ngắn.
Thiết kế trên cần
- A-băng thông cao/kết nối nhanh giữa S3 và EC2.
- S3 -> Kết nối EC2 cũng đáng tin cậy kể từ khi bắt đầu, dữ liệu bơm, quá trình thực thi và các nút chấm dứt phải được thực hiện càng sớm càng tốt không chỉ để tiết kiệm chi phí mà còn vì SLA có liên quan.
Nhưng khi chưa
- Các phương tiện duy nhất kéo dữ liệu ra của S3 có vẻ là thông qua http và do đó nó bị hạn chế bởi băng thông tải về các nút EC2.
- Ngoài ra việc nhập dữ liệu đi qua internet và do đó có thể không đáng tin cậy đủ cho các mục đích lập kế hoạch nghiêm ngặt đòi hỏi phải đệm đầy đủ trong các công việc.
Trong thiết lập trung tâm dữ liệu riêng, người dùng có thể thiết lập đường dây chuyên dụng nhanh hơn (nói 10Gbps) giữa bộ nhớ và nút vật lý.
Có tùy chọn thay thế/dịch vụ có thể có nào trong trường hợp aws có thể giải quyết các yêu cầu trên không.
amazon havent công bố bất cứ điều gì về vấn đề này trên website của mình, là có bất cứ nguồn nào khác để có được thông tin này? Có một mô hình định giá khác nhau cho phép sự linh hoạt để chọn tốc độ truyền không. – sandeepkunkunuru
Không có thông tin như vậy, bởi vì ** nó thay đổi **.Cách duy nhất để tăng tốc độ mạng AWS là bằng cách sử dụng các thể hiện cụm, nhận được 10 kết nối Gigabit giữa các máy chủ hoặc bằng cách sử dụng các trường hợp đắt tiền của AWS (http://aws.amazon.com/dedicated-instances/) để kiểm soát các hiệu ứng của những người khác trên máy chủ của bạn. – ceejayoz