Di chuyển hàng triệu mặt hàng từ một tài khoản lưu trữ sang một số khác

Question

Tôi có một nơi nào đó trong khu phố có 4,2 triệu hình ảnh tôi cần chuyển từ Bắc Trung Hoa sang Tây Hoa Kỳ, như một phần của di chuyển lớn để tận dụng hỗ trợ Azure VM (những người không biết, Bắc Trung Mỹ không ủng hộ họ). Các hình ảnh này đều nằm trong một thùng chứa, được chia thành khoảng 119.000 thư mục.

Tôi đang sử dụng sau đây từ API Sao chép Blob:

public static void CopyBlobDirectory(
     CloudBlobDirectory srcDirectory, 
     CloudBlobContainer destContainer) 
{ 
    // get the SAS token to use for all blobs 
    string blobToken = srcDirectory.Container.GetSharedAccessSignature(
     new SharedAccessBlobPolicy 
     { 
      Permissions = SharedAccessBlobPermissions.Read | 
          SharedAccessBlobPermissions.Write, 
      SharedAccessExpiryTime = DateTime.UtcNow + TimeSpan.FromDays(14) 
     }); 

    var srcBlobList = srcDirectory.ListBlobs(
     useFlatBlobListing: true, 
     blobListingDetails: BlobListingDetails.None).ToList(); 

    foreach (var src in srcBlobList) 
    { 
     var srcBlob = src as ICloudBlob; 

     // Create appropriate destination blob type to match the source blob 
     ICloudBlob destBlob; 
     if (srcBlob.Properties.BlobType == BlobType.BlockBlob) 
      destBlob = destContainer.GetBlockBlobReference(srcBlob.Name); 
     else 
      destBlob = destContainer.GetPageBlobReference(srcBlob.Name); 

     // copy using src blob as SAS 
     destBlob.BeginStartCopyFromBlob(new Uri(srcBlob.Uri.AbsoluteUri + blobToken), null, null);   
    } 
} 

Vấn đề là, đó là quá chậm. Waaaay quá chậm. Với tốc độ, nó sẽ đưa ra các lệnh để sao chép tất cả những thứ này, Nó sẽ diễn ra ở đâu đó trong khu phố bốn ngày. Tôi không thực sự chắc chắn những gì nút cổ chai là (kết nối giới hạn phía khách hàng, tỷ lệ hạn chế về kết thúc của Azure, đa luồng, vv).

Vì vậy, tôi tự hỏi tùy chọn của tôi là gì. Có cách nào để tăng tốc độ, hay tôi chỉ bị mắc kẹt với một công việc sẽ mất bốn ngày để hoàn thành?

Chỉnh sửa: Làm thế nào tôi đang phân phối các công việc sao chép tất cả mọi thứ

//set up tracing 
InitTracer(); 

//grab a set of photos to benchmark this 
var photos = PhotoHelper.GetAllPhotos().Take(500).ToList(); 

//account to copy from 
var from = new Microsoft.WindowsAzure.Storage.Auth.StorageCredentials(
    "oldAccount", 
    "oldAccountKey"); 
var fromAcct = new CloudStorageAccount(from, true); 
var fromClient = fromAcct.CreateCloudBlobClient(); 
var fromContainer = fromClient.GetContainerReference("userphotos"); 

//account to copy to 
var to = new Microsoft.WindowsAzure.Storage.Auth.StorageCredentials(
    "newAccount", 
    "newAccountKey"); 
var toAcct = new CloudStorageAccount(to, true); 
var toClient = toAcct.CreateCloudBlobClient(); 

Trace.WriteLine("Starting Copy: " + DateTime.UtcNow.ToString()); 

//enumerate sub directories, then move them to blob storage 
//note: it doesn't care how high I set the Parallelism to, 
//console output indicates it won't run more than five or so at a time 
var plo = new ParallelOptions { MaxDegreeOfParallelism = 10 }; 
Parallel.ForEach(photos, plo, (info) => 
{ 
    CloudBlobDirectory fromDir = fromContainer.GetDirectoryReference(info.BuildingId.ToString()); 

    var toContainer = toClient.GetContainerReference(info.Id.ToString()); 
    toContainer.CreateIfNotExists(); 

    Trace.WriteLine(info.BuildingId + ": Starting copy, " + info.Photos.Length + " photos..."); 

    BlobHelper.CopyBlobDirectory(fromDir, toContainer, info); 
    //this monitors the container, so I can restart any failed 
    //copies if something goes wrong 
    BlobHelper.MonitorCopy(toContainer); 
}); 

Trace.WriteLine("Done: " + DateTime.UtcNow.ToString()); 

Answer 1

Đây là một chút một shot dài, nhưng tôi đã có một vấn đề tương tự với lưu trữ bảng theo đó yêu cầu nhỏ (mà tôi nghĩ BeginStartCopyFromBlob nên) bắt đầu chạy rất chậm. Đó là sự cố với Nagle's Algorithm và delayed TCP acks, hai tối ưu hóa cho lưu lượng truy cập mạng. Xem MSDN hoặc this guy để biết thêm chi tiết.

Upshot - tắt thuật toán của Nagle off - gọi sau trước khi thực hiện bất kỳ hoạt động lưu trữ Azure nào.

ServicePointManager.UseNagleAlgorithm = false; 

Hoặc chỉ blob:

var storageAccount = CloudStorageAccount.Parse(connectionString); 
ServicePoint blobServicePoint = ServicePointManager.FindServicePoint(account.BlobEndpoint); 
blobServicePoint.UseNagleAlgorithm = false; 

Sẽ là tuyệt vời biết nếu đó là vấn đề của bạn!

Answer 2

Thao tác copy blob không đồng bộ sẽ rất nhanh trong cùng một trung tâm dữ liệu (gần đây tôi đã sao chép vhd 30 GB sang một đốm màu khác trong khoảng 1-2 giây). Trên các trung tâm dữ liệu, hoạt động được xếp hàng đợi và xảy ra trên công suất dự phòng không có SLA (xem this article gọi là đặc biệt)

Để sao chép cùng một VHD 30GB trên các trung tâm dữ liệu và mất khoảng 1 giờ.

Tôi không biết kích thước hình ảnh của bạn, nhưng giả sử kích thước hình ảnh trung bình 500K, bạn đang xem khoảng 2.000 GB. Trong ví dụ của tôi, tôi thấy thông lượng 30 GB trong khoảng một giờ. Ngoại suy, có thể ước tính 2000 GB dữ liệu của bạn trong khoảng (2000/30) = 60 giờ. Một lần nữa, không có SLA. Chỉ là một đoán tốt nhất.

Một người nào đó khác đã đề xuất tắt thuật toán của Nagle. Điều đó sẽ giúp đẩy nhanh 4 triệu lệnh sao chép nhanh hơn và khiến chúng xếp hàng nhanh hơn. Tôi không nghĩ rằng nó sẽ có tác dụng của thời gian sao chép.