Tính toán Hash trong khi lưu một tệp?

Question

Tôi có một số inputStream mà tôi muốn sử dụng để tính toán băm và lưu tệp vào đĩa. Tôi muốn biết làm thế nào để làm điều đó một cách hiệu quả. Tôi có nên sử dụng một số tác vụ để thực hiện đồng thời không, tôi có nên sao chép luồng qua hai luồng, một cho phương thức saveFile và một cho phương thức computeHash hay tôi nên làm gì khác?

Answer 1

Bạn sẽ cần xếp các byte của luồng vào một số byte[] để băm chúng.

Answer 2

Điều gì về việc sử dụng thuật toán băm hoạt động ở cấp khối? Bạn có thể thêm khối vào băm (sử dụng TransformBlock) và sau đó ghi khối đó vào khối foreach trong luồng.

chưa được kiểm tra bắn thô:

using System.IO; 
using System.Security.Cryptography; 

... 

public byte[] HashedFileWrite(string filename, Stream input) 
{ 
    var hash_algorithm = MD5.Create(); 

    using(var file = File.OpenWrite(filename)) 
    { 
     byte[] buffer = new byte[4096]; 
     int read = 0; 

     while ((read = input.Read(buffer, 0, buffer.Length)) > 0) 
     { 
      hash_algorithm.TransformBlock(buffer, 0, read, null, 0); 
      file.Write(buffer, 0, read); 
     } 

     hash_algorithm.TransformFinalBlock(buffer, 0, read); 
    } 

    return hash_algorithm.Hash; 
} 

Answer 3

Nó có thể không phải là lựa chọn tốt nhất, nhưng tôi sẽ lựa chọn để đi cho Stream hậu duệ/wrapper, một trong đó sẽ được pass-through cho ai thực sự viết hồ sơ cho Cái đĩa.

Vì vậy:

• xuất phát từ Stream
• có một thành viên như Stream _inner; đó sẽ là dòng mục tiêu để viết
• thực hiện Write() và tất cả những thứ liên quan
• trong Write() băm các khối dữ liệu và gọi _inner.Write()

Cách sử dụng ví dụ

Stream s = File.Open("infile.dat"); 
Stream out = File.Create("outfile.dat"); 
HashWrapStream hasher = new HashWrapStream(out); 
byte[] buffer=new byte[1024]; 
int read = 0; 
while ((read=s.Read(buffer)!=0) 
{ 
    hasher.Write(buffer); 
} 
long hash=hasher.GetComputedHash(); // get actual hash 
hasher.Dispose(); 
s.Dispose(); 

Answer 4

Đây là giải pháp của tôi, nó viết một mảng của cấu trúc (biến ve) như một tập tin csv (sử dụng gói NuGet CsvHelper) và sau đó tạo ra một hash cho mục đích kiểm tra bằng cách sử dụng hậu tố. sha256

Tôi làm điều này bằng cách viết csv vào memoryStream, sau đó ghi luồng bộ nhớ vào đĩa, sau đó chuyển bộ nhớ tới bản băm.

Giải pháp này đang giữ toàn bộ tệp ở dạng bộ nhớ. Nó là tốt cho tất cả mọi thứ ngoại trừ các tập tin đa gigabyte mà sẽ chạy bạn ra khỏi ram. Nếu tôi phải làm điều này một lần nữa, tôi có thể thử sử dụng phương pháp CryptoStream, nhưng điều này là đủ tốt cho các mục đích dự đoán của tôi.

Tôi đã xác minh qua công cụ của bên thứ ba mà các băm hợp lệ.

Đây là mã:

//var ticks = **some_array_you_want_to_write_as_csv** 

using (var memoryStream = new System.IO.MemoryStream()) 
      { 
       using (var textWriter = new System.IO.StreamWriter(memoryStream)) 
       { 
        using (var csv = new CsvHelper.CsvWriter(textWriter)) 
        { 
         csv.Configuration.DetectColumnCountChanges = true; //error checking 
         csv.Configuration.RegisterClassMap<TickDataClassMap>(); 
         csv.WriteRecords(ticks); 

         textWriter.Flush(); 

         //write to disk 
         using (var fileStream = new System.IO.FileStream(targetFileName, System.IO.FileMode.Create)) 
         { 
          memoryStream.Position = 0; 
          memoryStream.CopyTo(fileStream); 

         } 

         //write sha256 hash, ensuring that the file was properly written 
         using (var sha256 = System.Security.Cryptography.SHA256.Create()) 
         { 
          memoryStream.Position = 0; 
          var hash = sha256.ComputeHash(memoryStream); 
          using (var reader = System.IO.File.OpenRead(targetFileName)) 
          { 
           System.IO.File.WriteAllText(targetFileName + ".sha256", hash.ConvertByteArrayToHexString()); 
          } 
         } 

        } 

       } 
      } 

Answer 5

Phương pháp này sẽ sao chép và băm với suối xích.

private static byte[] CopyAndHash(string source, string target, Action<double> progress, Func<bool> isCanceled) 
{ 
    using(var sha512 = SHA512.Create()) 
    using (var targetStream = File.OpenWrite(target)) 
    using (var cryptoStream = new CryptoStream(targetStream, sha512, CryptoStreamMode.Write)) 
    using (var sourceStream = File.OpenRead(source)) 
    { 
     byte[] buffer = new byte[81920]; 
     int read; 
     while ((read = sourceStream.Read(buffer, 0, buffer.Length)) > 0 && !isCanceled()) 
     { 
      cryptoStream.Write(buffer, 0, read); 

      progress?.Invoke((double) sourceStream.Length/sourceStream.Position * 100); 
     } 

    File.SetAttributes(target, File.GetAttributes(source)); 

    return sha512.Hash; 
    } 
} 

Full mẫu thấy https://gist.github.com/dhcgn/da1637277d9456db9523a96a0a34da78