Khuôn khổ thực thể .NET Chèn và chèn số lượng lớn

Question

Khi tôi sử dụng đối tượng xxxContext của mình và phát hành một số Thêm vào bảng, sau đó SaveChanges() cách khung thực thể giải quyết vấn đề này với SQL như thế nào? Nó sẽ chỉ lặp làm chèn vào xxx hoặc nếu có hàng trăm hàng, nó đủ thông minh để đưa ra lệnh Chèn số lượng lớn không?

Câu hỏi thưởng: Nếu nó không phát hành Chèn hàng loạt có cách nào để ép nó để hiệu suất DB của tôi không bị giết bởi chèn riêng biệt? Hoặc để số lượng lớn đến một bảng tạm thời sau đó hợp nhất với bảng ban đầu như một Upsert?

Answer 1

Sự sụp đổ của bất kỳ công cụ ORM nào là nó "trò chuyện". Hầu hết thời gian này là đủ tốt. Đôi khi nó không phải là.

Câu trả lời ngắn gọn là "không".

Đó là lý do tại sao đôi khi tôi chọn IDataReader qua EF hoặc NHibernate, v.v. Và đối với thao tác chèn hàng loạt, tôi gửi xml đến quy trình được lưu trữ và tôi băm nhỏ và chèn/cập nhật hàng loạt hoặc hợp nhất từ ​​đó. Vì vậy, ngay cả khi tôi sử dụng ORM, tôi tạo ra một thư viện miền không phải là EF (hoặc NHibernate) phụ thuộc ...... vì vậy tôi có một "van an toàn" để vượt qua ORM trong các tình huống nhất định.

Answer 2

Tôi e rằng EF không hỗ trợ chèn hoặc cập nhật hàng loạt. Như bạn đã nói, EF sẽ tạo ra các lệnh Chèn và thực hiện chúng một cách riêng biệt (nhưng tất cả được bao bọc trong một giao dịch đơn lẻ). Có một số kế hoạch để thực hiện đợt, không chắc chắn nếu có một số tiến bộ gần đây. Hy vọng rằng trong EF6 nhưng tôi bằng cách nào đó nghi ngờ.

Bạn có thể đọc thêm trong số này discussion.

Answer 3

Nếu truy vấn chèn của bạn là ANSI SQL hoặc bạn không quan tâm đến việc hỗ trợ cơ sở dữ liệu multipe với codebase của bạn, bạn vẫn có backdoor để tạo ra một nhà cung cấp ADO.NET từ EF và thực hiện một số SQL liệu cuộc gọi

https://stackoverflow.com/a/1579220/98491

tôi sẽ làm một cái gì đó như thế này

private void BulkInsert(IEnumerable<Person> Persons) 
{ 

    // use the information in the link to get your connection 
    DbConnection conn = ... 
    using (DbCommand cmd = conn.CreateCommand()) 
    { 

     var sb = new StringBuilder(); 
     sb.Append("INSERT INTO person (firstname, lastname) VALUES "); 
     var count = 0; 
     foreach(var person in persons) 
     { 
      if (count !=0) sb.Append(","); 
      sb.Append(GetInsertCommand(person, count++, cmd)); 
     } 

     if (count > 0) 
     { 
      cmd.CommandText = sb.ToString(); 
      cmd.ExecuteNonQuery(); 
     } 
    } 



    if (sb.Length > 0) 
     ExecuteNonQuery(sb.ToString()); 
} 

private string GetInsertCommand(Person person, int count, DbCommand cmd) 
{ 
    var firstname = "@firstname" + count.ToString(); 
    var lastname = "@lastname" + count.ToString(); 
    cmd.Parameters.Add(firstname, person.Firstname); 
    cmd.Parameters.Add(lastname, person.Firstname); 
    return String.Format("({0},{1})", firstname, lastname); 
} 

tôi phải thừa nhận tôi đã không kiểm tra nó nhưng điều này phải là một phương pháp nhanh chóng và dơ bẩn để bỏ qua EF đối với một số chèn số lượng lớn cho đến khi chèn hàng loạt là một phần của lõi .

Cập nhật

Chỉ cần một ý tưởng nhanh chóng. Bạn đã thử phương thức ... từ không gian tên Migrations chưa? Có lẽ cái này không chèn số lượng lớn, đã không nhìn vào nó nhưng nó rất đáng để thử:

private void BatchInsert(IEnumerable<Person> persons) 
{ 
    context.Persons.AddOrUpdate(persons); 
} 

Tôi biết phương pháp này có thể được làm chậm nếu bạn xác định một cột chính như AddOrUpdate(p => p.Firstname, persons) nhưng tôi sẽ đoán mà không xac định nó , mà phải được tất cả chèn (không được bảo đảm)

Answer 4

có oportunity cho một số cải tiến trong Entity Framework:

Set:

yourContext.Configuration.AutoDetectChangesEnabled = false; 
yourContext.Configuration.ValidateOnSaveEnabled = false; 

Làm SaveChanges() trong các gói 100 lần chèn ... thử với 1000 và xem các thay đổi.

Vì trong suốt quá trình chèn này, ngữ cảnh giống nhau, bạn có thể xây dựng lại đối tượng ngữ cảnh của mình mỗi 1000 lần chèn. var yourContext = new YourContext();

Thực hiện những cải thiện này trong quá trình nhập dữ liệu của tôi, mất từ ​​7 phút đến 6 giây.

Số thực tế ... không thể là 100's o 1000 trong trường hợp của bạn ... hãy thử nó và tweek nó.

Answer 5

bạn có thể sử dụng bulk insert extension

sử dụng:

using EntityFramework.BulkInsert.Extensions; 

context.BulkInsert(myEntities); 

với DbContext:

using (var ctx = GetContext()) 
{ 
    using (var transactionScope = new TransactionScope()) 
    { 
     // some stuff in dbcontext  
     ctx.BulkInsert(entities);  
     ctx.SaveChanges(); 
     transactionScope.Complete(); 
    } 
} 

Answer 6

ASP NET Lõi phiên bản phương pháp nhanh chóng chèn từ Repository.

public virtual void AddRangeFastAndCommit(IEnumerable<T> entities) 
{ 
    MyDbContext localContext = new MyDbContext(_context.Options); 
    localContext.ChangeTracker.AutoDetectChangesEnabled = false; 

    foreach (var entity in entities) 
    { 
     localContext.Add(entity); 
    } 

    localContext.SaveChanges(); 
    localContext.Dispose(); 
}