Chèn toàn bộ DataTable vào cơ sở dữ liệu cùng một lúc thay vì từng hàng?

Question

Tôi có một DataTable và cần toàn bộ điều được đẩy vào một bảng Cơ sở dữ liệu.

Tôi có thể nhận được tất cả trong đó với một foreach và chèn mỗi hàng tại một thời điểm. Điều này đi rất chậm mặc dù kể từ khi có một vài nghìn hàng.

Có cách nào để thực hiện toàn bộ dữ liệu cùng một lúc có thể nhanh hơn không?

DataTable có ít cột hơn bảng SQL. phần còn lại của họ nên được để lại NULL.

Answer 1

Tôi phát hiện ra SqlBulkCopy là một cách dễ dàng để thực hiện việc này và không yêu cầu thủ tục lưu trữ được ghi trong SQL Server.

Dưới đây là một ví dụ về cách tôi thực hiện nó:

// take note of SqlBulkCopyOptions.KeepIdentity , you may or may not want to use this for your situation. 

using (var bulkCopy = new SqlBulkCopy(_connection.ConnectionString, SqlBulkCopyOptions.KeepIdentity)) 
{ 
     // my DataTable column names match my SQL Column names, so I simply made this loop. However if your column names don't match, just pass in which datatable name matches the SQL column name in Column Mappings 
     foreach (DataColumn col in table.Columns) 
     { 
      bulkCopy.ColumnMappings.Add(col.ColumnName, col.ColumnName); 
     } 

     bulkCopy.BulkCopyTimeout = 600; 
     bulkCopy.DestinationTableName = destinationTableName; 
     bulkCopy.WriteToServer(table); 
} 

Answer 2

Bạn có thể thực hiện việc này với thông số giá trị bảng.

Hãy nhìn vào bài viết sau đây:

http://www.codeproject.com/Articles/39161/C-and-Table-Value-Parameters

Answer 3

Vì bạn có một DataTable đã có, và kể từ khi tôi giả sử bạn đang sử dụng SQL Server 2008 hoặc cao hơn, điều này có lẽ là cách đơn giản nhất. Thứ nhất, trong cơ sở dữ liệu của bạn, tạo ra hai đối tượng sau:

CREATE TYPE dbo.MyDataTable -- you can be more speciifc here 
AS TABLE 
(
    col1 INT, 
    col2 DATETIME 
    -- etc etc. The columns you have in your data table. 
); 
GO 

CREATE PROCEDURE dbo.InsertMyDataTable 
    @dt AS dbo.MyDataTable READONLY 
AS 
BEGIN 
    SET NOCOUNT ON; 

    INSERT dbo.RealTable(column list) SELECT column list FROM @dt; 
END 
GO 

Bây giờ trong mã # C:

DataTable tvp = new DataTable(); 
// define/populate DataTable 

using (connectionObject) 
{ 
    SqlCommand cmd = new SqlCommand("dbo.InsertMyDataTable", connectionObject); 
    cmd.CommandType = CommandType.StoredProcedure; 
    SqlParameter tvparam = cmd.Parameters.AddWithValue("@dt", tvp); 
    tvparam.SqlDbType = SqlDbType.Structured; 
    cmd.ExecuteNonQuery(); 
} 

Nếu bạn đã cho thông tin chi tiết cụ thể hơn trong câu hỏi của bạn, tôi sẽ có được một cụ thể hơn câu trả lời.

Answer 4

Tôi muốn sử dụng kiểu dữ liệu được định nghĩa: đó là siêu nhanh.

Bước 1: Tạo User Defined Bảng trong Sql Server DB

CREATE TYPE [dbo].[udtProduct] AS TABLE(
    [ProductID] [int] NULL, 
    [ProductName] [varchar](50) NULL, 
    [ProductCode] [varchar](10) NULL 
) 
GO 

Bước 2: Tạo Stored Procedure với User Defined Loại

CREATE PROCEDURE ProductBulkInsertion 
@product udtProduct readonly 
AS 
BEGIN 
    INSERT INTO Product 
    (ProductID,ProductName,ProductCode) 
    SELECT ProductID,ProductName,ProductCode 
    FROM @product 
END 

Bước 3: Thực hiện thủ tục được lưu trữ từ C#

SqlCommand sqlcmd = new SqlCommand("ProductBulkInsertion", sqlcon); 
sqlcmd.CommandType = CommandType.StoredProcedure; 
sqlcmd.Parameters.AddWithValue("@product", productTable); 
sqlcmd.ExecuteNonQuery(); 

vấn đề có thể: Thay đổi User Defined Table

Trên thực tế không có lệnh sql server để thay đổi người sử dụng định nghĩa kiểu Nhưng trong studio quản lý bạn có thể đạt được điều này từ bước sau

1.tạo tập lệnh cho loại. (Trong cửa sổ truy vấn mới hoặc dưới dạng tệp) 2.xóa bảng thách thức của người dùng. 3. sửa đổi kịch bản tạo và sau đó thực hiện.

Answer 5

Nếu có thể đi chệch một chút từ con đường thẳng của DataTable -> bảng SQL, nó cũng có thể được thực hiện thông qua một danh sách các đối tượng:

1) DataTable -> Danh sách chung của các đối tượng

public static DataTable ConvertTo<T>(IList<T> list) 
{ 
    DataTable table = CreateTable<T>(); 
    Type entityType = typeof(T); 
    PropertyDescriptorCollection properties = TypeDescriptor.GetProperties(entityType); 

    foreach (T item in list) 
    { 
     DataRow row = table.NewRow(); 

     foreach (PropertyDescriptor prop in properties) 
     { 
      row[prop.Name] = prop.GetValue(item); 
     } 

     table.Rows.Add(row); 
    } 

    return table; 
} 

Nguồn và biết thêm chi tiết có thể được tìm thấy here. tính thiếu sẽ vẫn để giá trị mặc định của họ (0 cho int s, null với nhiều loại tài liệu tham khảo, vv)

2) Đẩy đối tượng vào cơ sở dữ liệu

Một cách là sử dụng EntityFramework.BulkInsert mở rộng. Mặc dù vậy, dữ liệu địa lý EF là bắt buộc.

Nó tạo ra lệnh BULK INSERT cần thiết để chèn nhanh (giải pháp loại bảng do người dùng định nghĩa chậm hơn nhiều so với điều này).

Mặc dù không phải là phương pháp thẳng, nó giúp xây dựng cơ sở làm việc với danh sách các đối tượng thay vì DataTable s trong đó seems to be much more memory efficient.

Answer 6

Cân nhắc this approach, bạn không cần một vòng lặp for:

using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connection)) 
{ 
    bulkCopy.DestinationTableName = 
     "dbo.BulkCopyDemoMatchingColumns"; 

    try 
    { 
     // Write from the source to the destination. 
     bulkCopy.WriteToServer(ExitingSqlTableName); 
    } 
    catch (Exception ex) 
    { 
     Console.WriteLine(ex.Message); 
    } 
}