Di chuyển dữ liệu SQL Server trong các khối giới hạn (1000 hàng)

Question

Tôi đang viết một quy trình lưu trữ các hàng từ một bảng SQL Server dựa trên một cột ngày giờ. Tôi muốn di chuyển tất cả các hàng với một ngày trước X, nhưng vấn đề là có hàng triệu hàng cho mỗi ngày, do đó, thực hiện BEGIN GIAO DỊCH ... INSERT ... DELETE ... COMMIT cho mỗi ngày mất quá nhiều thời gian và khóa cơ sở dữ liệu cho những người dùng khác.

Có cách nào để tôi có thể thực hiện trong các đoạn nhỏ hơn không? Có thể sử dụng ROWCOUNT hoặc một cái gì đó như thế?

tôi muốn ban đầu được coi là một cái gì đó như thế này:

SET ROWCOUNT 1000 

DECLARE @RowsLeft DATETIME 
DECLARE @ArchiveDate DATETIME 

SET @ROWSLEFT = (SELECT TOP 1 dtcol FROM Events WHERE dtcol <= @ArchiveDate) 

WHILE @ROWSLEFT IS NOT NULL 
BEGIN 

    INSERT INTO EventsBackups 
    SELECT top 1000 * FROM Events 

    DELETE Events 

    SET @ROWSLEFT = (SELECT TOP 1 dtcol FROM Events WHERE dtcol <= @ArchiveDate) 

END 

Nhưng sau đó tôi nhận ra rằng tôi không thể đảm bảo rằng các hàng tôi đang xóa là những người tôi chỉ sao lưu. Hay tôi có thể ...?

UPDATE: Một tùy chọn Tôi đã coi được thêm một bước:

1. SELECT TOP 1000 hàng đáp ứng tiêu chí ngày tôi vào một bảng temp
2. Bắt đầu giao dịch
3. Chèn từ tạm thời bảng vào bảng lưu trữ
4. Xóa khỏi bảng nguồn, tham gia bảng tạm thời trên mỗi cột
5. Cam kết chuyển tiếp ction
6. Lặp lại 1-5 cho đến khi không có hàng vẫn đáp ứng được các tiêu chí ngày

Có ai có ý tưởng về cách các chi phí của loạt bài này có thể so sánh với một số tùy chọn khác được thảo luận dưới đây?

CHI TIẾT: Tôi đang sử dụng SQL 2005, vì ai đó đã hỏi.

Answer 1

chỉ cần chèn kết quả của DELETE:

WHILE 1=1 
BEGIN 

    WITH EventsTop1000 AS (
    SELECT TOP 1000 * 
     FROM Events 
     WHERE <yourconditionofchoice>) 
    DELETE EventsTop1000 
     OUTPUT DELETED.* 
     INTO EventsBackup; 

    IF (@@ROWCOUNT = 0) 
     BREAK; 
END 

Đây là nguyên tử và nhất quán.

Answer 2

Làm thế nào về:

INSERT INTO EventsBackups 
SELECT TOP 1000 * FROM Events ORDER BY YourKeyField 

DELETE Events 
WHERE YourKeyField IN (SELECT TOP 1000 YourKeyField FROM Events ORDER BY YourKeyField) 

Answer 3

Làm thế nào về không làm điều đó tất cả cùng một lúc?

INSERT INTO EventsBackups 
SELECT * FROM Events WHERE date criteria 

Rồi sau đó,

DELETE FROM Events 
SELECT * FROM Events INNER JOIN EventsBackup on Events.ID = EventsBackup.ID 

hoặc tương đương.

Không có gì bạn nói cho đến nay cho thấy bạn cần một giao dịch.

Answer 4

Bạn có chỉ mục trên trường ngày tháng không? Nếu bạn không có sql có thể bị buộc phải nâng cấp lên một khóa bảng sẽ khóa tất cả người dùng của bạn trong khi các lệnh lưu trữ của bạn chạy.

Tôi nghĩ bạn sẽ cần chỉ mục cho hoạt động này để hoạt động tốt! Đặt chỉ mục vào trường ngày của bạn và thử lại thao tác của bạn!

Answer 5

Bạn có thể tạo bản sao Sự kiện hay không, di chuyển tất cả các hàng có ngày > = x vào đó, thả Sự kiện và đổi tên bản sao Sự kiện? Hoặc sao chép, cắt ngắn và sau đó sao chép lại? Nếu bạn có thể đủ khả năng một chút thời gian chết này có lẽ sẽ là cách tiếp cận nhanh nhất.

Answer 6

sử dụng một INSERT với một OUTPUT VÀO khoản để lưu trữ các ID của các hàng chèn, sau đó DELETE tham gia để bảng temp này để loại bỏ chỉ những ID

DECLARE @TempTable (YourKeyValue KeyDatatype not null) 

INSERT INTO EventsBackups 
    (columns1,column2, column3) 
    OUTPUT INSERTED.primaryKeyValue 
    INTO @TempTable 
    SELECT 
     top 1000 
     columns1,column2, column3 
     FROM Events 

DELETE Events 
    FROM Events 
     INNER JOIN @TempTable t ON Events.PrimaryKey=t.YourKeyValue 

Answer 7

Dưới đây là những gì tôi đã kết thúc thực hiện:

SET @CleanseFilter = @startdate 
WHILE @CleanseFilter IS NOT NULL 
BEGIN 
    BEGIN TRANSACTION 

     INSERT INTO ArchiveDatabase.dbo.MyTable 
     SELECT * 
      FROM dbo.MyTable 
     WHERE startTime BETWEEN @startdate AND @CleanseFilter 

     DELETE dbo.MyTable 
     WHERE startTime BETWEEN @startdate AND @CleanseFilter 

    COMMIT TRANSACTION 

    SET @CleanseFilter = (SELECT MAX(starttime) 
       FROM (SELECT TOP 1000 
          starttime 
        FROM dbo.MyTable 
         WHERE startTime BETWEEN @startdate AND @enddate 
        ORDER BY starttime) a) 
END 

Tôi không kéo chính xác 1000, chỉ 1000 năm, vì vậy nó xử lý lặp lại trong cột thời gian một cách thích hợp (điều tôi lo lắng khi xem xét sử dụng ROWCOUNT). Vì thường xuyên lặp lại trong cột thời gian, tôi thấy nó thường xuyên di chuyển 1002 hoặc 1004 hàng/lặp lại, vì vậy tôi biết nó đang nhận được mọi thứ.

Tôi đang gửi câu trả lời này làm câu trả lời để có thể đánh giá câu trả lời dựa trên các giải pháp khác mà mọi người đã cung cấp. Hãy cho tôi biết nếu có điều gì đó rõ ràng là sai với phương pháp này. Cảm ơn sự giúp đỡ của bạn, mọi người, và tôi sẽ chấp nhận câu trả lời nào có nhiều phiếu bầu nhất trong vài ngày tới.

Answer 8

Một tùy chọn khác sẽ là thêm quy trình kích hoạt vào bảng Sự kiện không làm gì ngoài việc thêm bản ghi tương tự vào bảng EventsBackup.

Bằng cách đó, EventBackup luôn được cập nhật và tất cả những gì bạn làm là định kỳ xóa hồ sơ khỏi bảng Sự kiện của bạn.