sao chép dữ liệu ra khỏi một bảng sản xuất khổng lồ

Question

Công ty tôi đang làm việc để có một số bảng nhật ký/nhật ký khổng lồ đang được viết cho mỗi 10 giây hoặc lâu hơn với các giao dịch. Tôi muốn sao chép rất nhiều dữ liệu trong bảng này và xóa nó khỏi bảng đó vì khoảng 75% dữ liệu cũ có thể được đặt trong bảng lưu trữ hoặc thứ gì đó, nhưng nếu tôi làm sai và bảng bị khóa nó sẽ là một thảm họa.

Trong câu hỏi trước, một chàng trai nghĩ ra điều này, tôi muốn biết rằng điều này sẽ không làm hỏng mọi thứ, là gợi ý nolock đủ để giữ an toàn cho tôi và tất cả các bài viết đều hoạt động tốt? Nếu không, tôi nên làm gì?

set identity_insert newtable on 
DECLARE @StartID bigint, @LastID bigint, @EndID bigint 
select @StartID = max(id)+1 
from newtable 

select @LastID = max(ID) 
from oldtable 

while @StartID < @LastID 
begin 
set @EndID = @StartID + 1000000 

insert into newtable (FIELDS,GO,HERE) 
select FIELDS,GO,HERE from oldtable (NOLOCK) 
where id BETWEEN @StartID AND @EndId 

set @StartID = @EndID + 1 
end 
set identity_insert newtable off 
go 

Answer 1

Điều hết sức thận trọng trong việc tạo danh sách của bạn có thể là quá tải, nhưng bạn sẽ muốn chạy xóa hàng loạt.

Đối với INSERT, có thể bạn không cần vòng lặp WHILE. Đối với DELETE Mặc dù vậy, tôi sẽ sử dụng một cái gì đó như thế này (điều chỉnh kích thước hàng loạt yêu cầu của bạn):

WHILE 1=1 
BEGIN 
    DELETE TOP (10000) o 
    FROM OldTable o 
    INNER JOIN NewTable N 
     ON o.id = n.id 
    IF @@ROWCOUNT < 10000 BREAK; 
END 

này sẽ DELETE hồ sơ 10k tại một thời điểm miễn là có hồ sơ để xóa.

Answer 2

Một lựa chọn là phân vùng bảng theo giờ (giả sử bạn có một cột DATETIME trong bảng mà mặc định là GETDATE() trên mỗi chèn). Có các phân vùng cho phép bạn thực hiện bảo trì (thả, sao chép, vv) trên các phân vùng cũ hơn mà không ảnh hưởng đến phân vùng hiện tại.