Tối ưu ROW_NUMBER() trong SQL Server

Question

Chúng tôi có một số máy ghi dữ liệu vào cơ sở dữ liệu theo các khoảng thời gian lẻ tẻ. Đối với mỗi bản ghi, tôi muốn có khoảng thời gian giữa bản ghi này và ghi trước đó.

tôi có thể làm điều này bằng ROW_NUMBER như sau:

WITH TempTable AS (
    SELECT *, ROW_NUMBER() OVER (PARTITION BY Machine_ID ORDER BY Date_Time) AS Ordering 
    FROM dbo.DataTable 
) 

SELECT [Current].*, Previous.Date_Time AS PreviousDateTime 
FROM TempTable AS [Current] 
INNER JOIN TempTable AS Previous 
    ON [Current].Machine_ID = Previous.Machine_ID 
    AND Previous.Ordering = [Current].Ordering + 1 

Vấn đề là, nó đi thực sự chậm (vài phút trên một bảng với khoảng 10k mục) - Tôi cố gắng tạo indicies riêng về Machine_ID và Date_Time và một chỉ mục tham gia, nhưng không có gì hữu ích.

Có cách nào để viết lại truy vấn này để đi nhanh hơn không?

Answer 1

như thế nào so sánh với phiên bản này ?:

SELECT x.* 
    ,(SELECT MAX(Date_Time) 
     FROM dbo.DataTable 
     WHERE Machine_ID = x.Machine_ID 
      AND Date_Time < x.Date_Time 
    ) AS PreviousDateTime 
FROM dbo.DataTable AS x 

Hoặc phiên bản này ?:

SELECT x.* 
    ,triang_join.PreviousDateTime 
FROM dbo.DataTable AS x 
INNER JOIN (
    SELECT l.Machine_ID, l.Date_Time, MAX(r.Date_Time) AS PreviousDateTime 
    FROM dbo.DataTable AS l 
    LEFT JOIN dbo.DataTable AS r 
    ON l.Machine_ID = r.Machine_ID 
     AND l.Date_Time > r.Date_Time 
    GROUP BY l.Machine_ID, l.Date_Time 
) AS triang_join 
ON triang_join.Machine_ID = x.Machine_ID 
    AND triang_join.Date_Time = x.Date_Time 

Cả hai sẽ hoạt động tốt nhất với chỉ mục trên Machine_ID, Date_Time và cho kết quả chính xác, tôi giả định rằng đây là duy nhất.

Bạn chưa đề cập đến những gì bị ẩn trong * và đôi khi có thể có nghĩa là rất nhiều kể từ khi Machine_ID, chỉ số Date_Time sẽ không bao gồm và nếu bạn có nhiều cột ở đó hoặc có nhiều dữ liệu, ...

Answer 2

Các ROW_NUMBER nhất định() phân vùng và trật tự đòi hỏi một chỉ mục trên (Machine_ID, Date_Time) để đáp ứng trong một pass:

CREATE INDEX idxMachineIDDateTime ON DataTable (Machine_ID, Date_Time); 

chỉ số riêng biệt trên Machine_ID và DATE_TIME sẽ giúp ít, nếu có.

Answer 3

Điều gì sẽ xảy ra nếu bạn sử dụng trình kích hoạt để lưu dấu thời gian cuối cùng trừ đi mỗi lần để nhận sự khác biệt?

Answer 4

Tôi đã gặp một số vấn đề về hiệu năng lạ khi sử dụng CTE trong SQL Server 2005. Trong nhiều trường hợp, thay thế CTE bằng bảng tạm thời đã giải quyết được sự cố.

Tôi sẽ thử điều này trước khi tiếp tục với CTE.

Tôi chưa bao giờ tìm thấy bất kỳ lời giải thích nào về các vấn đề về hiệu năng tôi đã thấy và thực sự không có thời gian để tìm hiểu nguyên nhân gốc rễ. Tuy nhiên tôi luôn nghi ngờ rằng động cơ không thể tối ưu hóa CTE theo cùng một cách mà nó có thể tối ưu hóa một bảng tạm thời (có thể được lập chỉ mục nếu cần tối ưu hóa thêm).

Cập nhật

Sau khi bình luận của bạn rằng đây là một cái nhìn, tôi sẽ lần đầu tiên thử nghiệm các truy vấn với một bảng temp để xem nếu đó thực hiện tốt hơn.

Nếu có, và sử dụng một proc được lưu trữ không phải là một lựa chọn, bạn có thể xem xét làm cho CTE hiện tại trở thành một khung nhìn được lập chỉ mục/vật hoá. Bạn sẽ muốn đọc về chủ đề này trước khi đi xuống con đường này, vì liệu đây có phải là ý tưởng hay không tùy thuộc vào nhiều yếu tố, không ít nhất là tần suất dữ liệu được cập nhật.

Answer 5

Nếu bạn yêu cầu dữ liệu này thường xuyên, thay vì tính toán dữ liệu mỗi khi bạn kéo dữ liệu, tại sao không thêm cột và tính/điền nó bất cứ khi nào hàng được thêm?

(chỉ số hợp chất Remus' sẽ làm cho các truy vấn nhanh;. Chạy nó một lần duy nhất nên làm cho nó nhanh hơn vẫn)

Answer 6

Nếu số lượng hàng trong dbo.DataTable là lớn thì có khả năng là bạn đang gặp vấn đề do CTE tự tham gia vào chính nó.Có một bài đăng trên blog giải thích sự cố trong một số chi tiết here

Thỉnh thoảng trong trường hợp này, tôi phải tạo bảng tạm thời để chèn kết quả truy vấn CTE vào và sau đó thực hiện các kết nối với bảng tạm thời đó (mặc dù điều này có thường được cho trường hợp một số lượng lớn tham gia chống lại các bảng tạm thời được yêu cầu - trong trường hợp của một gia sự khác biệt hiệu suất đơn sẽ ít được chú ý)