Truy vấn SQL - Xóa các bản sao nếu có nhiều hơn 3 dups?

Question

Có ai có tuyên bố sql thanh lịch để xóa bản ghi trùng lặp khỏi bảng không, nhưng chỉ khi có nhiều hơn x số bản sao? Vì vậy, nó cho phép lên đến 2 hoặc 3 bản sao, nhưng đó là nó?

Hiện nay tôi có một tuyên bố chọn nào sau đây:

delete table 
from table t 
left outer join (
select max(id) as rowid, dupcol1, dupcol2 
from table 
group by dupcol1, dupcol2 
) as keeprows on t.id=keeprows.rowid 
where keeprows.rowid is null 

này hoạt động tuyệt vời. Nhưng bây giờ những gì tôi muốn làm là chỉ xóa những hàng nếu họ có nhiều hơn nói 2 bản sao.

Cảm ơn

Answer 1

with cte as (
    select row_number() over (partition by dupcol1, dupcol2 order by ID) as rn 
    from table) 
delete from cte 
    where rn > 2; -- or >3 etc 

Truy vấn được sản xuất một 'số hàng' cho mỗi bản ghi, nhóm lại theo các (dupcol1, dupcol2) và ra lệnh bằng ID . Trong thực tế số hàng này đếm 'trùng lặp' có cùng một dupcol1 và dupcol2 và gán sau đó số 1, 2, 3 .. N, thứ tự theo ID. Nếu bạn muốn giữ lại chỉ 2 'bản sao', sau đó bạn cần phải xoá bỏ những người được chỉ định số 3,4,.. N và đó là phần được chăm sóc bởi các DELLETE.. WHERE rn > 2;

Sử dụng phương pháp này, bạn có thể thay đổi ORDER BY cho phù hợp với yêu thích của bạn đơn đặt hàng (ví dụ: ORDER BY ID DESC), để LATEST có rn=1, thì bên cạnh mới nhất là rn = 2 v.v. Phần còn lại giữ nguyên, số DELETE sẽ chỉ xóa các số cũ nhất khi chúng có số hàng cao nhất.

Không giống như this closely related question, khi điều kiện trở nên phức tạp hơn, việc sử dụng CTE và row_number() trở nên đơn giản hơn. Hiệu suất có thể vẫn còn có vấn đề nếu không tồn tại chỉ mục truy cập thích hợp.

Answer 2

HAVING là bạn của bạn

select id, count(*) cnt from table group by id having cnt>2

Answer 3

Khá muộn nhưng giải pháp đơn giản có thể như sau giả sử chúng tôi có bảng emp_dept (empid, deptid) có hàng trùng lặp, Ở đây tôi đã sử dụng @Count là varibale .. ví dụ: 2 nhân đôi cho phép sau đó @count = 2 On Oracle cơ sở dữ liệu

delete from emp_dept where @Count <= (select count(1) from emp_dept i where i.empid = emp_dept.empid and i.deptid = emp_dept.deptid and i.rowid < emp_dept.rowid) 

Trên máy chủ sql hoặc anydatabase mà không hỗ trợ hàng id kinda đặc trưng, ​​chúng ta cần thêm cột sắc chỉ để xác định mỗi hàng. nói, chúng tôi đã thêm vào nid như danh tính vào bảng

alter table emp_dept add nid int identity(1,1) -- to add identity column 

tại truy vấn để xóa trùng lặp có thể được viết như

delete from emp_dept where @@Count <= (select count(1) from emp_dept i where i.empid = emp_dept.empid and i.deptid = emp_dept.deptid and i.nid< emp_dept.nid) 

Ở đây khái niệm này là xóa tất cả các hàng mà tồn tại hàng khác có tương tự giá trị cốt lõi nhưng n hoặc số lượng lớn hơn của hàng hoặc bản sắc nhỏ hơn. Do đó nếu có hàng trùng lặp thì một hàng có id hàng cao hơn hoặc nhận dạng sẽ bị xóa. và đối với hàng không có trùng lặp nó không tìm thấy id hàng thấp hơn do đó sẽ không bị xóa.

Answer 4

Đối với Oracle:

delete from test where rowid = ANY (select min(test.rowid) from test left 
    outer join 
    (select min(rowid) row_id from test group by id,name)t on 
    test.rowid=t.row_id where t.row_id is null group by test.id,test.name);