Hủy bỏ các mục trùng lặp sử dụng một kịch bản Bash

Question

Tôi muốn loại bỏ các mục trùng lặp từ một tập tin văn bản, ví dụ:

kavitha= Tue Feb 20 14:00 19 IST 2012 (duplicate entry) 
sree=Tue Jan 20 14:05 19 IST 2012 
divya = Tue Jan 20 14:20 19 IST 2012 
anusha=Tue Jan 20 14:45 19 IST 2012 
kavitha= Tue Feb 20 14:00 19 IST 2012 (duplicate entry) 

Có cách nào có thể loại bỏ các mục trùng lặp sử dụng một kịch bản Bash?

đầu ra mong muốn

kavitha= Tue Feb 20 14:00 19 IST 2012 
sree=Tue Jan 20 14:05 19 IST 2012 
divya = Tue Jan 20 14:20 19 IST 2012 
anusha=Tue Jan 20 14:45 19 IST 2012 

Answer 1

Bạn có thể sort sau đó uniq:

$ sort -u input.txt 

Hoặc sử dụng awk:

$ awk '!a[$0]++' input.txt 

Answer 2

Nó xóa trùng lặp, dây chuyền liên tục từ một f ile (mô phỏng "uniq").
Dòng đầu tiên trong một tập hợp các dòng trùng lặp được lưu giữ, phần còn lại sẽ bị xóa.

sed '$!N; /^\(.*\)\n\1$/!P; D' 

Answer 3

Điều này có thể làm việc cho bạn:

cat -n file.txt | 
sort -u -k2,7 | 
sort -n | 
sed 's/.*\t/ /;s/\([0-9]\{4\}\).*/\1/' 

hay này:

awk '{line=substr($0,1,match($0,/[0-9][0-9][0-9][0-9]/)+3);sub(/^/," ",line);if(!dup[line]++)print line}' file.txt 

Answer 4

Perl one-liner tương tự như giải pháp awk @ kev của:

perl -ne 'print if ! $a{$_}++' input 

Sự thay đổi này xóa khoảng trắng theo sau trước khi so sánh:

perl -lne 's/\s*$//; print if ! $a{$_}++' input 

biến thể này chỉnh sửa các tập tin tại chỗ:

perl -i -ne 'print if ! $a{$_}++' input 

biến thể này chỉnh sửa các tập tin tại chỗ, và làm cho một bản sao lưu input.bak

perl -i.bak -ne 'print if ! $a{$_}++' input