Làm thế nào để giữ định dạng của tệp nếu bạn sử dụng lệnh uniq (trong trình bao)?

Question

Để sử dụng lệnh uniq, trước tiên bạn phải sắp xếp tệp của mình.

Nhưng trong tệp tôi có, thứ tự của thông tin là quan trọng, do đó làm cách nào để giữ nguyên định dạng gốc của tệp nhưng vẫn loại bỏ nội dung trùng lặp?

Answer 1

Một phiên bản awk:

awk '!_[$0]++' infile 

Answer 2

Bạn có thể sử dụng một số O khủng khiếp (n^2) điều, như thế này (Pseudo-code):

file2 = EMPTY_FILE 
for each line in file1: 
    if not line in file2: 
    file2.append(line) 

Đây là tiềm năng khá chậm, đặc biệt là nếu thực hiện ở cấp Bash. Nhưng nếu các tệp của bạn là hợp lý ngắn, có thể nó sẽ hoạt động tốt và sẽ nhanh chóng triển khai (not line in file2 sau đó chỉ là grep -v, v.v.).

Nếu không, bạn có thể mã hóa một chương trình chuyên dụng, sử dụng một số cấu trúc dữ liệu nâng cao hơn trong bộ nhớ để tăng tốc.

Answer 3

Bạn có thể chạy -d uniq trên phiên bản sắp xếp các tập tin để tìm các dòng trùng lặp, sau đó chạy một số kịch bản nói rằng:

if this_line is in duplicate_lines { 
    if not i_have_seen[this_line] { 
     output this_line 
     i_have_seen[this_line] = true 
    } 
} else { 
    output this_line 
} 

Answer 4

awk Điều này sẽ giúp sự xuất hiện đầu tiên. Cùng thuật toán như câu trả lời khác sử dụng:

awk '!($0 in lines) { print $0; lines[$0]; }' 

Đây là một loại chỉ cần để lưu trữ các dòng trùng lặp (như trái ngược với tất cả các dòng) sử dụng awk:

sort file | uniq -d | awk ' 
    FNR == NR { dups[$0] } 
    FNR != NR && (!($0 in dups) || !lines[$0]++) 
' - file 

Answer 5

for line in $(sort file1 | uniq); do 
    grep -n -m1 line file >>out 
done; 

sort -n out 

đầu tiên thực hiện sắp xếp,

cho mỗi grep giá trị uniqe cho kết quả đầu tiên (-m1)

và bảo toàn số dòng

sắp xếp đầu ra bằng số (-n) theo số dòng.

sau đó bạn có thể loại bỏ các dòng # 's với sed hay awk

Answer 6

Ngoài ra còn có những "line-số, kích đúp loại" phương pháp.

nl -n ln | sort -u -k 2| sort -k 1n | cut -f 2- 

Answer 7

Chỉ sử dụng uniq và grep:

Tạo d.sh:

#!/bin/sh 
sort $1 | uniq > $1_uniq 
for line in $(cat $1); do 
cat $1_uniq | grep -m1 $line >> $1_out 
cat $1_uniq | grep -v $line > $1_uniq2 
mv $1_uniq2 $1_uniq 
done; 
rm $1_uniq 

Ví dụ:

./d.sh infile