Làm thế nào để xóa từ trùng lặp từ một tập tin văn bản đơn giản sử dụng lệnh linux

Question

Tôi có một tập tin văn bản đơn giản bằng lời nói, được phân cách bởi dấu phẩy, ví dụ:

word1, word2, word3, word2, word4, word5, word 3, word6, word7, word3 

tôi muốn xóa các bản sao và để trở thành :

word1, word2, word3, word4, word5, word6, word7 

Bất kỳ ý tưởng nào? Tôi nghĩ, egrep có thể giúp tôi, nhưng tôi không chắc chắn, làm thế nào để sử dụng nó chính xác ....

Answer 1

Giả sử rằng các từ là một trong mỗi dòng, và các tập tin đã được sắp xếp:

uniq filename 

Nếu file không được sắp xếp:

sort filename | uniq 

Nếu họ không phải là một trên mỗi dòng, và bạn không nhớ chúng là một dòng trên mỗi dòng:

tr -s [:space:] \\n < filename | sort | uniq 

Điều đó không xóa dấu câu, vì vậy có thể bạn muốn :

tr -s [:space:][:punct:] \\n < filename | sort | uniq 

Nhưng điều đó sẽ xóa dấu gạch nối khỏi các từ được gạch nối. "man tr" để có thêm lựa chọn.

Answer 2

Tôi nghĩ bạn sẽ muốn thay thế các dấu cách bằng dòng mới, sử dụng lệnh uniq để tìm duy nhất dòng, sau đó thay thế các dòng mới bằng dấu cách.

Answer 3

ruby -pi.bak -e '$_.split(",").uniq.join(",")' filename?

Tôi sẽ thừa nhận hai loại trích dẫn là xấu xí.

Answer 4

Tôi giả sử bạn muốn các từ là duy nhất trên một dòng, chứ không phải trong suốt tệp. Nếu đây là trường hợp, thì kịch bản Perl bên dưới sẽ thực hiện thủ thuật.

while (<DATA>) 
{ 
    chomp; 
    my %seen =(); 
    my @words = split(m!,\s*!); 
    @words = grep { $seen{$_} ? 0 : ($seen{$_} = 1) } @words; 
    print join(", ", @words), "\n"; 
} 

__DATA__ 
word1, word2, word3, word2, word4, word5, word3, word6, word7, word3 

Nếu bạn muốn độc đáo trên toàn bộ tập tin, bạn chỉ có thể di chuyển %seen băm ngoài while(){} vòng lặp.

Answer 5

Tạo một danh sách duy nhất là nhờ khá dễ dàng để uniq, mặc dù hầu hết Unix lệnh như một mục nhập trên mỗi dòng thay vì một danh sách bằng dấu phẩy, vì vậy chúng ta phải bắt đầu bằng cách chuyển đổi nó để rằng:

$ sed 's/, /\n/g' filename | sort | uniq 
word1 
word2 
word3 
word4 
word5 
word6 
word7 

Phần khó khăn hơn là đặt điều này trên một dòng một lần nữa bằng dấu phẩy như dấu phân cách và không phải là các terminator. Tôi đã sử dụng perl một lớp lót để làm điều này, nhưng nếu ai đó có một cái gì đó thành ngữ hơn, xin vui lòng chỉnh sửa tôi. :)

$ sed 's/, /\n/g' filename | sort | uniq | perl -e '@a = <>; chomp @a; print((join ", ", @a), "\n")' 
word1, word2, word3, word4, word5, word6, word7 

Answer 6

Và đừng quên lựa chọn -c hảo cho tiện ích uniq nếu bạn quan tâm đến việc một số các từ là tốt.

Answer 7

Dưới đây là một kịch bản awk mà sẽ để lại mỗi dòng trong sự khéo léo, chỉ loại bỏ những từ trùng lặp:

BEGIN { 
    FS=", " 
} 
{ 
    for (i=1; i <= NF; i++) 
     used[$i] = 1 
    for (x in used) 
     printf "%s, ",x 
    printf "\n" 
    split("", used) 
} 

Answer 8

Came qua thread này trong khi cố gắng để giải quyết nhiều vấn đề tương tự.Tôi đã ghép nối một số tệp chứa mật khẩu, vì vậy tự nhiên có rất nhiều gấp đôi. Ngoài ra, nhiều ký tự không chuẩn. Tôi không thực sự cần chúng được sắp xếp, nhưng nó có vẻ là cần thiết cho uniq.

tôi đã cố gắng:

sort /Users/me/Documents/file.txt | uniq -u 
sort: string comparison failed: Illegal byte sequence 
sort: Set LC_ALL='C' to work around the problem. 
sort: The strings compared were `t\203tonnement' and `t\203tonner' 

Cố gắng:

sort -u /Users/me/Documents/file.txt >> /Users/me/Documents/file2.txt 
sort: string comparison failed: Illegal byte sequence 
sort: Set LC_ALL='C' to work around the problem. 
sort: The strings compared were `t\203tonnement' and `t\203tonner'. 

Và thậm chí đã cố gắng đi qua nó thông qua con mèo đầu tiên, chỉ để tôi có thể nhìn thấy nếu chúng tôi đã nhận được một đầu vào thích hợp.

cat /Users/me/Documents/file.txt | sort | uniq -u > /Users/me/Documents/file2.txt 
sort: string comparison failed: Illegal byte sequence 
sort: Set LC_ALL='C' to work around the problem. 
sort: The strings compared were `zon\351s' and `zoologie'. 

Tôi không chắc điều gì đang xảy ra. Không tìm thấy các chuỗi "t \ 203tonnement" và "t \ 203tonner" trong tệp, mặc dù tìm thấy "t/203" và "tonnement", nhưng trên các dòng riêng biệt, không liền kề. Tương tự với "zon \ 351s".

gì cuối cùng làm việc đối với tôi là:

awk '!x[$0]++' /Users/me/Documents/file.txt > /Users/me/Documents/file2.txt 

Nó lời này cũng bảo quản có khác biệt duy nhất là trường hợp, đó là những gì tôi muốn. Tôi không cần danh sách được sắp xếp, vì vậy nó đã được tốt mà nó đã không được.

Answer 9

tôi đã có cùng một vấn đề ngày hôm nay .. một danh sách từ với 238.000 từ nhưng khoảng 40, 000 trong số đó là bản sao. Tôi đã có chúng trong dòng cá nhân bằng cách làm

cat filename | tr " " "\n" | sort 

để loại bỏ các bản sao Tôi chỉ đơn giản là làm

cat filename | uniq > newfilename . 

Làm việc một cách hoàn hảo không có lỗi và bây giờ tập tin của tôi là giảm so với 1.45MB để 1.01MB

Answer 10

mở tập tin với vim (vim filename) và chạy lệnh sắp xếp với cờ duy nhất (:sort u).