trích xuất các từ từ một tệp

Question

Tôi đang cố tạo từ điển các từ từ một tập hợp các tệp. Có cách nào đơn giản để in tất cả các từ trong một tệp, một từ trên mỗi dòng không?

Answer 1

Bạn có thể sử dụng grep:

• -E '\w+' tìm kiếm cho từ
• -o chỉ in phần của dòng phù hợp với

 
% cat temp 
Some examples use "The quick brown fox jumped over the lazy dog," 
rather than "Lorem ipsum dolor sit amet, consectetur adipiscing elit" 
for example text. 
# if you don't care whether words repeat 
% grep -o -E '\w+' temp 
Some 
examples 
use 
The 
quick 
brown 
fox 
jumped 
over 
the 
lazy 
dog 
rather 
than 
Lorem 
ipsum 
dolor 
sit 
amet 
consectetur 
adipiscing 
elit 
for 
example 
text 
 

Nếu bạn chỉ muốn in mỗi từ một lần, bỏ qua trường hợp, bạn có thể sử dụng sort

• -u chỉ in mỗi từ lần
• -f nói sort bỏ qua trường hợp khi so sánh từ

 
# if you only want each word once 
% grep -o -E '\w+' temp | sort -u -f 
adipiscing 
amet 
brown 
consectetur 
dog 
dolor 
elit 
example 
examples 
for 
fox 
ipsum 
jumped 
lazy 
Lorem 
over 
quick 
rather 
sit 
Some 
text 
than 
The 
use 

Answer 2

Một khởi đầu tốt là chỉ cần sử dụng sed để thay thế tất cả các không gian với dòng mới, loại bỏ các dòng trống (một lần nữa với sed), sau đó sort với -u (uniquify) cờ để loại bỏ bản sao, như trong ví dụ này:

$ echo "the quick brown dog and fox jumped 
over the lazy dog" | sed 's/ /\n/g' | sed '/^$/d' | sort -u 

and 
brown 
dog 
fox 
jumped 
lazy 
over 
quick 
the 

Sau đó, bạn có thể bắt đầu lo lắng về dấu chấm câu và lượt thích.

Answer 3

lời giả định tách bằng dấu cách trắng

awk '{for(i=1;i<=NF;i++)print $i}' file 

hoặc

tr ' ' "\n" < file 

nếu bạn muốn độc đáo:

awk '{for(i=1;i<=NF;i++)_[$i]++}END{for(i in _) print i}' file 

tr ' ' "\n" < file | sort -u 

với một số punctuations gỡ bỏ.

awk '{ 
    gsub(/["*^&()#@$,?~]/,"") 
    for(i=1;i<=NF;i++){ _[$i] } 
} 
END{ for(o in _){ print o } }' file 

Answer 4

Ken Church's "Unix(TM) for Poets" (PDF) mô tả chính xác những loại ứng dụng này - lời giải nén ra tập tin văn bản, phân loại và đếm chúng, v.v.

Answer 5

Lệnh tr có thể thực hiện việc này ...

tr [:blank:] '\n' < test.txt 

Điều này yêu cầu chương trình tr thay thế khoảng trắng bằng một dòng mới. Đầu ra là stdout, nhưng nó có thể được chuyển hướng đến một tập tin, result.txt:

tr [:blank:] '\n' <test.txt> result.txt 

Tham khảo here.