Cách chuyển đổi tệp văn bản thành chữ thường trong UNIX (nhưng bằng UTF-8)

Question

Tôi cần phải chuyển đổi tất cả văn bản thành chữ thường, nhưng không sử dụng lệnh "tr" truyền thống vì nó không xử lý đúng ngôn ngữ UTF-8.

Có cách nào tốt đẹp để làm điều đó không? Tôi cần một số bộ lọc UNIX để tôi có thể xử lý này trong một đường ống.

Answer 1

Gnu sed sẽ có thể xử lý unicode. Hãy thử

$ echo 'Some StrAngÉ LeTTeRs 123' | sed -e 's/./\L\0/g' 
some strangé letters 123 

Answer 2

Nếu bạn có thể sử dụng Python sau đó mã như vậy có thể giúp bạn:

import sys 
import codecs 

utf8input = codecs.getreader("utf-8")(sys.stdin) 
utf8output = codecs.getwriter("utf-8")(sys.stdout) 

utf8output.write(utf8input.read().lower()) 

Trên máy tính Windows của tôi (xin lỗi :) Tôi có thể sử dụng nó như là bộ lọc:

cat big.txt | python tolowerutf8.py > lower.txt3