Xóa các ký tự unicode khỏi các tệp văn bản - sed, các phương thức bash/shell khác

Question

Làm cách nào để xóa các ký tự unicode khỏi một loạt tệp văn bản trên thiết bị đầu cuối? Tôi đã thử điều này, nhưng nó đã không làm việc:

sed 'g/\u'U+200E'//' -i *.txt 

tôi cần phải loại bỏ những unicodes từ textfiles

U+0091 - sort of weird "control" space 
U+0092 - same sort of weird "control" space 
A0 - non-space break 
U+200E - left to right mark 

Answer 1

Nếu bạn muốn loại bỏ ký tự đặc biệt CHỈ và bạn có python, bạn có thể:

CHARS=$(python -c 'print u"\u0091\u0092\u00a0\u200E".encode("utf8")') 
sed 's/['"$CHARS"']//g' </tmp/utf8_input.txt> /tmp/ascii_output.txt 

Answer 2

Sử dụng iconv:

iconv -f utf8 -t ascii//TRANSLIT </tmp/utf8_input.txt> /tmp/ascii_output.txt 

này sẽ dịch ký tự như "Š" vào "S" (hầu hết là những cái nhìn tương tự).

Answer 3

rõ ràng chars tất cả phi ascii của file.txt

$ iconv -c -f utf-8 -t ascii file.txt 
$ strings file.txt 

Answer 4

Đối utf-8 mã hóa unicode, bạn có thể sử dụng cụm từ thông dụng này cho sed:

sed 's/\xc2\x91\|\xc2\x92\|\xc2\xa0\|\xe2\x80\x8e//' 

Answer 5

Chuyển đổi tệp Swift từ utf-8 để ascii:

for file in *.swift; do 
    iconv -f utf-8 -t ascii "$file" > "$file".tmp 
    mv -f "$file".tmp "$file" 
done 

swift auto completion not working in Xcode6-Beta