Cách tìm kiếm các ký tự không phải ASCII bằng các công cụ bash?

Question

Tôi có tệp văn bản lớn chứa một vài ký tự unicode khiến LaTeX gặp sự cố. Làm cách nào để tìm các ký tự không phải ASCII trong một tệp có chứa sed và các ký tự tương tự trong một bash Linux?

Answer 1

Hãy thử:

nonascii() { LANG=C grep --color=always '[^ -~]\+'; } 

Mà có thể được sử dụng như:

printf 'ŨTF8\n' | nonascii 

Trong []^ có nghĩa là "không". Vì vậy, [^ -~] nghĩa là các ký tự không nằm giữa khoảng trắng và ~. Vì vậy, không bao gồm các ký tự điều khiển, điều này khớp với các ký tự không phải ASCII và là một phiên bản di động hơn mặc dù phiên bản chính xác kém hơn [^\x00-\x7f] bên dưới. \+ có nghĩa là 1 or more và sẽ nhận các ký tự nhiều byte để có màu được hiển thị xung quanh (các) ký tự hoàn chỉnh, thay vì xen kẽ trong mỗi byte, do đó làm hỏng chuỗi nhiều byte

Answer 2

Hãy thử lệnh này:

grep -P '[^\x00-\x7f]' file