Làm thế nào để chuyển đổi \ uXXXX unicode sang UTF-8 sử dụng giao diện điều khiển các công cụ trong * nix

Question

tôi sử dụng curl để nhận được một số phản ứng URL, đó là JSON phản ứng và nó chứa các ký tự unicode quốc gia thoát như \u0144 (ń) và \u00f3 (ó).

Làm cách nào để chuyển đổi chúng thành UTF-8 hoặc bất kỳ mã hóa nào khác để lưu vào tệp?

Answer 1

Tôi không biết bạn đang sử dụng phân phối nào, nhưng cần bao gồm uni2ascii.

$ sudo apt-get install uni2ascii 

Nó chỉ phụ thuộc vào libc6, vì vậy nó là một giải pháp nhẹ (uni2ascii i386 4.18-2 là 55,0 kB trên Ubuntu)!

Sau đó, để sử dụng nó:

$ echo 'Character 1: \u0144, Character 2: \u00f3' | ascii2uni -a U -q 
Character 1: ń, Character 2: ó 

Answer 2

Có thể là một chút xấu xí, nhưng echo -e nên làm điều đó:

echo -en "$(curl $URL)" 

-e dịch thoát, -n ngăn chặn sự xuống dòng echo thường thêm.

Lưu ý: Công trình thoát \u trong công cụ xây dựng bash echo, nhưng không phải /usr/bin/echo.

Như đã nêu trong các nhận xét, đây là bash 4.2+ và 4.2.x có lỗi xử lý giá trị 0x00ff/17 (0x80-0xff).

Answer 3

Giả sử \u luôn theo sau là chính xác 4 chữ số hex:

#!/usr/bin/perl 

use strict; 
use warnings; 

binmode(STDOUT, ':utf8'); 

while (<>) { 
    s/\\u([0-9a-fA-F]{4})/chr(hex($1))/eg; 
    print; 
} 

Các binmode đặt ra tiêu chuẩn thành UTF-8 chế độ. Lệnh s... thay thế mỗi lần xuất hiện của \u theo sau là 4 chữ số thập phân có ký tự tương ứng. Hậu tố e làm cho thay thế được đánh giá dưới dạng biểu thức thay vì được coi là chuỗi; số g nói để thay thế tất cả các lần xuất hiện thay vì chỉ là lần xuất hiện đầu tiên.

Bạn có thể lưu phần trên vào tệp ở đâu đó trong số $PATH của mình (đừng quên chmod +x). Nó lọc đầu vào tiêu chuẩn (hoặc một hoặc nhiều tệp được đặt tên trên dòng lệnh) thành đầu ra tiêu chuẩn.

Answer 4

Không dựa vào regexes: JSON có một số trường hợp góc lạ với \u các điểm mã thoát và không phải BMP. (cụ thể, JSON sẽ mã hóa một điểm mã bằng cách sử dụng hai\u thoát) Nếu bạn giả định 1 chuỗi thoát dịch sang 1 điểm mã, bạn sẽ phải chịu số phận trên văn bản đó.

Sử dụng JSON phân tích cú pháp đầy đủ từ ngôn ngữ của sự lựa chọn của bạn là đáng kể mạnh mẽ hơn:

$ echo '["foo bar \u0144\n"]' | python -c 'import json, sys; sys.stdout.write(json.load(sys.stdin)[0].encode("utf-8"))' 

Đó là thực sự chỉ ăn các dữ liệu để kịch bản này python ngắn:

import json 
import sys 

data = json.load(sys.stdin) 
data = data[0] # change this to find your string in the JSON 
sys.stdout.write(data.encode('utf-8')) 

Từ đó bạn có thể lưu dưới dạng foo.py và gọi số curl ... | foo.py

Ví dụ sẽ phá vỡ hầu hết các lần thử khác trong câu hỏi này là "\ud83d\udca3":

% printf '"\\ud83d\\udca3"' | python2 -c 'import json, sys; sys.stdout.write(json.load(sys.stdin)[0].encode("utf-8"))'; echo 

# echo will result in corrupt output: 
% echo -e $(printf '"\\ud83d\\udca3"') 
"������" 
# native2ascii won't even try (this is correct for its intended use case, however, just not ours): 
% printf '"\\ud83d\\udca3"' | native2ascii -encoding utf-8 -reverse 
"\ud83d\udca3" 

Answer 5

tôi thấy native2ascii từ JDK là cách tốt nhất để làm điều đó:

native2ascii -encoding UTF-8 -reverse src.txt dest.txt 

Mô tả chi tiết ở đây: http://docs.oracle.com/javase/1.5.0/docs/tooldocs/windows/native2ascii.html

Cập nhật: Không còn sẵn từ JDK9: https://bugs.openjdk.java.net/browse/JDK-8074431

Answer 6

sử dụng /usr/bin/printf "\u0160ini\u010di Ho\u0161i - A\u017e sa skon\u010d\u00ed zima" để có được chuyển đổi unicode-to-utf8 thích hợp.

Answer 7

Hoạt động trên Windows, nên làm việc trên * nix quá. Sử dụng python 2.

#!/usr/bin/env python 
from __future__ import unicode_literals 
import sys 
import json 
import codecs 

def unescape_json(fname_in, fname_out): 
    with file(fname_in, 'rb') as fin: 
     js = json.load(fin) 
    with codecs.open(fname_out, 'wb', 'utf-8') as fout: 
     json.dump(js, fout, ensure_ascii=False) 

def usage(): 
    print "Converts all \\uXXXX codes in json into utf-8" 
    print "Usage: .py infile outfile" 
    sys.exit(1) 

def main(): 
    try: 
     fname_in, fname_out = sys.argv[1:] 
    except Exception: 
     usage() 

    unescape_json(fname_in, fname_out) 
    print "Done." 

if __name__ == '__main__': 
    main()