Lua - đọc một ký tự UTF-8 từ tệp

Question

Có thể đọc một ký tự UTF-8 từ tệp không?

tệp: đọc (1) trả về ký tự lạ thay vào đó, khi tôi in.

function firstLetter(str) 
    return str:match("[%z\1-\127\194-\244][\128-\191]*") 
end 

Hàm trả về một ký tự UTF-8 từ chuỗi ký tự. Tôi cần phải đọc một ký tự UTF-8 theo cách này, nhưng từ tệp đầu vào (không muốn đọc tệp nhất định vào bộ nhớ - qua tệp: đọc ("* tất cả"))

Câu hỏi tương tự như thế này bài: Extract the first letter of a UTF-8 string with Lua

Answer 1

function read_utf8_char(file) 
    local c1 = file:read(1) 
    local ctr, c = -1, math.max(c1:byte(), 128) 
    repeat 
    ctr = ctr + 1 
    c = (c - 128)*2 
    until c < 128 
    return c1..file:read(ctr) 
end 

Answer 2

bạn cần phải đọc ký tự để các chuỗi bạn đang so khớp luôn có bốn hoặc nhiều trong số họ (mà sẽ cho phép bạn áp dụng logic từ câu trả lời bạn tham chiếu). Nếu sau khi khớp và xóa ký tự UTF-8 thì độ dài là len, sau đó bạn đọc từ tệp 4-len ký tự.

ZeroBrane Studio thay thế các ký tự UTF-8 không hợp lệ bằng ký tự [SYN] khi được in vào bảng đầu ra (như bạn thấy trong ảnh chụp màn hình). This blogpost mô tả logic đằng sau việc phát hiện các ký tự UTF-8 không hợp lệ (trong Lua) và xử lý của chúng trong ZeroBrane Studio.

Answer 3

Trong UTF-8 mã hóa số byte thực hiện cho một nhân vật được xác định bởi các byte đầu tiên của nhân vật đó, theo bảng sau (lấy từ RFC 3629:

Char. number range |  UTF-8 octet sequence 
    (hexadecimal) |    (binary) 
--------------------+--------------------------------------------- 
0000 0000-0000 007F | 0xxxxxxx 
0000 0080-0000 07FF | 110xxxxx 10xxxxxx 
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx 
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 

Nếu các bit cao nhất byte đầu tiên là "0", sau đó ký tự chỉ có một byte. Nếu các bit cao nhất là "110" thì ký tự có 2 byte và cứ thế.

Những gì bạn có thể làm là đọc một byte từ tệp và xác định số lượng byte tiếp tục bạn cần đọc cho toàn bộ ký tự UTF-8:

function get_one_utf8_character(file) 

    local c1 = file:read(1) 
    if not c1 then return nil end 

    local ncont 
    if  c1:match("[\000-\127]") then ncont = 0 
    elseif c1:match("[\192-\223]") then ncont = 1 
    elseif c1:match("[\224-\239]") then ncont = 2 
    elseif c1:match("[\240-\247]") then ncont = 3 
    else 
    return nil, "invalid leading byte" 
    end 

    local bytes = { c1 } 
    for i=1,ncont do 
    local ci = file:read(1) 
    if not (ci and ci:match("[\128-\191]")) then 
     return nil, "expected continuation byte" 
    end 
    bytes[#bytes+1] = ci 
    end 

    return table.concat(bytes) 
end