Không thể lưu trữ dấu Euro vào thuộc tính Chuỗi LOB với Hibernate/PostgreSQL

Question

Tôi gặp sự cố khi viết và đọc lại các ký tự đặc biệt như ký hiệu Euro (€) thành thuộc tính Chuỗi LOB trong PostgreSQL 8.4 với Hibernate 3.6.10.

Điều tôi biết là PostgreSQL cung cấp hai cách riêng biệt để lưu trữ các đối tượng ký tự lớn trong một cột của bảng. Chúng có thể được lưu trữ trực tiếp vào cột bảng đó hoặc gián tiếp trong một bảng riêng biệt (nó thực sự được gọi là pg_largeobject). Trong trường hợp sau, cột chứa một tham chiếu (OID) đến hàng trong pg_largeobject.

Hành vi mặc định trong Hibernate 3.6.10 là cách tiếp cận OID gián tiếp. Tuy nhiên, có thể thêm chú thích bổ sung @ org.hibernate.annotations.Type (type = "org.hibernate.type.TextType") vào thuộc tính Lob để có được hành vi lưu trữ trực tiếp.

Cả hai phương pháp đều hoạt động tốt, ngoại trừ thời điểm tôi muốn làm việc với các ký tự đặc biệt như ký hiệu Euro (€). Trong trường hợp đó, cơ chế lưu trữ trực tiếp tiếp tục hoạt động, nhưng cơ chế lưu trữ gián tiếp bị gián đoạn.

Tôi muốn chứng minh điều đó bằng ví dụ. Tôi đã tạo một thực thể thử nghiệm với 2 thuộc tính @Lob. Một tuân theo nguyên tắc lưu trữ trực tiếp, khác lưu trữ gián tiếp:

@Basic 
@Lob 
@Column(name = "CLOB_VALUE_INDIRECT_STORAGE", length = 2147483647) 
public String getClobValueIndirectStorage() 

và

@Basic 
@Lob 
@org.hibernate.annotations.Type(type="org.hibernate.type.TextType") 
@Column(name = "CLOB_VALUE_DIRECT_STORAGE", length = 2147483647) 
public String getClobValueDirectStorage() 

Nếu tôi tạo ra một tổ chức nào, cư cả khách sạn với dấu hiệu Euro và sau đó kéo dài nó đối với cơ sở dữ liệu tôi thấy sau khi tôi làm một SELECT tôi thấy

id | clob_value_direct_storage | clob_value_indirect_storage 
----+---------------------------+---------------------------- 
    6 | €       | 910579      

Nếu tôi sau đó truy vấn pg_largeobject bảng tôi thấy:

loid | pageno | data 
--------+--------+------ 
910579 |  0 | \254 

Cột 'dữ liệu' của pg_largeobject thuộc loại bytea, có nghĩa là thông tin được lưu trữ dưới dạng byte thô. Biểu thức '\ 254' đại diện cho một byte đơn và trong UTF-8 biểu diễn ký tự '¬'. Đây chính là giá trị mà tôi lấy lại khi tôi nạp thực thể trở lại từ cơ sở dữ liệu.

Dấu hiệu Euro trong UTF-8 gồm 3 byte, vì vậy tôi dự kiến ​​sẽ có cột 'dữ liệu' có 3 byte và không 1.

này không chỉ xảy ra đối với các dấu hiệu Euro, nhưng đối với nhiều nhân vật đặc biệt. Đây có phải là một vấn đề trong Hibernate? Hoặc trình điều khiển JDBC? Có cách nào tôi có thể tinh chỉnh hành vi này không?

Cảm ơn trước,
Trân trọng!
Franck de Bruijn

Answer 1

Sau rất nhiều đào xung quanh trong mã nguồn của Hibernate và người lái xe PostgreSQL JDBC Tôi cố gắng tìm ra nguyên nhân gốc rễ của vấn đề. Cuối cùng, phương thức write() của BlobOutputStream (do trình điều khiển JDBC cung cấp) được gọi để ghi nội dung của Clob vào cơ sở dữ liệu. Phương pháp này trông như thế này:

public void write(int b) throws java.io.IOException 
{ 
    checkClosed(); 
    try 
    { 
     if (bpos >= bsize) 
     { 
      lo.write(buf); 
      bpos = 0; 
     } 
     buf[bpos++] = (byte)b; 
    } 
    catch (SQLException se) 
    { 
     throw new IOException(se.toString()); 
    } 
} 

phương pháp này có một 'int' (32 bit/4 byte) như là đối số và chuyển đổi nó thành một 'byte' (8 bit/1 byte) mất hiệu quả 3 byte của thông tin . Biểu diễn chuỗi trong Java được mã hoá UTF-16, có nghĩa là mỗi ký tự được biểu diễn bằng 16 bit/2 byte. Ký hiệu Euro có giá trị int 8364. Sau khi chuyển đổi thành byte, giá trị 172 vẫn còn (trong biểu diễn octet 254).

Tôi không chắc bây giờ độ phân giải tốt nhất là vấn đề này. IMHO trình điều khiển JDBC phải chịu trách nhiệm mã hóa/giải mã các ký tự Java UTF-16 thành bất kỳ mã hóa nào mà nhu cầu cơ sở dữ liệu. Tuy nhiên, tôi không thấy bất kỳ khả năng tinh chỉnh nào trong mã trình điều khiển JDBC để thay đổi hành vi của nó (và tôi không muốn viết và duy trì mã trình điều khiển JDBC của riêng mình).

Vì vậy, tôi đã mở rộng Hibernate bằng ClobType tùy chỉnh và quản lý để chuyển đổi các ký tự UTF-16 thành UTF-8 trước khi ghi vào cơ sở dữ liệu và ngược lại khi truy xuất Clob.

Các giải pháp quá lớn để chỉ dán đơn giản trong câu trả lời này. Nếu bạn quan tâm, hãy thả cho tôi một dòng, và tôi gửi nó cho bạn.

Chúc mừng, Franck