Hiệu quả strtod trong Java?

Question

Vì vậy, tôi có chương trình Java này mà tôi sử dụng để nhai qua vài terabyte dữ liệu. Hiệu suất là một mối quan tâm.

Tôi đã cấu hình ứng dụng, và một phần lớn của tất cả các cấp phát bộ nhớ cũng như một phần lớn thời gian CPU đến từ thực hiện một thao tác đơn giản:

Tôi có một mảng các ký tự ASCII. Tôi biết rằng các ký tự từ offset i để bù đắp j đại diện cho một số dấu phẩy động. Tôi cần trích xuất số dấu phẩy động đó thành double.

Ngây thơ Double.parseDouble(new String(buf, i, j - i)) thực hiện công việc. Tuy nhiên, đây là nơi rất nhiều thời gian được chi và rất nhiều cấp phát bộ nhớ từ đâu đến, có lẽ vì:

• new String() tạo ra một đối tượng mới, tạo ra một nội char[] mảng và bản sao các nhân vật vào mảng;
• Double.parseDouble() tạo đối tượng FloatingDecimal và cũng tạo ra một mảng char[], cũng sao chép các ký tự vào đó.

Tất cả các phân bổ này và tất cả việc sao chép này không thực sự cần thiết. Tôi có thể tránh chúng không?

Những gì tôi thực sự muốn là một chức năng strtod -like rằng sẽ mất một char[] (hoặc một byte[]) cũng như hiệu số bắt đầu/kết thúc, và trả về một double.

Mọi đề xuất? Tôi có nên tự mình triển khai không? Tôi có nên viết trình bao bọc JNI xung quanh strtod không? Tôi có nên sử dụng một số thư viện Java đã có ở đó không?

Answer 1

Những gì tôi đã làm trong quá khứ là viết một trình phân tích cú pháp cho ByteBuffer (để tránh chuyển đổi byte sang byte mã hóa) thành gấp đôi và ngược lại. Nếu bạn có thể tránh tạo ra bất kỳ đối tượng nào thì nó có thể nhanh hơn nhiều. Cách tiếp cận này hoạt động cho các tập tin được ánh xạ bộ nhớ tránh một số chi phí sao chép.

Mã lõi trông giống như sau. Nó không xử lý số mũ, nhưng bạn có thể thêm số đó.

@Override 
public double read() throws BufferUnderflowException { 
    long value = 0; 
    int exp = 0; 
    boolean negative = false; 
    int decimalPlaces = Integer.MIN_VALUE; 
    while (true) { 
    byte ch = buffer.get(); 
    if (ch >= '0' && ch <= '9') { 
     while (value >= MAX_VALUE_DIVIDE_10) { 
     value >>>= 1; 
     exp++; 
     } 
     value = value * 10 + (ch - '0'); 
     decimalPlaces++; 
    } else if (ch == '-') { 
     negative = true; 
    } else if (ch == '.') { 
     decimalPlaces = 0; 
    } else { 
     break; 
    } 
    } 

    return asDouble(value, exp, negative, decimalPlaces); 
} 

The full code

Nó dừng lại ngay sau khi nó được bất kỳ byte nó không mong đợi ví dụ a , hoặc \n

Answer 2

Tôi muốn nhìn vào các nguồn cho java.lang.Double, sao chép ra các mã mà không parseDouble đến lớp helper của riêng tôi và sửa đổi nó để làm việc trên char[] với offset và length trực tiếp.

Answer 3

Nếu bạn biết triển khai C hiệu quả, bạn có thể viết trình bao bọc cho nó bằng JNI.

Answer 4

Hết sức tò mò Tôi đã sao chép hàm strtod vào Java và có ~ 10 lần tăng tốc so với phương thức Double.parseDouble (String) (thậm chí không tạo chuỗi mới trong vòng). Nhưng có lẽ điều đó không đủ cho việc triển khai của bạn.

Micro điểm chuẩn cho:

Double.parseDouble(): chuyển đổi 1,6 triệu/giây
Java strtod() phương pháp: 10.5M chuyển đổi/giây