Các chương trình Java điểm chuẩn

Question

Đối với trường đại học, tôi thực hiện các sửa đổi bytecode và phân tích ảnh hưởng của chúng đến hiệu năng của các chương trình Java. Vì vậy, tôi cần các chương trình Java --- trong trường hợp tốt nhất được sử dụng trong sản xuất --- và các tiêu chuẩn thích hợp. Ví dụ, tôi đã có HyperSQL và đo lường hiệu năng của nó bằng chương trình chuẩn PolePosition. Các chương trình Java chạy trên một JVM không có trình biên dịch JIT. Cảm ơn bạn đã giúp đỡ!

P.S .: Tôi không thể sử dụng các chương trình để đánh giá hiệu suất của JVM hoặc của chính ngôn ngữ Java (chẳng hạn như Công cụ tìm kiếm rộng).

Answer 1

Brent Boyer, đã viết một loạt bài viết hay cho các nhà phát triển IBM làm việc: Robust Java benchmarking, được đi kèm với một khung điểm chuẩn vi mô dựa trên phương pháp thống kê âm thanh. Article và Resources Page.

Vì bạn làm điều đó cho trường đại học, bạn có thể quan tâm đến Andy Georges, Dries Buytaert, Lieven Eeckhout: Statistically rigorous java performance evaluation in OOPSLA 2007.

Answer 2

Bất kỳ lập trình viên có kinh nghiệm nào cũng sẽ cho bạn biết rằng tối ưu hóa sớm là tồi tệ hơn không tối ưu hóa. Đó là một sự lãng phí tài nguyên tốt nhất, và nguồn gốc của các vấn đề tương lai vô tận (và hiện tại) ở mức tồi tệ nhất.

Nếu không có ngữ cảnh, bất kỳ ứng dụng nào, ngay cả với nhật ký điểm chuẩn, sẽ không cho bạn biết gì. Tôi có thể có một vòng lặp trong đó mất 10 giờ để hoàn thành, điểm chuẩn sẽ hiển thị nó gần như mãi mãi, nhưng tôi không quan tâm vì nó không phải là hiệu suất quan trọng. Một vòng lặp khác chỉ mất một phần nghìn giây nhưng điều đó có thể quá dài vì nó khiến tôi không thể nhận được các gói dữ liệu đến đến khoảng 100 micro giây.

Hai thái cực, nhưng cả hai có thể xảy ra (ngay cả trong cùng một ứng dụng), và bạn sẽ không bao giờ biết trừ khi bạn biết ứng dụng đó, cách ứng dụng được sử dụng, trong đó điều kiện và yêu cầu.

Nếu giao diện người dùng mất 1/2 giây để hiển thị giao diện có thể quá dài hoặc không có vấn đề, ngữ cảnh là gì? Kỳ vọng của người dùng là gì?

Answer 3

Caliper là công cụ do Google cung cấp để đo điểm chuẩn micro. Nó sẽ cung cấp cho bạn đồ thị và mọi thứ. Những người đặt công cụ này lại với nhau rất quen thuộc với nguyên tắc "Tối ưu hóa sớm là gốc rễ của tất cả các điều ác", (đến điểm của jwnting) và rất cẩn thận trong việc giải thích vai trò của điểm chuẩn.