Công cụ để tìm các vấn đề về hiệu năng solr

Question

Tôi có một máy chủ solr, chạy ngẫu nhiên vào vấn đề hiệu năng. Các truy vấn dẫn đến qtimes dài hơn, không mất thời gian nếu tôi thử những lần nữa. Vấn đề hiệu suất thậm chí phát sinh đôi khi tải trên máy chủ không cao.

Vì vậy, tôi muốn biết nếu có bất kỳ công cụ có sẵn hoặc có bất kỳ tùy chọn trong solr có sẵn để pin-điểm vấn đề dẫn đến các vấn đề hiệu suất.

một số các thông số trong solrconfig.xml được sử dụng là -

<filterCache class="solr.LRUCache" size="1024" initialSize="512" autowarmCount="1000"/> 
<queryResultCache class="solr.LRUCache" size="512" initialSize="128" autowarmCount="0"/> 
<documentCache class="solr.LRUCache" size="1024" initialSize="512" autowarmCount="0"/> 
<enableLazyFieldLoading>true</enableLazyFieldLoading> 
<queryResultWindowSize>30</queryResultWindowSize> 
<queryResultMaxDocsCached>100</queryResultMaxDocsCached> 
<HashDocSet maxSize="10000" loadFactor="0.75"/> 

Answer 1

Nếu bạn đang tìm kiếm lâu dài theo dõi bạn cũng có thể xem xét các công cụ/dịch vụ như Giám sát hiệu suất có thể mở rộng (SPM) từ công ty của tôi, Sematext hoặc các công ty khác. http://sematext.com/spm/index.html

Dịch vụ này sẽ vạch trần lãi suất yêu cầu, độ trễ, tất cả thông tin bộ nhớ cache Solr, bộ nhớ JVM, GC, CPU, tải, đĩa và mạng IO vv

Chúng tôi ăn thức ăn cho chó riêng của chúng tôi và sử dụng công cụ này để theo dõi hiệu suất Solr của các cá thể Solr sau search-lucene.com và search-hadoop.com/ và chúng tôi thường xuyên sử dụng nó với khách hàng khi cần giúp đỡ chúng xung quanh việc điều chỉnh hiệu năng của Solr.

Nếu bạn không muốn theo dõi hiệu suất "đúng" ở trên, thì bạn có thể sử dụng các công cụ như vmstat, iostat, sar, top, jstack, vv để khắc phục sự cố hiệu năng Solr, giả sử bạn chạy nó dưới UNIX.

Answer 2

Tôi nghĩ rằng bạn nên bắt đầu bằng cách xem xét Solr Performance Factors on the Solr Wiki. Bạn cũng có thể sử dụng công cụ SolrMeter để giúp căng thẳng kiểm tra các thay đổi của bạn.

Answer 3

Có thể công cụ này có thể giúp bạn: LucidGaze.

Tôi không có kinh nghiệm với nó nhưng có vẻ đầy hứa hẹn. Những người từ Lucid cũng xuất bản một số bài viết thú vị mà thực sự đáng đọc.

Answer 4

Tiện ích 'sar' từ gói sysstat rất hữu ích để gỡ lỗi các sự cố đĩa IO. Nếu bạn nhận thấy rằng bất kỳ đĩa cụ thể nào nhận được hơn 30% hoặc sử dụng một cách nhất quán, bạn có thể bị ràng buộc bởi IO.

Answer 5

Tôi đã làm một thử nghiệm căng thẳng của các ứng dụng bằng cách bắn đồng thời nhiều yêu cầu đến máy chủ Solr (yêu cầu được thực hiện bởi wgets tiếp theo)

Chúng tôi bắt đầu nhìn thấy những tác động hiệu quả và thu hẹp vấn đề của chúng tôi để hai nguyên nhân:

• kích thước bộ nhớ cache quá nhỏ, do đó, có quá nhiều trục xuất và chèn xảy ra trong bộ nhớ cache.
• Chúng tôi đang sử dụng solrversion1.3 có vẻ như sử dụng tính năng chặn lần đọc cho các tệp chỉ mục. Chuyển sang solr 1.4 đã loại bỏ vấn đề đó khi nó sử dụng java nio, sử dụng không đọc các tệp chỉ mục.

[chúng tôi cũng đã cố gắng đưa các tập tin chỉ mục trong ram và trực tiếp sử dụng nó từ đó, mà cải thiện hiệu quả hoạt động (nhưng rõ ràng là không thể mở rộng)]

Answer 6

Tôi đã trải qua rò rỉ bộ nhớ SOLR trong hơn một năm và phải xem xét lại máy chủ trong năm ngày để giải quyết vấn đề, cuối cùng tôi phát hiện ra rằng công cụ giám sát RELIC gây ra vấn đề, chúng tôi đã xóa giám sát và vấn đề đã được giải quyết, vì vậy lời khuyên của tôi là phải cẩn thận khi sử dụng quá nhiều công cụ monittoring, nó đặt một phí trên hiệu suất.