Thực hành tốt nhất để sử dụng HttpClient trong môi trường đa luồng

Question

Trong một thời gian, tôi đã sử dụng HttpClient trong môi trường đa luồng. Đối với mỗi luồng, khi nó khởi tạo một kết nối, nó sẽ tạo ra một cá thể HttpClient hoàn toàn mới.

Gần đây, tôi đã phát hiện ra rằng, bằng cách sử dụng phương pháp này, nó có thể khiến người dùng có quá nhiều cổng đang được mở và hầu hết các kết nối đều ở trạng thái TIME_WAIT.

http://www.opensubscriber.com/message/commons-httpclient-dev@jakarta.apache.org/86045.html

Do đó, thay vì mỗi thread thực hiện:

HttpClient c = new HttpClient(); 
try { 
    c.executeMethod(method); 
} 
catch(...) { 
} 
finally { 
    method.releaseConnection(); 
} 

Chúng tôi dự định có:

[PHƯƠNG PHÁP A]

// global_c is initialized once through 
// HttpClient global_c = new HttpClient(new MultiThreadedHttpConnectionManager()); 

try { 
    global_c.executeMethod(method); 
} 
catch(...) { 
} 
finally { 
    method.releaseConnection(); 
} 

Trong một tình huống bình thường, global_c sẽ được truy cập bởi 50 ++ chủ đề đồng thời. Tôi đã tự hỏi, điều này sẽ tạo ra bất kỳ vấn đề hiệu suất? MultiThreadedHttpConnectionManager có sử dụng cơ chế không khóa để thực thi chính sách an toàn của luồng không?

Nếu 10 chủ đề đang sử dụng global_c, 40 chủ đề khác có bị khóa không?

Hoặc sẽ tốt hơn nếu, trong mỗi chủ đề, tôi tạo một thể hiện của HttpClient, nhưng phát hành trình quản lý kết nối một cách rõ ràng?

[PHƯƠNG PHÁP B]

MultiThreadedHttpConnectionManager connman = new MultiThreadedHttpConnectionManager(); 
HttpClient c = new HttpClient(connman); 
try { 
     c.executeMethod(method); 
} 
catch(...) { 
} 
finally { 
    method.releaseConnection(); 
    connman.shutdown(); 
} 

sẽ connman.shutdown() bị các vấn đề hiệu suất?

Tôi có thể biết phương pháp nào (A hoặc B) tốt hơn, đối với ứng dụng sử dụng chuỗi 50 ++ không?

Answer 1

Phương pháp A được cộng đồng nhà phát triển httpclient khuyến nghị.

Vui lòng tham khảo http://www.mail-archive.com/httpclient-users@hc.apache.org/msg02455.html để biết thêm chi tiết.

Answer 2

Việc đọc tài liệu của tôi là chính HttpConnection không được coi là chuỗi an toàn, và do đó MultiThreadedHttpConnectionManager cung cấp một nhóm dùng lại HttpConnections, bạn có một MultiThreadedHttpConnectionManager được chia sẻ bởi tất cả các luồng và khởi tạo chính xác một lần. Vì vậy, bạn cần có một vài cải tiến nhỏ để lựa chọn A.

MultiThreadedHttpConnectionManager connman = new MultiThreadedHttpConnectionManag 

Sau đó, mỗi chủ đề nên sử dụng trình tự cho mọi yêu cầu, nhận được một conection từ hồ bơi và đưa nó trở lại khi hoàn thành công việc của mình - sử dụng một cuối cùng khối có thể tốt. Bạn cũng nên mã cho khả năng rằng các hồ bơi không có kết nối có sẵn và xử lý các ngoại lệ thời gian chờ.

HttpConnection connection = null 
try { 
    connection = connman.getConnectionWithTimeout(
         HostConfiguration hostConfiguration, long timeout) 
    // work 
} catch (/*etc*/) {/*etc*/} finally{ 
    if (connection != null) 
     connman.releaseConnection(connection); 
} 

Vì bạn đang sử dụng một nhóm kết nối bạn sẽ không thực sự đóng kết nối và vì vậy điều này sẽ không xảy ra sự cố TIME_WAIT. Cách tiếp cận này giả định rằng mỗi luồng không treo vào kết nối lâu. Lưu ý rằng conman chính nó là trái mở.

Answer 3

Tôi nghĩ bạn sẽ muốn sử dụng ThreadSafeClientConnManager.

Bạn có thể xem làm thế nào nó hoạt động ở đây: http://foo.jasonhudgins.com/2009/08/http-connection-reuse-in-android.html

Hoặc trong AndroidHttpClient trong đó sử dụng nó trong nội bộ.

Answer 4

Chắc chắn phương pháp A vì được gộp chung và chuỗi an toàn.

Nếu bạn đang sử dụng httpclient 4.x, trình quản lý kết nối được gọi là ThreadSafeClientConnManager. Xem chi tiết link để biết thêm chi tiết (cuộn xuống "Quản lý kết nối gộp"). Ví dụ:

HttpParams params = new BasicHttpParams(); 
    SchemeRegistry registry = new SchemeRegistry(); 
    registry.register(new Scheme("http", PlainSocketFactory.getSocketFactory(), 80)); 
    ClientConnectionManager cm = new ThreadSafeClientConnManager(params, registry); 
    HttpClient client = new DefaultHttpClient(cm, params); 

Answer 5

Với HttpClient 4.5 bạn có thể làm điều này:

CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(new PoolingHttpClientConnectionManager()).build(); 

Lưu ý rằng điều này thực hiện có thể đóng (ví tắt của người quản lý kết nối).