Các vấn đề về hiệu suất yêu cầu web đồng thời

Question

Tôi đang làm việc trên một dịch vụ mới để chạy QA cho nhiều thuộc tính web của công ty chúng tôi và đã gặp sự cố đồng thời về mạng thú vị. Để tăng hiệu suất, tôi đang sử dụng TPL để tạo HttpWebRequests dựa trên một bộ sưu tập lớn các url để chúng có thể chạy song song; tuy nhiên, tôi dường như không thể tìm ra nơi nút cổ chai đang trong quá trình này.

quan sát của tôi cho đến nay:

• tôi có thể nhận được một tối đa khoảng 25-30 đề song song qua TPL
• CPU không bao giờ phá vỡ 5-6% cho các dịch vụ (chạy trên 1-4 lõi, có và không có H/T)
• Sử dụng NIC không bao giờ ngắt 2-3%
• Lưu lượng truy cập mạng dường như không bị ảnh hưởng (người dùng khác không phàn nàn, kiểm tra tốc độ chạy cùng lúc don ' t hiển thị nhiều ảnh hưởng)
• Tốc độ không thay đổi nhiều giữa chạy trên mạng văn phòng của chúng tôi (15Mbps) hoặc trung tâm dữ liệu của chúng tôi (100 Mbps)
• Tôi nhận được một chút hiệu suất bằng cách tải xuống từ nhiều máy chủ cùng một lúc thay vì nhiều trang từ một máy chủ.

điểm đau có thể xảy ra:

• CPU (số lượng lõi hoặc đề phần cứng)
• NIC
• Max phép số HttpWebRequests đồng thời
• LAN
• WAN
• Router/Bộ chuyển đổi/Cân bằng tải

Vì vậy, câu hỏi là:

Rõ ràng hiện nay là cách để tải về toàn bộ Internet chỉ trong vài phút, nhưng tôi quan tâm để biết nơi mà các nút cổ chai là trong một kịch bản như thế này và những gì, nếu bất cứ điều gì, có thể được thực hiện để vượt qua nó.

Lưu ý phụ, chúng tôi hiện đang sử dụng dịch vụ của bên thứ ba để thu thập dữ liệu, nhưng chúng tôi bị giới hạn bởi một số cách và muốn linh hoạt hơn. Một cái gì đó về nước sốt bí mật của công ty hoặc poison on the tip of the arrow ... :)

Answer 1

tôi rất nghi ngờ một trong những điều sau đây là nguyên nhân:

1. Bạn đang chạy vào giới hạn kết nối mặc định. Kiểm tra giá trị của ServicePointManager.DefaultConnectionLimit. Tôi khuyên bạn nên đặt giá trị đó thành giá trị thực tế vô hạn chẳng hạn như 1000.
2. TPL không bắt đầu bằng nhiều chủ đề cần thiết để bão hòa mạng. Lưu ý rằng các máy chủ web từ xa có thể có một lượng lớn độ trễ. Trong khi chờ đợi, luồng của bạn không được tải trên mạng.

TPL không đảm bảo cho bạn mức độ song song tối thiểu (DOP). Đó là một điều đáng tiếc bởi vì đôi khi bạn thực sự cần phải kiểm soát mức độ song song chính xác khi làm việc với IO.

Tôi khuyên bạn nên bắt đầu thủ công một số chuỗi cố định để thực hiện IO của bạn vì đó là cách duy nhất để đảm bảo DOP cụ thể. Bạn cần phải thử nghiệm với giá trị chính xác. Nó có thể nằm trong khoảng từ 50 đến 500. Bạn có thể giảm kích thước ngăn xếp mặc định của các chủ đề của bạn để tiết kiệm bộ nhớ với nhiều chuỗi.

Answer 2

Có thể bạn đang nhấn giới hạn kết nối TCP hoặc không xử lý kết nối đúng cách, trong mọi trường hợp, hãy thử sử dụng một cái gì đó như JMeter để xem thông lượng HTTP đồng thời tối đa mà bạn có thể nhận được.

Answer 3

Mã thực sự rất đơn giản. Tôi sử dụng Parallel.ForEach để lặp qua một tập hợp các URL (chuỗi). Hành động tạo ra một HttpWebRequest và sau đó kết xuất các kết quả vào một ConcurrentBag. BTW, NCrawler có vẻ là thú vị; Tôi sẽ kiểm tra. Cảm ơn vì tiền hỗ trợ.

Bởi vì với Parallel.ForEach không thể kiểm soát số lượng chủ đề, sau đó tôi đề nghị ít nhất chuyển sang số ThreadPool.

Bạn có thể sử dụng QueueUserWorkItem để phân bổ công việc cho đến khi bộ sưu tập tác vụ của bạn được đẩy hoàn toàn vào chuỗi công việc hoặc cho đến khi phương thức trả về false (không còn chủ đề nào trong nhóm).

Với ThreadPool bạn có thể kiểm soát số lượng chủ đề tối đa được phân bổ với SetMaxThreads.