Có thể có bao nhiêu kết nối ổ cắm?

Question

Có ai biết có bao nhiêu kết nối tcp-socket có thể thực hiện trên máy chủ gốc chuẩn hiện đại không? (Thường có ít lưu lượng truy cập hơn trên mỗi kết nối, nhưng tất cả các kết nối phải luôn luôn hoạt động.)

EDIT: Chúng tôi sẽ sử dụng Máy chủ Linux.

Answer 1

Google xung quanh cho sự cố "C10K". Đây là cơ bản thảo luận và công nghệ xung quanh việc quản lý 10.000 hoặc nhiều hơn các kết nối đồng thời.

Tôi nghi ngờ con số này đã được chọn vì nó khó, nhưng về mặt lý thuyết có thể.

Answer 2

Điều này không chỉ phụ thuộc vào hệ điều hành được đề cập, mà còn phụ thuộc vào cấu hình, cấu hình thời gian thực có khả năng.

Đối với Linux:

cat /proc/sys/fs/file-max 

sẽ hiển thị số lượng tối đa hiện tại của file descriptor tổng phép được mở cùng một lúc. Hãy xem http://www.cs.uwaterloo.ca/~brecht/servers/openfiles.html

Answer 3

Thực tế cho một ứng dụng, sau đó 4000-5000 ổ cắm mở trên một máy trở nên không thực tế. Chỉ cần kiểm tra hoạt động trên tất cả các ổ cắm và quản lý chúng bắt đầu trở thành vấn đề hiệu suất - đặc biệt là trong môi trường thời gian thực.

Answer 4

Hệ điều hành nào?

Đối với máy windows, nếu bạn đang viết một máy chủ để mở rộng tốt, và do đó sử dụng Cổng kết thúc I/O và I/O không đồng bộ, thì giới hạn chính là số lượng nhóm không được phân trang mà bạn đang sử dụng cho mỗi kết nối hoạt động. Điều này dịch trực tiếp vào một giới hạn dựa trên số lượng bộ nhớ mà máy của bạn đã cài đặt (nhóm không phân trang là số lượng kích thước cố định hữu hạn dựa trên tổng bộ nhớ đã cài đặt). Đối với các kết nối không thấy nhiều lưu lượng truy cập, bạn có thể giảm hiệu quả bằng cách đăng 'số lần đọc byte không' không sử dụng nhóm không được phân trang và không ảnh hưởng đến giới hạn các trang bị khóa (một tài nguyên giới hạn tiềm ẩn khác). có thể ngăn bạn mở nhiều kết nối socket). Ngoài ra, tốt, bạn sẽ cần phải hồ sơ nhưng tôi đã quản lý để có được hơn 70.000 kết nối đồng thời trên một máy chủ (760MB bộ nhớ) khiêm tốn quy định; xem tại đây http://www.lenholgate.com/blog/2005/11/windows-tcpip-server-performance.html để biết thêm chi tiết.

Rõ ràng nếu bạn đang sử dụng kiến ​​trúc kém hiệu quả hơn như 'luồng cho mỗi kết nối' hoặc 'chọn' thì bạn nên mong đợi để đạt được những con số ít ấn tượng hơn; nhưng, IMHO, đơn giản là không có lý do gì để chọn các kiến ​​trúc như vậy cho các máy chủ socket của Windows.

Chỉnh sửa: xem tại đây http://blogs.technet.com/markrussinovich/archive/2009/03/26/3211216.aspx; cách mà số lượng hồ bơi không được phân trang được tính toán đã thay đổi trong Vista và Server 2008 và giờ đây có nhiều khả năng hơn.

Answer 5

Trên Linux, bạn nên xem xét sử dụng epoll cho I/O không đồng bộ. Nó cũng có thể là giá trị tinh chỉnh bộ đệm ổ cắm để không lãng phí quá nhiều không gian hạt nhân cho mỗi kết nối.

Tôi đoán bạn sẽ có thể tiếp cận 100k kết nối trên một máy hợp lý.

Answer 6

10.000? 70.000?FreeBSD có lẽ là máy chủ bạn muốn, Dưới đây là một số little blog post về điều chỉnh nó để xử lý 100.000 kết nối, nó đã có một số tính năng thú vị như ổ cắm không sao chép trong một thời gian, cùng với kqueue để hoạt động như một cơ chế cổng hoàn thành.

Solaris can handle 100,000 connections vào thế kỷ trước !. Họ nói rằng linux sẽ tốt hơn

Mô tả hay nhất mà tôi đã xem là bản trình bày/bài viết này về cách viết một máy chủ web có thể mở rộng. Anh ấy không ngại để nói nó như nó là :)

Tương tự cho phần mềm: Crétins trên lớp ứng dụng buộc lớn đổi mới trên lớp hệ điều hành. Bởi vì Lotus Notes giữ một kết nối TCP mỗi khách hàng mở, IBM đóng góp lớn tối ưu hóa cho cơ chế “một quá trình, 100.000 kết nối mở” trường hợp sang Linux

Và O (1) lịch trình ban đầu tạo ra để đạt điểm cao trên một số điểm chuẩn Java không liên quan. Dòng dưới cùng là dòng là tất cả của số này là chúng tôi.

Answer 7

tùy thuộc vào ứng dụng. nếu chỉ có một vài gói từ mỗi máy khách, 100K là rất dễ dàng cho Linux. Một kỹ sư của nhóm của tôi đã thực hiện một thử nghiệm năm trước, kết quả cho thấy: khi không có gói nào từ khách hàng sau khi kết nối được thiết lập, Linux epoll có thể xem 400k fd để có thể đọc ở mức sử dụng CPU dưới 50%.

Answer 8

Tôi đã đạt được 1600k kết nối ổ cắm nhàn rỗi đồng thời, và đồng thời 57k req/s trên máy tính để bàn Linux (RAM 16G, CPU I7 2600). Đó là một máy chủ http chủ đề được viết bằng C với epoll. Mã nguồn nằm trên github, một blog here.

Edit:

tôi đã 600k kết nối HTTP đồng thời (client & server) trên cả hai cùng một máy tính, với JAVA/Clojure. Thông tin chi tiết post, HN thảo luận: http://news.ycombinator.com/item?id=5127251

Chi phí của một kết nối (với epoll):

• ứng dụng cần một số RAM cho mỗi kết nối
• TCP đệm 2 * 4k ~ 10k, hoặc nhiều
• epoll cần một số bộ nhớ cho một bộ mô tả tập tin, từ epoll (7)

Mỗi tập tin mô tả tập tin đã đăng ký sts khoảng 90 byte trên hạt nhân 32 bit và khoảng 160 byte trên hạt nhân 64 bit.

Answer 9

Giới hạn về số lượng ổ cắm mở là cấu hình trong hệ thống tập tin/proc

cat /proc/sys/fs/file-max 

Max cho đến kết nối trong hệ điều hành được xác định bằng cách giới hạn số nguyên.

Bản thân Linux cho phép hàng tỷ ổ cắm mở.

Để sử dụng các ổ cắm bạn cần một ứng dụng đang nghe, ví dụ: một máy chủ web và điều đó sẽ sử dụng một lượng RAM nhất định trên mỗi socket.

RAM và CPU sẽ giới thiệu các giới hạn thực. (hiện tại năm 2017, hàng triệu tỷ không phải là hàng tỷ)

1 triệu người có thể, không dễ dàng. Mong đợi sử dụng X Gigabyte RAM để quản lý 1 triệu ổ cắm.

Thư đi Kết nối TCP bị giới hạn bởi số cổng ~ 65000 trên IP. Bạn có thể có nhiều địa chỉ IP, nhưng không phải địa chỉ IP không giới hạn. Đây là giới hạn trong TCP chứ không phải Linux.