Thông lượng tối đa của Loggly là bao nhiêu?

Question

Có bao nhiêu yêu cầu mỗi giây từ một khách hàng có thể xử lý Loggly? Tôi chỉ có thể nhận được khoảng 10-20 yêu cầu được xử lý mỗi giây và tôi tự hỏi nếu điều này là bình thường.

Answer 1

Tôi vừa chạy một loạt các thử nghiệm và thấy rằng nó thực sự không thể xử lý nhiều thông qua kết nối tcp bằng syslog-ng.

Đây là kết quả thử nghiệm của tôi cho bất kỳ ai muốn dùng thử. Tôi đã sử dụng chương trình "loggen" của balabit cho điều này và gửi 200 byte tin nhắn tới cổng tcp được gán cho tôi bằng cách loggly. Lưu ý rằng mặc dù syslog RFC (ít nhất 3164) nói rằng một thông điệp tường trình không được vượt quá 1024 byte, tôi đã sử dụng gói 200 byte chỉ để công bằng và bởi vì nhiều thư nhỏ.

Đã đăng ký tài khoản miễn phí. Đã định cấu hình kết nối TCP để thử nghiệm. Cố gắng gửi một lượng khác nhau, kết quả:

Test 1: FAIL

loggen -iS -r 6000 -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 1392.13 msg/sec, count=18296, time=13.142, (average) msg size=200, bandwidth=271.74 kB/sec 

thử nghiệm 2: FAIL

loggen -iS -r 4000 -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 2767.16 msg/sec, count=121146, time=43.779, (average) msg size=200, bandwidth=540.15 kB/sec 

thử nghiệm 3: FAIL

loggen -iS -r 2500 -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 1931.27 msg/sec, count=85878, time=44.467, (average) msg size=200, bandwidth=376.98 kB/sec 

thử nghiệm 4: FAIL

loggen -iS -r 2000 -s 200 -I 100 logs.loggly.com 16225  
Send error Broken pipe, results may be skewed.  
average rate = 1617.72 msg/sec, count=83134, time=51.389, (average) msg size=200, bandwidth=315.78 kB/sec 

thử nghiệm 5: FAIL

loggen -iS -r 1000 -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 936.50 msg/sec, count=63331, time=67.624, (average) msg size=200, bandwidth=182.81 kB/sec 

thử nghiệm 6: PASS cho thời gian cấu hình, FAIL cho> 100 giây - SEE THI 7

loggen -iS -r 500 -s 200 -I 100 logs.loggly.com 16225 
average rate = 325.00 msg/sec, count=32501, time=100.001, (average) msg size=200, bandwidth=63.44 kB/sec 

thử nghiệm 7: FAIL - Ran một thử nghiệm mới @ 500 EPS trong một khoảng thời gian dài hơn và đường ống bị phá vỡ sau 255 giây:

loggen -iS -r 500 -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 323.35 msg/sec, count=82642, time=255.577, (average) msg size=200, bandwidth=63.12 kB/sec 

Kiểm tra 8: FAIL (chạy lâu hơn @ 200 EPS, nhưng vẫn không thành công)

loggen -iS -r 200 -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 163.53 msg/sec, count=234090, time=1431.470, (average) msg size=200, bandwidth=31.92 kB/sec 

thử nghiệm 9: FAIL (một lần nữa, chạy lâu hơn nhưng vẫn thất bại)

loggen -iS -r 50 -s 200 -I 10000 logs.loggly.com 16225  
Send error Broken pipe, results may be skewed.  
average rate = 47.36 msg/sec, count=89325, time=1886.014, (average) msg size=200, bandwidth=9.25 kB/sec 

Kiểm tra 10: KHÔNG? (cùng một kết quả, nhưng lại bị mất kết nối. Khó tin rằng họ không thể xử lý 10 eps?)

loggen -iS -r 10 -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed. 
average rate = 9.94 msg/sec, count=1568, time=157.770, (average) msg size=200, bandwidth=1.94 kB/sec 

Có một số trang web tìm kiếm những gì có thể thực hiện được, nhưng chỉ có tài liệu tiếp thị có thể mở rộng, không phải là khả năng mở rộng. tôi đã tìm thấy điều này: http://twitter.com/jordansissel/status/5948244626509824 Đó là chỉ 22 sự kiện mỗi giây ...

Khai báo đầy đủ: Tôi là người sáng lập ra LogZilla, vì vậy tôi đã được thử nghiệm ra sự cạnh tranh bởi vì chúng tôi đang phát động một giải pháp syslog dựa trên đám mây. Các thử nghiệm của tôi cho thấy rằng phần mềm của chúng tôi có thể xử lý từ 2.000 đến 12.000 sự kiện mỗi giây tùy thuộc vào máy chủ mà chúng tôi đang sử dụng trên đám mây.

Answer 2

Tôi thực sự không biết nhưng tôi đã tìm kiếm giải pháp ghi nhật ký cho node.js mà không cần may mắn.

Tại sao?

Vì tất cả những người tôi đã kiểm tra (không kiểm tra tất cả) đang sử dụng đồng bộ ghi đĩa! ...... AWFULLY làm giảm hiệu suất.

Vì vậy, nếu bạn hỏi tôi - bạn nên xem xét lại nhu cầu của mình và chỉ đăng nhập những nội dung bạn thực sự cần.

Answer 3

Tôi chạy các thử nghiệm tương tự như các thử nghiệm trong Clayton answer vì kết quả của anh ấy làm tôi lo lắng rằng Loggly sẽ thả thư nếu tôi gửi quá nhiều cùng một lúc. Tôi muốn xem liệu những vấn đề Clayton gặp phải trong năm 2012 vẫn tồn tại ngày hôm nay.

Điều đó nói rằng, đây là những gì tôi thấy chạy loggen trong 60 giây tạo 100.000 tin nhắn một giây.

$ loggen -iS -r 100000 -s 200 -I 60 logs-01.loggly.com port 
average rate = 34885.98 msg/sec, count=2093163, time=60.000, (average) msg size=200, bandwidth=6809.74 kB/sec 

Tôi cũng tò mò những gì một số đối thủ cạnh tranh sẽ trở lại để kiểm tra tương tự và tôi thấy như sau:

Papertrail

loggen -iS -D -r 100000 -s 200 -I 60 logs2.papertrailapp.com PORT 
average rate = 24344.71 msg/sec, count=1461327, time=60.026, (average) msg size=200, bandwidth=4752.09 kB/sec 

Logentries

$ loggen -iS -D -r 100000 -s 200 -I 60 api.logentries.com PORT 
average rate = 14076.76 msg/sec, count=844609, time=60.000, (average) msg size=200, bandwidth=2747.78 kB/sec 

Rõ ràng đây không phải là con số khó mà sẽ luôn luôn giống như các hệ thống thay đổi theo thời gian. Điều này chỉ cung cấp cho chúng tôi một thời điểm tham chiếu về cách họ phản hồi khi tôi chạy thử nghiệm. Số dặm của bạn sẽ thay đổi!

Cập nhật: Tôi chạy một (gần 3 giờ) kiểm tra còn chống lại Loggly và nhận được những điều sau đây:

loggen -iS -r 100000 -s 200 -I 10000 logs-01.loggly.com port 
average rate = 15869.22 msg/sec, count=158692177, time=10000.000, (average) msg size=200, bandwidth=3097.67 kB/sec