Thiết kế khung kiểm tra căng thẳng

Question

Tôi thực hiện kiểm tra tích hợp/căng thẳng trên một sản phẩm rất lớn (nghĩ về kích thước hệ điều hành) và gần đây nhóm của tôi và tôi đã thảo luận các cách để tổ chức tốt hơn khối lượng công việc thử nghiệm của chúng tôi. Cho đến bây giờ, chúng tôi đã có nội dung để có tất cả các ứng dụng tải công việc (tùy chỉnh) của chúng tôi trong một loạt các công việc kiểu hàng loạt, mỗi công việc đại diện cho một lần chạy thử nghiệm ứng suất đơn lẻ. Bây giờ chúng ta đang ở một điểm mà chạy thử nghiệm trung bình bao gồm lên đến 100 khối lượng công việc chạy trên 13 hệ thống, chúng tôi nghĩ rằng đã đến lúc xây dựng một thứ gì đó tiên tiến hơn một chút.

Tôi đã nhìn thấy rất nhiều ở đó về các khuôn khổ kiểm tra đơn vị, nhưng rất ít cho các bài kiểm tra loại căng thẳng cấp cao hơn. Có ai biết một cách phổ biến (hoặc không phổ biến) rằng vấn đề quản lý số lượng lớn khối lượng công việc được giải quyết? Ngay bây giờ, chúng tôi muốn giữ một cơ sở dữ liệu cho từng khối lượng công việc và cung cấp giao diện người dùng để trộn và kết hợp chúng thành các gói thử tùy thuộc vào loại ứng suất mà chúng ta cần vào một ngày nhất định, nhưng chúng tôi không có bất kỳ ví dụ nào về cách tốt nhất để làm những việc nâng cao hơn như xếp hạng sự căng thẳng mà mỗi khối lượng công việc riêng lẻ đặt trên một hệ thống.

Những người thử nghiệm căng thẳng đồng nghiệp của tôi trên các sản phẩm lớn đang làm gì? Đối với chúng tôi, một vài kịch bản được kiểm tra sẽ không cắt nó nữa.

Answer 1

Trải nghiệm của riêng tôi đã bắt đầu trên nền tảng IIS với WCAT và sau đó là với JMeter và Selenium.

WCAT và JMeter đều cho phép bạn đi qua một trang web dưới dạng tuyến đường, hoàn thành biểu mẫu, v.v. và ghi lại quá trình dưới dạng tập lệnh. Các kịch bản sau đó có thể được phát lại đơn lẻ hoặc mô phỏng nhiều khách hàng và nhiều chủ đề. Ngẫu nhiên phát lại để mô phỏng việc sử dụng nhiều lần và không thể đoán trước, vv ..

Có thể chỉnh sửa và viết kịch bản bằng tay khi bạn biết bạn đang đi. WCAT sẽ cho phép bạn phát lại từ các tệp nhật ký cũng như cho phép bạn mô phỏng việc sử dụng thế giới thực.

Cả hai cài đặt trên đều được cài đặt trên PC hoặc máy chủ.

Selen là một FireFox thêm vào nhưng hoạt động theo cách tương tự như ghi và phát lại tập lệnh và cho phép tăng tỷ lệ.

Hơi khó hơn trong việc xác định các tình huống bạn đang thử nghiệm và sau đó thiết kế các thử nghiệm để phù hợp với chúng. Ngoài ra tương tác với cơ sở dữ liệu và các resouces bên ngoài cần phải được factored in Expcet để dành nhiều thời gian nhìn vào các tập tin đăng nhập, do đó, đầu ra đồ họa tốt là điều cần thiết.

Answer 2

Điều khó khăn nhất đối với tôi là thu thập và tổ chức số liệu hiệu suất từ ​​các máy chủ đang tải. Performance Monitor là công cụ chính của tôi. Khi phiên bản Visual Studio Tester xuất hiện, tôi rất ngạc nhiên khi làm việc với các bộ đếm hiệu suất dễ dàng như thế nào. Họ đã đóng gói trước một danh sách các quầy cho một máy chủ web, máy chủ SQL, ứng dụng ASP.NET, v.v. Tôi đã học về một loạt các bộ đếm hiệu suất mà tôi không biết thậm chí còn tồn tại. Ngoài ra, bạn có thể thu thập các quầy của riêng bạn. Bạn có thể lưu trữ số liệu sau mỗi lần chạy. Bạn cũng có thể kết nối với máy chủ sản xuất và xem họ cảm thấy thế nào hôm nay. Sau đó, tôi thấy tất cả những đồ họa trong thời gian thực tôi cảm thấy được trao quyền! :) Nếu bạn cần tải nhiều hơn, bạn có thể nhận được VS Đại lý tải và tạo ra giàn khoan tạo tải (hoặc tôi nên gọi nó là botnet). So với các sản phẩm trên thị trường, nó tương đối rẻ tiền. MS giấy phép đi mỗi bộ xử lý nhưng không theo yêu cầu đồng thời. Điều đó có nghĩa là bạn có thể tạo ra nhiều tải như phần cứng của bạn có thể xử lý. Trung bình, tôi có thể nhận được khoảng 3000 yêu cầu web đồng thời trên máy tính bộ nhớ 2 nhân, 2GB. Ngoài ra, bạn có thể kết hợp các thử nghiệm hiệu suất vào các bản dựng của mình.

Tất nhiên nó đi cho Windows. Bên cạnh thẻ giá khoảng $ 6K cho công cụ này có thể cao một chút, cộng với số tiền tương tự cho mỗi tác nhân tải bổ sung.