5
Làm thế nào để chạy thử nghiệm đơn vị với nose cho các ứng dụng Apache Spark được viết bằng Python?Chạy nosetests cho pyspark
Với nose người ta sẽ thường chỉ cần gọi lệnh
nosetests
để chạy thử nghiệm trong tests thư mục của một gói Python. Các kịch bản lệnh Pyspark cần phải được chạy với lệnh spark-submit thay vì thực thi Python thông thường để cho phép nhập khẩu mô-đun pyspark. Làm cách nào để kết hợp nosetests với pyspark để chạy thử nghiệm cho ứng dụng Spark của tôi?
Điều đó chắc chắn có vẻ thú vị. Bạn có quan tâm cụ thể hơn về những gì cần phải được thực hiện để chạy thử nghiệm của bạn? Cảm ơn trước – karlson
Chắc chắn, kịch bản chạy thử chúng tôi đặt trong repo chỉ kiểm tra để đảm bảo rằng môi trường SPARK_HOME được thiết lập, và nếu nó được gọi là nosetests với một loạt các cờ tùy chọn. Chúng tôi cũng đã thêm một trường hợp thử nghiệm cơ bản mà chúng tôi mở rộng cho các thử nghiệm riêng lẻ của chúng tôi, bắt đầu và dừng một ngữ cảnh tia lửa cục bộ. Điều này làm việc bởi vì chúng ta thêm những thứ vào đường dẫn python của chúng ta trong tệp utils mà tôi đã đề cập, đó có thể là những gì các bài kiểm tra của bạn bị thiếu. – Holden
Cảm ơn bạn, với sự giúp đỡ của mã của bạn tôi đã thực sự có thể nhận được các bài kiểm tra đơn vị của tôi chạy! @Holden – karlson