Ưu điểm của việc thiết lập "hive.exec.parallel" thành false trong Hive là gì?

Question

tôi đến để biết rằng khi hive.exec.parallel được thiết lập là true trong tức là hive

set hive.exec.parallel=true; 

nhiệm vụ sau đó độc lập trong một truy vấn có thể chạy song song.

Nhờ Qubole cho việc này:

Có bất kỳ ưu điểm của thiết lập tham số này là sai? Tôi sẽ lặp lại bản thân mình ở đây: Rõ ràng, bất cứ khi nào có thể, bạn muốn chạy mọi thứ song song và có nhiều thông lượng hơn. Tại sao ai đó sẽ đặt tham số này thành false - có bất kỳ nhược điểm nào không?

Answer 1

Nó chỉ đơn giản là một tham số bởi vì khi nó được giới thiệu nó không rõ ràng nó ổn định như thế nào và vì vậy bạn sẽ có thể tắt nó đi. Khi có đủ người đã thử nó và thấy nó ổn định, mặc định được chuyển thành đúng: https://issues.apache.org/jira/browse/HIVE-1033

Không có bất lợi thực tế tại thời điểm này.

Answer 2

Theo kinh nghiệm của tôi, nhược điểm duy nhất là sử dụng tài nguyên. Nếu bạn có sẵn tài nguyên giới hạn, có thể tốt hơn là nên có các truy vấn chạy theo chuỗi. Khi các truy vấn chạy song song, một truy vấn có thể quản lý nhiều công việc cùng một lúc, điều này có thể làm hỏng cụm tài nguyên. Nếu bạn không cần tốc độ và có một cụm với rất nhiều khối lượng công việc, nó có thể là tốt hơn tổng thể để cho mọi thứ chạy serially.

Answer 3

Mayank, Khách sạn này cũng có các lợi ích với một số điều kiện sao. Tôi có nghĩa là để nói rằng Hive có một tính năng khóa cơ sở dữ liệu trong khi nhiều truy vấn chạy trên cơ sở dữ liệu đó.

Ví dụ -
Bạn có một truy vấn phức tạp với nhiều giai đoạn chạy trên một cơ sở dữ liệu nơi có tài sản song song có thể làm tăng hiệu quả của bạn, nhưng nó cũng sẽ tạo ra "KHÓA" trên DATABASE có thể dừng quá trình khác đang chạy trên cùng một cơ sở dữ liệu cho thời gian thực hiện riêng của nó.

Gần đây tôi đã phải đối mặt với vấn đề này và đã giải quyết bằng cách làm cho khách sạn này "FALSE".
Tôi hy vọng câu trả lời này có thể giúp bạn hiểu trong trường hợp nào chúng tôi phải làm cho nó sai.