sợi không được tôn trọng sợi.nodemanager.resource.cpu-vcores

Question

Tôi đang sử dụng Hadoop-2.4.0 và cấu hình hệ thống của tôi là 24 lõi, 96 GB RAM.

Tôi đang sử dụng configs sau

mapreduce.map.cpu.vcores=1 
yarn.nodemanager.resource.cpu-vcores=10 
yarn.scheduler.minimum-allocation-vcores=1 
yarn.scheduler.maximum-allocation-vcores=4 
yarn.app.mapreduce.am.resource.cpu-vcores=1 

yarn.nodemanager.resource.memory-mb=88064 
mapreduce.map.memory.mb=3072 
mapreduce.map.java.opts=-Xmx2048m 

Scheduler Công suất configs

queue.default.capacity=50 
queue.default.maximum_capacity=100 
yarn.scheduler.capacity.root.default.user-limit-factor=2 

Với configs trên, tôi mong đợi sợi sẽ không khởi động hơn 10 người vẽ bản đồ cho mỗi nút, nhưng Nó được tung ra 28 người vẽ bản đồ mỗi nút. Tôi có làm gì sai không ??

Answer 1

YARN đang chạy nhiều vùng chứa hơn các lõi được phân bổ vì theo mặc định, DefaultResourceCalculator được sử dụng. Nó chỉ xem xét bộ nhớ.

public int computeAvailableContainers(Resource available, Resource required) { 
// Only consider memory 
return available.getMemory()/required.getMemory(); 
    } 

Sử dụng DominantResourceCalculator, Nó sử dụng cả cpu và bộ nhớ.

Set dưới config trong năng lực scheduler.xml

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator 

Thông tin thêm về DominantResourceCalculator