Truy cập các tệp trong bộ nhớ cache phân phối hadoop

Question

Tôi muốn sử dụng bộ nhớ cache được phân phối để cho phép người lập bản đồ truy cập dữ liệu. Trong chính, tôi đang sử dụng lệnh

DistributedCache.addCacheFile(new URI("/user/peter/cacheFile/testCache1"), conf); 

đâu/người dùng/peter/cacheFile/testCache1 là một tập tin đó tồn tại trong HDFS

Sau đó, chức năng thiết lập của tôi trông như thế này:

public void setup(Context context) throws IOException, InterruptedException{ 
    Configuration conf = context.getConfiguration(); 
    Path[] localFiles = DistributedCache.getLocalCacheFiles(conf); 
    //etc 
} 

Tuy nhiên, mảng localFiles này luôn rỗng.

Lần đầu tiên tôi chạy trên một cụm máy chủ để thử nghiệm, nhưng tôi đọc rằng điều này sẽ ngăn bộ đệm phân phối hoạt động. Tôi đã thử với một pseudo-phân phối, nhưng điều đó không làm việc, hoặc

Tôi đang sử dụng hadoop 1.0.3

nhờ Peter

Answer 1

Vấn đề ở đây là tôi đã làm như sau:

Configuration conf = new Configuration(); 
Job job = new Job(conf, "wordcount"); 
DistributedCache.addCacheFile(new URI("/user/peter/cacheFile/testCache1"), conf); 

Vì hàm tạo công việc tạo bản sao nội bộ của cá thể conf, việc thêm tệp bộ nhớ cache sau đó sẽ không ảnh hưởng đến mọi thứ. Thay vào đó, tôi nên làm điều này:

Configuration conf = new Configuration(); 
DistributedCache.addCacheFile(new URI("/user/peter/cacheFile/testCache1"), conf); 
Job job = new Job(conf, "wordcount"); 

Và bây giờ nó hoạt động. Nhờ có Harsh trên danh sách người dùng hadoop để được trợ giúp.

Answer 2

Configuration conf = new Configuration(); 
Job job = new Job(conf, "wordcount"); 
DistributedCache.addCacheFile(new URI("/userpetercacheFiletestCache1"),job.getConfiguration()); 

Bạn cũng có thể thực hiện theo cách này.

Answer 3

Một khi công việc được phân công với một đối tượng cấu hình, tức Configuration conf = new Configuration();

Job job = new Job(conf, "wordcount"); 

Và sau đó nếu thỏa thuận với các thuộc tính của conf như hình dưới đây, ví dụ như

conf.set("demiliter","|"); 

hoặc

DistributedCache.addCacheFile(new URI("/user/peter/cacheFile/testCache1"), conf); 

Những thay đổi như vậy sẽ không được phản ánh trong một pseudo cluste r hoặc cluster như thế nào bao giờ nó sẽ làm việc với môi trường địa phương.

Answer 4

Phiên bản mã này (hơi khác so với các cấu trúc được đề cập ở trên) luôn hoạt động đối với tôi.

//in main(String [] args) 
Job job = new Job(conf,"Word Count"); 
... 
DistributedCache.addCacheFile(new URI(/user/peter/cacheFile/testCache1), job.getConfiguration()); 

tôi didnt xem các chức năng hoàn chỉnh setup() trong mã Mapper

public void setup(Context context) throws IOException, InterruptedException { 

    Configuration conf = context.getConfiguration(); 
    FileSystem fs = FileSystem.getLocal(conf); 

    Path[] dataFile = DistributedCache.getLocalCacheFiles(conf); 

    // [0] because we added just one file. 
    BufferedReader cacheReader = new BufferedReader(new InputStreamReader(fs.open(dataFile[0]))); 
    // now one can use BufferedReader's readLine() to read data 

}