đường dẫn tệp trong hdfs

Question

Tôi muốn đọc tệp từ Hệ thống tệp Hadoop.

Để đạt được đường dẫn chính xác của tệp, tôi cần tên máy chủ và địa chỉ cổng của hdfs.

nên cuối cùng con đường của tôi về tập tin sẽ giống như thế

Path path = new Path("hdfs://123.23.12.4344:9000/user/filename.txt") 

Bây giờ tôi muốn biết để trích xuất các HostName = "123.23.12.4344" & cổng: 9000?

Về cơ bản, tôi muốn truy cập Hệ thống tệp trên Amazon EMR nhưng, khi tôi sử dụng

 FileSystem fs = FileSystem.get(getConf());

Tôi nhận được

 
You possibly called FileSystem.get(conf) when you should have called FileSystem.get(uri, conf) to obtain a file system supporting your path 

Vì vậy, tôi quyết định sử dụng URI. (Tôi phải sử dụng URI) nhưng tôi không chắc chắn cách truy cập URI.

Answer 1

Bạn có thể sử dụng một trong hai cách để giải quyết lỗi của mình.

1.

String infile = "file.txt"; 
Path ofile = new Path(infile); 
FileSystem fs = ofile.getFileSystem(getConf()); 

2.

Configuration conf = getConf(); 
System.out.println("fs.default.name : - " + conf.get("fs.default.name")); 
// It prints uri as : hdfs://10.214.15.165:9000 or something 
String uri = conf.get("fs.default.name"); 
FileSystem fs = FileSystem.get(uri,getConf());