Vòng lặp Bash trên các tệp trong thư mục hdfs

Question

Tôi cần lặp qua tất cả các tệp csv trong hệ thống tệp Hadoop. Tôi có thể liệt kê tất cả các tập tin trong một thư mục HDFS với

> hadoop fs -ls /path/to/directory 
Found 2 items 
drwxr-xr-x - hadoop hadoop   2 2016-10-12 16:20 /path/to/directory/tmp 
-rwxr-xr-x 3 hadoop hadoop 4691945927 2016-10-12 19:37 /path/to/directory/myfile.csv 

và có thể lặp qua tất cả các file trong một thư mục tiêu chuẩn với

for filename in /path/to/another/directory/*.csv; do echo $filename; done 

nhưng làm thế nào tôi có thể kết hợp hai? Tôi đã thử

for filename in `hadoop fs -ls /path/to/directory | grep csv`; do echo $filename; done 

nhưng điều đó mang lại cho tôi một số vô nghĩa như

Found 
2 
items 
drwxr-xr-x 

hadoop 
hadoop 
2  
2016-10-12 
.... 

Answer 1

này nên làm việc

for filename in `hadoop fs -ls /path/to/directory | awk '{print $NF}' | grep .csv$ | tr '\n' ' '` 
do echo $filename; done