Java tải xuống tất cả các tệp và thư mục trong một thư mục

Question

Tôi đang cố gắng tải xuống tất cả các tệp từ thư mục này. Tuy nhiên, tôi chỉ có thể tải xuống url đó dưới dạng một tệp. Tôi có thể làm gì? Tôi đã cố gắng tìm kiếm vấn đề này và nó đã gây nhầm lẫn và mọi người bắt đầu đề xuất sử dụng httpclients thay thế. Cảm ơn sự giúp đỡ của bạn, đây là mã của tôi cho đến nay. Nó đã được gợi ý rằng tôi sử dụng một dòng đầu vào để đạt được tất cả các tập tin trong thư mục. Liệu điều đó có đi vào một mảng không? Tôi đã thử hướng dẫn ở đây http://docs.oracle.com/javase/tutorial/networking/urls/ nhưng nó không giúp tôi hiểu.

//ProgressBar/Install 
      String URL_LOCATION = "http://www.futureretrogaming.tk/gamefiles/ProfessorPhys/"; 
      String LOCAL_FILE = filelocation.getText() + "\\ProfessorPhys\\"; 
      try { 
       java.net.URL url = new URL(URL_LOCATION); 
       HttpURLConnection connection = (HttpURLConnection) url.openConnection(); 
       connection.addRequestProperty("User-Agent", "Mozilla/4.76"); 
       //URLConnection connection = url.openConnection(); 
       BufferedInputStream stream = new BufferedInputStream(connection.getInputStream()); 
       int available = stream.available(); 
       byte b[]= new byte[available]; 
       stream.read(b); 
       File file = new File(LOCAL_FILE); 
       OutputStream out = new FileOutputStream(file); 
       out.write(b); 
      } catch (Exception e) { 
       System.err.println(e); 
      } 

Tôi cũng tìm thấy mã này sẽ trả về Danh sách tệp cần tải xuống. Ai đó có thể giúp tôi kết hợp hai mã?

public class GetAllFilesInDirectory { 

public static void main(String[] args) throws IOException { 

    File dir = new File("dir"); 

    System.out.println("Getting all files in " + dir.getCanonicalPath() + " including those in subdirectories"); 
    List<File> files = (List<File>) FileUtils.listFiles(dir, TrueFileFilter.INSTANCE, TrueFileFilter.INSTANCE); 
    for (File file : files) { 
     System.out.println("file: " + file.getCanonicalPath()); 
    } 

} 

}

Answer 1

Bạn cần tải xuống trang, danh sách thư mục, phân tích cú pháp và sau đó tải xuống các tệp inidiviudal được liên kết trong trang ...

bạn có thể làm một cái gì đó giống như ...

URL url = new URL("http:www.futureretrogaming.tk/gamefiles/ProfessorPhys"); 
InputStream is = null; 
try { 
    is = url.openStream(); 
    byte[] buffer = new byte[1024]; 
    int bytesRead = -1; 
    StringBuilder page = new StringBuilder(1024); 
    while ((bytesRead = is.read(buffer)) != -1) { 
     page.append(new String(buffer, 0, bytesRead)); 
    } 
    // Spend the rest of your life using String methods 
    // to parse the result... 
} catch (IOException ex) { 
    ex.printStackTrace(); 
} finally { 
    try { 
     is.close(); 
    } catch (Exception e) { 
    } 
} 

Hoặc, bạn có thể tải Jsoup và sử dụng nó để làm tất cả những công việc khó khăn ...

try { 
    Document doc = Jsoup.connect("http:www.futureretrogaming.tk/gamefiles/ProfessorPhys").get(); 
    Elements links = doc.getElementsByTag("a"); 
    for (Element link : links) { 
     System.out.println(link.attr("href") + " - " + link.text()); 
    } 
} catch (IOException ex) { 
    ex.printStackTrace(); 
} 

nào outputted ...

?C=N;O=D - Name 
?C=M;O=A - Last modified 
?C=S;O=A - Size 
?C=D;O=A - Description 
/gamefiles/ - Parent Directory 
Assembly-CSharp-Editor-firstpass-vs.csproj - Assembly-CSharp-Edit..> 
Assembly-CSharp-Editor-firstpass.csproj - Assembly-CSharp-Edit..> 
Assembly-CSharp-Editor-firstpass.pidb - Assembly-CSharp-Edit..> 
Assembly-CSharp-firstpass-vs.csproj - Assembly-CSharp-firs..> 
Assembly-CSharp-firstpass.csproj - Assembly-CSharp-firs..> 
Assembly-CSharp-firstpass.pidb - Assembly-CSharp-firs..> 
Assembly-CSharp-vs.csproj - Assembly-CSharp-vs.c..> 
Assembly-CSharp.csproj - Assembly-CSharp.csproj 
Assembly-CSharp.pidb - Assembly-CSharp.pidb 
Assembly-UnityScript-Editor-firstpass-vs.unityproj - Assembly-UnityScript..> 
Assembly-UnityScript-Editor-firstpass.pidb - Assembly-UnityScript..> 
Assembly-UnityScript-Editor-firstpass.unityproj - Assembly-UnityScript..> 
Assembly-UnityScript-firstpass-vs.unityproj - Assembly-UnityScript..> 
Assembly-UnityScript-firstpass.pidb - Assembly-UnityScript..> 
Assembly-UnityScript-firstpass.unityproj - Assembly-UnityScript..> 
Assembly-UnityScript-vs.unityproj - Assembly-UnityScript..> 
Assembly-UnityScript.pidb - Assembly-UnityScript..> 
Assembly-UnityScript.unityproj - Assembly-UnityScript..> 
Assets/ - Assets/ 
Library/ - Library/ 
Professor%20Phys-csharp.sln - Professor Phys-cshar..> 
Professor%20Phys.exe - Professor Phys.exe 
Professor%20Phys.sln - Professor Phys.sln 
Professor%20Phys.userprefs - Professor Phys.userp..> 
Professor%20Phys_Data/ - Professor Phys_Data/ 
Script.doc - Script.doc 
~$Script.doc - ~$Script.doc 
~WRL0392.tmp - ~WRL0392.tmp 
~WRL1966.tmp - ~WRL1966.tmp 

Sau đó bạn sẽ cần phải xây dựng một URL mới cho mỗi tập tin và đọc khi bạn đã thực hiện ...

Ví dụ, href cho Assembly-CSharp-Edit..> là Assembly-CSharp-Editor-firstpass-vs.csproj, mà dường như một liên kết tương đối, do đó bạn sẽ cần thêm tiền tố này với http://www.futureretrogaming.tk/gamefiles/ProfessorPhys để thực hiện một mới URL của http://www.futureretrogaming.tk/gamefiles/ProfessorPhys/Assembly-CSharp-Editor-firstpass-vs.csproj

bạn sẽ cần phải làm điều này cho mỗi yếu tố bạn muốn lấy

Answer 2

Bạn đã xem là công cụ như HTTrack, nó có thể phát hiện sự hiện diện của thẻ neo trên HTML và tải toàn bộ trang web (giới hạn bởi mức cây). Bạn cũng có thể chỉ định bộ lọc những tệp nào sẽ được tải xuống vv

Nếu điều này không phù hợp với yêu cầu của bạn, bạn vẫn có thể sử dụng chương trình Java viết tay, ngoại trừ sự cố có được danh sách tệp trong URL (và tất cả thư mục con trong). Bạn cần phân tích cú pháp HTML, thu thập tất cả các thẻ neo và duyệt qua (đó là những gì HTTrack đang làm)