Wikipedia: Thư viện Java để xóa bỏ loại bỏ đánh dấu văn bản wikipedia

Question

Tôi đã tải xuống wikipedia dump và bây giờ muốn xóa đánh dấu wikipedia trong nội dung của mỗi trang. Tôi đã cố gắng viết các biểu thức thông thường nhưng chúng quá nhiều để xử lý. Tôi tìm thấy một thư viện python nhưng tôi cần một thư viện java bởi vì, tôi muốn tích hợp vào mã của tôi.

Cảm ơn bạn.

Answer 1

Do nó trong hai bước:

1. cho một số công cụ hiện chuyển đổi MediaWiki mark-up vào HTML đồng bằng;
2. chuyển đổi HTML thuần túy thành văn bản.

Bản demo sau:

import net.java.textilej.parser.MarkupParser; 
import net.java.textilej.parser.builder.HtmlDocumentBuilder; 
import net.java.textilej.parser.markup.mediawiki.MediaWikiDialect; 
import javax.swing.text.html.HTMLEditorKit; 
import javax.swing.text.html.parser.ParserDelegator; 
import java.io.StringReader; 
import java.io.StringWriter; 

public class Test { 

    public static void main(String[] args) throws Exception { 

     String markup = "This is ''italic'' and '''that''' is bold. \n"+ 
       "=Header 1=\n"+ 
       "a list: \n* item A \n* item B \n* item C"; 

     StringWriter writer = new StringWriter(); 

     HtmlDocumentBuilder builder = new HtmlDocumentBuilder(writer); 
     builder.setEmitAsDocument(false); 

     MarkupParser parser = new MarkupParser(new MediaWikiDialect()); 
     parser.setBuilder(builder); 
     parser.parse(markup); 

     final String html = writer.toString(); 
     final StringBuilder cleaned = new StringBuilder(); 

     HTMLEditorKit.ParserCallback callback = new HTMLEditorKit.ParserCallback() { 
       public void handleText(char[] data, int pos) { 
        cleaned.append(new String(data)).append(' '); 
       } 
     }; 
     new ParserDelegator().parse(new StringReader(html), callback, false); 

     System.out.println(markup); 
     System.out.println("---------------------------"); 
     System.out.println(html); 
     System.out.println("---------------------------"); 
     System.out.println(cleaned); 
    } 
} 

sản xuất:

This is ''italic'' and '''that''' is bold. 
=Header 1= 
a list: 
* item A 
* item B 
* item C 
--------------------------- 
<p>This is <i>italic</i> and <b>that</b> is bold. </p><h1 id="Header1">Header 1</h1><p>a list: </p><ul><li>item A </li><li>item B </li><li>item C</li></ul> 
--------------------------- 
This is italic and that is bold. Header 1 a list: item A item B item C 

Answer 2

Mylyn WikiText có thể chuyển đổi các cú pháp Wiki khác nhau thành HTML và các định dạng khác. Nó cũng hỗ trợ cú pháp MediaWiki, đó là những gì Wikipedia sử dụng. Mặc dù Mylyn WikiText chủ yếu là một plugin Eclipse, nó cũng là available as standalone library.

Answer 3

Hãy thử cách tiếp cận Mediawiki text to plain text. Bạn có thể phải cải thiện lớp PlainTextConverter cho các nhu cầu của bạn. Kết hợp với example for converting Wikipedia texts to HTML bạn có thể chuyển đổi nội dung mẫu.

Answer 4

Nếu bạn cần văn bản thuần túy, bạn nên sử dụng thư viện WikiClean https://github.com/lintool/wikiclean.

Tôi gặp vấn đề tương tự và có vẻ như đây là giải pháp hiệu quả duy nhất có hiệu quả đối với tôi trong java.

Có hai usecases:

1) Khi bạn có văn bản không ở định dạng XML thì bạn nên thêm thẻ xml cần thiết để làm chế biến này. Giả sử bạn đang xử lý tệp XML trước đó, và bây giờ bạn có nội dung không có cấu trúc XML, thì bạn chỉ cần thêm xmlStartTag và xmlEndTag như trong đoạn mã dưới đây, và nó xử lý nó.

String xmlStartTag = "<text xml:space=\"preserve\">"; 
String xmlEndTag = "</text>"; 
String articleWithXml = xmlStartTag + article.getText() + xmlEndTag; 
WikiClean cleaner = new WikiClean.Builder().build(); 
String plainWikiText = cleaner.clean(articleWithXml); 

2) Khi bạn đọc tệp kết xuất Wikipedia trực tiếp (tệp xml), trong trường hợp đó, bạn chỉ cần chuyển tệp qua tệp và nó đi qua.

WikiClean cleaner = new WikiClean.Builder().build(); 
String plainWikiText = cleaner.clean(XMLFileContents);