Một thư viện/lớp học PHP để đếm từ bằng các ngôn ngữ khác nhau?

Question

Một thời gian trong tương lai gần, tôi sẽ cần phải thực hiện một số lượng từ vựng, hoặc nếu điều đó là không thể, một số ký tự chéo ngôn ngữ.

Theo số lượng từ, tôi muốn nói chính xác số từ có trong văn bản đã cho, lấy ngôn ngữ của văn bản. Ngôn ngữ của văn bản được đặt bởi người dùng và sẽ được giả định là chính xác.

Theo số ký tự, tôi có nghĩa là tổng số ký tự "có thể trong một từ" trong văn bản đã cho, với cùng thông tin ngôn ngữ được mô tả ở trên.

Tôi rất thích số lượng cũ, nhưng tôi biết những khó khăn liên quan. Tôi cũng biết rằng số sau dễ dàng hơn nhiều, nhưng rất thích cái cũ, nếu có thể.

Tôi rất thích nếu tôi chỉ cần nhìn vào tiếng Anh, nhưng tôi cần phải xem xét mọi ngôn ngữ ở đây, tiếng Trung, tiếng Hàn, tiếng Anh, tiếng Ả Rập, tiếng Hindi, v.v.

Tôi muốn biết nếu Stack Overflow có bất kỳ dẫn về nơi để bắt đầu tìm kiếm một sản phẩm/phương pháp hiện có để làm điều này trong PHP, như tôi là một người lười biếng lập trình tốt *

A simple test thể hiện như thế nào str_word_count với set_locale không hoạt động và chức năng từ trang str_word_count của php.net.

* http://blogoscoped.com/archive/2005-08-24-n14.html

Answer 1

chars Đếm được dễ dàng:

echo strlen('一个有十的字符的句子'); // 30 (WRONG!) 
echo strlen(utf8_decode('一个有十的字符的句子')); // 10 

lời Đếm là nơi mọi thứ bắt đầu để có được khôn lanh, đặc biệt đối với Trung Quốc, Nhật Bản và khác ngôn ngữ không sử dụng dấu cách (hoặc các ký tự "ranh giới từ" phổ biến khác) làm dấu tách từ. Tôi không nói tiếng Trung Quốc và tôi không hiểu cách đếm từ hoạt động bằng tiếng Trung, vì vậy bạn sẽ phải giáo dục tôi một chút - điều gì làm nên một từ trong những ngôn ngữ này? Có bất kỳ char hoặc bộ ký tự cụ thể nào không? Tôi nhớ đọc một cái gì đó liên quan đến khó khăn như thế nào để xác định các từ tiếng Nhật trong văn bản T9 nhưng không thể tìm thấy nó nữa.

Sau đây phải trả lại một cách chính xác các số từ trong ngôn ngữ sử dụng khoảng trắng hoặc ký tự chấm câu như từ dải phân cách:

count(preg_split('~[\p{Z}\p{P}]+~u', $string, null, PREG_SPLIT_NO_EMPTY)); 

Answer 2

Vâng, hãy thử:

<? 
function count_words($str){ 
    $words = 0; 
    $str = eregi_replace(" +", " ", $str); 
    $array = explode(" ", $str); 
    for($i=0;$i < count($array);$i++) 
     { 
     if (eregi("[0-9A-Za-zÀ-ÖØ-öø-ÿ]", $array[$i])) 
      $words++; 
    } 
    return $words; 
} 
echo count_words('This is the second one , it will count wrong as well" , it will count 12 instead of 11 because the comma is counted too.'); 
?>