Lập trình trích xuất từ ​​khóa từ tên miền

Question

Giả sử tôi có danh sách tên miền mà tôi muốn phân tích. Trừ khi tên miền được gạch nối, tôi không thấy một cách đặc biệt dễ dàng để "trích xuất" các từ khóa được sử dụng trong miền. Tuy nhiên, tôi nhìn thấy nó được thực hiện trên các trang web như DomainTools.com, Estibot.com, vv Ví dụ:

ilikecheese.com becomes "i like cheese" 
sanfranciscohotels.com becomes "san francisco hotels" 
... 

Mọi góp ý cho việc này một cách hiệu quả và hiệu quả?

Chỉnh sửa: Tôi muốn viết điều này bằng PHP.

Answer 1

Ok, tôi đã chạy tập lệnh mà tôi đã viết cho this SO question, với một vài thay đổi nhỏ - sử dụng xác suất nhật ký để tránh bị tràn và sửa đổi tệp để đọc nhiều tệp dưới dạng tệp phụ.

Đối với kho dữ liệu của tôi, tôi đã tải xuống một loạt tệp từ dự án Gutenberg - không có phương pháp thực sự nào, chỉ cần lấy tất cả các tệp tiếng Anh từ etext00, etext01 và etext02.

Dưới đây là kết quả, tôi đã lưu ba kết quả hàng đầu cho mỗi kết hợp.

 
expertsexchange: 97 possibilities 
- experts exchange -23.71 
- expert sex change -31.46 
- experts ex change -33.86 

penisland: 11 possibilities 
- pen island -20.54 
- penis land -22.64 
- pen is land -25.06 

choosespain: 28 possibilities 
- choose spain -21.17 
- chooses pain -23.06 
- choose spa in -29.41 

kidsexpress: 15 possibilities 
- kids express -23.56 
- kid sex press -32.65 
- kids ex press -34.98 

childrenswear: 34 possibilities 
- children swear -19.85 
- childrens wear -25.26 
- child ren swear -32.70 

dicksonweb: 8 possibilities 
- dickson web -27.09 
- dick son web -30.51 
- dicks on web -33.63 

Answer 2

Bạn sẽ phải sử dụng công cụ từ điển chống lại mục nhập tên miền để tìm các từ hợp lệ và chạy công cụ từ điển đó dựa trên kết quả để đảm bảo kết quả là từ hợp lệ.

Answer 3

Nếu bạn có danh sách các từ hợp lệ, bạn có thể lặp qua chuỗi miền của mình và cố gắng cắt từng từ hợp lệ mỗi lần bằng thuật toán backtracking. Nếu bạn quản lý để sử dụng hết tất cả các từ, bạn đã hoàn thành. Hãy nhận biết rằng thời gian phức tạp của việc này là không tối ưu :)

Answer 4

choosespain.com kidsexpress.com childrenswear.com dicksonweb.com

Hãy vui vẻ (và một luật sư tốt) nếu bạn đang đi để cố gắng phân tích cú pháp url bằng một từ điển.

Bạn có thể làm tốt hơn nếu bạn có thể tìm thấy các ký tự giống nhau nhưng được phân tách bằng khoảng trắng trên trang web của họ.

Các khả năng khác: trích xuất dữ liệu từ chứng chỉ ssl; truy vấn máy chủ tên miền cấp cao nhất; Truy cập máy chủ tên miền (TLD); hoặc sử dụng một trong những công cụ hoặc dịch vụ "whois" (chỉ cần google "whois").

Answer 5

Có thể muốn xem this SO question.

Answer 6

Bạn cần phát triển một phỏng đoán sẽ có khả năng khớp với tên miền. Cách tôi sẽ làm điều đó là lần đầu tiên tìm thấy một văn bản lớn của văn bản. Ví dụ: bạn có thể tải xuống Wikipedia.

Tiếp theo lấy kho dữ liệu của bạn và kết hợp hai từ liền kề nhau. Ví dụ, nếu câu của bạn là:

quick brown fox jumps over the lazy dog 

Bạn sẽ tạo một danh sách:

quickbrown 
brownfox 
foxjumps 
jumpsover 
overthe 
thelazy 
lazydog 

Mỗi trong số này sẽ có một số một. Khi bạn phân tích cú pháp của bạn, bạn sẽ theo dõi các cặp tần số của mỗi hai từ. Ngoài ra, đối với mỗi cặp, bạn sẽ cần phải sắp xếp hai từ gốc là gì.

Sắp xếp danh sách này theo tần suất và sau đó tìm cách tìm các kết quả phù hợp trong miền của bạn dựa trên những từ này.

Cuối cùng, hãy kiểm tra tên miền cho hai cụm từ đầu không được đăng ký!

Tôi nghĩ các trang web như DomainTool có danh sách các từ xếp hạng cao nhất. Sau đó, họ cố phân tích những từ này ra trước. Tùy thuộc vào mục đích, bạn có thể muốn xem xét việc sử dụng MTurk để thực hiện công việc. Những người khác nhau sẽ phân tích các từ giống nhau một cách khác nhau và có thể không làm như vậy tương ứng với mức độ phổ biến của các từ.

Answer 7

function getwords($string) { 
    if(strpos($string,"xn--") !== false) { 
     return false; 
    } 
    $string = trim(str_replace('-', '', $string)); 
    $pspell = pspell_new('en'); 
    $check = array(); 
    $words = array(); 
    for($j = 0; $j < (strlen($string) - 5); $j++) { 
     for($i = 4; $i < strlen($string); $i++) { 
      if(pspell_check($pspell, substr($string, $j, $i))) { 
       $check[$j]++; 
       $words[] = substr($string, $j, $i); 
      } 
     } 
    } 
    $words = array_unique($words); 
    if(count($check) > 0) { 
     return $words; 
    } 
    return false; 
} 

print_r(getwords('ilikecheesehotels')); 

Array 
(
    [0] => like 
    [1] => cheese 
    [2] => hotel 
    [3] => hotels 
) 

như một sự khởi đầu đơn giản với pspell. bạn có thể muốn so sánh kết quả và xem liệu bạn có lấy cuống của một từ không có chữ "s" ở cuối và hợp nhất chúng hay không.