5
Tôi đang tạo một ứng dụng thu thập dữ liệu trang web một lần trong một thời gian và tôi muốn nó tuân theo/tôn trọng robots.txt của trang web đang được thu thập thông tin. Làm thế nào để tôi bắt đầu với điều này? Có ý tưởng nào để làm điều này không?Tôi làm cách nào để tuân theo robots.txt
Xin cảm ơn trước.
http://www.the-art-of-web.com/php/parse-robots/ – marcog
đó là một liên kết tốt – andrewk