Tôi nên biết gì về thu thập thông tin của công cụ tìm kiếm?

Question

Tôi không có nghĩa là những thứ SEO. Những gì tôi nên biết. Chẳng hạn như

1. Động cơ có chạy javascript không?
2. Họ có sử dụng cookie không?
3. Cookie sẽ thực hiện trên các phiên thu thập thông tin (nói cookie từ hôm nay và thu thập thông tin vào tuần tới hoặc tháng sau).
4. Các bộ lọc JS đã chọn không được tải vì bất kỳ lý do gì? (Chẳng hạn như quảng cáo bị nghi ngờ bị bỏ qua vì lý do tối ưu hoá?)

Tôi không muốn vô tình có tất cả các trang chỉ mục nói lỗi hoặc cảnh báo như xin vui lòng bật cookie, trình duyệt không được hỗ trợ hoặc không được lập chỉ mục vì tôi đã làm điều gì đó ngớ ngẩn như có sơ đồ trang web của tôi trỏ đến /r?id=5 và không có chỉ mục sau đó vì đó là chuyển hướng (tôi sẽ sử dụng 301 tuy nhiên).

Answer 1

Từ đây: http://www.google.com/support/webmasters/bin/answer.py?answer=35769

Sử dụng trình duyệt văn bản như Lynx để kiểm tra trang web của bạn, bởi vì hầu hết nhện công cụ tìm kiếm nhìn thấy site của bạn giống như Lynx. Nếu các tính năng ưa thích như JavaScript, cookie, ID phiên, khung, DHTML hoặc Flash giúp bạn không nhìn thấy tất cả trang web của mình trong trình duyệt văn bản thì trình thu thập thông tin của công cụ tìm kiếm có thể gặp sự cố khi thu thập dữ liệu trang web của bạn.

Đọc Google's Webmaster guidelines