Điều khiển các máy tìm kiếm

Việc ngăn chặn máy tìm kiếm truy cập vào những nội dung bạn không muốn chúng truy cập và lưu dữliệu cũng quan trọng như việc đảm bảo máy tìm kiếm có thể truy cập mọi nội dung quan trọng trên trang web của bạn. Tất cả các công ty tìm kiếm lớn đều tuân thủ theo tiêu chuẩn ngăn chặn máy tìm kiếm (giao thức hoạt động của robots (http://en.wikipedia.org/wiki/Robots_exclusion_standard), có nghĩa rằng trước khi tìm hiểu nội dung website, chúng sẽ tìm đến file robots.txt, đọc nội dung ở đó để xem chúng có thể ghé thăm khu vực nào trên website. Để sử dụng hiệu quả các công cụ này, bạn cần hiểu biết nhất định để phân biệt sự khác nhau giữa dò quét và lưu dữ liệu.

Xây dựng liên kết hiệu quả an toàn