Что должен содержать файл robots.txt вашего сайта

11 Ноя 2013, рубрика: Wordpress |

Что должен содержать файл robots.txt вашего сайта

Файл robots.txt – это обычный текстовый файл, в котором находятся специальные команды для поисковых систем. Если этот файл составлен правильно, то вы сами сможете диктовать поисковикам, на что обращать внимание при поиске, а что пропускать. Как же составить правильный robots.txt для WordPress ? На этот вопрос приведен ответ ниже.

Самая распространенная ошибка начинающих вебмастеров это то, что они думают, что если все страницы индексируются, то это хорошо для сайта. На самом деле, создание повторяющегося содержимого может повлечь за собой даже блокировку поисковыми системами. Любой, даже начитнающий вебмастер имеет возможность взглянуть на роботс любого сайта, для этого в конце адреса сайт нужно добавить robots.txt. Директива User-agent отвечает за то, какие именно системы будут читать данные инструкции. Самыми популярными, безусловно, являются Googlebot, Yandex, StackRambler, Mail.Ru. Полезная директива для запрета интексации конкретной страницы Disallow, не забывайте ее использовать.

Директива Sitemap указывает путь к карте сайта. После создания документа роботс необходимо его проанализировать и проверить на правильное реагирование. Также желательно, убедиться в том, что файл не содержит ошибок. Файл robots.txt тесно связан с тегами noindex и nofollow, которые способны запретить поиск отдельных страниц. Правильное понимание основ поисковой индексации позволит создать и запустить действительно качественный сайт.




Оцените полезность!
Не полезноПолезно (Пока оценок нет)

Ваш отзыв

.Все права защищены © 2018 Блог Полезного.