Добро пожаловать, друзья!

Создание robots.txt для сайта WordPress

Привет всем! Сегодня тема очень важная это - robots.txt для сайта WordPress. Поисковые роботы заходя на сайт или блог первым делом ищут файл robots.txt. Что такое robots.txt? Вот как сам Яндекс дает определение этому важному файлу. Robots.txt — обыкновенный текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта, как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

robots.txt для WordPress
Создание robots.txt для сайта WordPress

Как создать файл robots.txt для WordPress

Воспользуйтесь любым текстовым редактором (например, блокнотом), создайте файл с именем robots.txt и заполните его как показано ниже. Если Вы захотите его дополнить, то я приведу ссылки на справки, где подробно все значения расписаны. После этого необходимо загрузить файл в корневой каталог вашего сайта.

Файл robots.txt общий для Google и Яндекс :

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */comment-
Disallow: *?replytocom=
Disallow: */feed
Disallow: */*/feed/*/
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /archives/date/
Disallow: /archives/tag/
Disallow: /archives/author/
Disallow: /page/
Disallow: /*?*
Disallow: /tag
Allow: /wp-content/uploads/
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml.gz
Sitemap: http://сайт.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
User-agent: ia_archiver
Disallow: /

Или раздельный:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml.gz
Sitemap: http://сайт.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
User-agent: ia_archiver
Disallow: /

Небольшая инфографика для наглядности:

robots_txt
Robots.txt наглядный пример.Картинка- robotstxt.org.ru

Замените сайт.ru на ваш URL адрес блога. Как настроить индивидуально важный файл robots.txt можно прочитав эти справки:

На странице помощи Яндекса. Проверить правильность составления файла можно в webmaster.yandex - Настройка индексирования - Анализ robots.txt. Далее, в Google robots.txt можно проверить по этой ссылке. Незабудьте что проверяемый блог должен быть добавлен в Инструменты для веб-мастеров Google и Яндекс. Обратите внимание, что для Яндекса и Google правила составления robots.txt немного различаются. Вот ещё полезный ресурс для изучения robotstxt.org.ru. Вот и всё. Теперь остаётся загрузить созданный файл в корневой каталог вашего блога. Корень блога это - папка public_html, где находятся  файл config.php, index.php и так далее.

Вот на этом позвольте с вами не надолго попрощаться. Удачи. До новых встреч на страницах блога.

P.S Обновил robots.txt 2016 год

Правильный robots.txt WordPress

Смело можете им скормить поисковые системы Яндекс и Google.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Решите задачку: *