Метка «robots.txt для wordpress»

Создание robots.txt для сайта WordPress

Привет всем! Сегодня тема очень важная это - robots.txt для сайта WordPress. Поисковые роботы заходя на сайт или блог первым делом ищут файл robots.txt. Что такое robots.txt? Вот как сам Яндекс дает определение этому важному файлу. Robots.txt — обыкновенный текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования ...