IndexNow от Яндекс и Bing. Index Now WordPress-плагин

Просмотров: 4 092

Встречайте новый протокол IndexNow от Яндекс и Bing для переиндексации контента. Как быстро сообщить об изменениях на сайте поисковым системам напрямую? Как ускорить индексацию вашего сайта поисковыми системами? Коллеги, мгновенно индексируйте ваш контент на сайте в поисковых системах Яндекс (Yandex) и Bing с помощью технологии IndexNow. Для сайтов на ВордПресс создан плагин Index Now WordPress от mihdan.

Протокол IndexNow от Яндекс и Microsoft Bing

С 18 октября Яндекс и Bing теперь могут моментально сканировать изменения на сайте с помощью IndexNow. IndexNow — теперь поисковые системы могут моментально (в реальном времени) узнавать об изменениях контента на вашем сайте.

Microsoft Bing и Яндекс представили новое решение для быстрой индексации контента – IndexNow. С помощью нового протокола владельцы сайтов смогут передавать информацию об изменениях в контенте поисковым системам напрямую.

Microsoft Bing и Яндекс представили новое решение - IndexNow
Microsoft Bing

Обеспечение своевременной информации, доступной для поисковиков, имеет решающее значение. Тем не менее, одной из самых больших проблем для владельцев сайтов было то, что бы поисковые системы быстро обнаруживали и учитывали их последние изменения на веб-сайтах.

На обнаружение и индексацию новых URL-адресов в поисковых системах могут уйти дни или даже недели, что приведет к потере потенциального трафика, клиентов или даже продаж.

IndexNow - это новый протокол созданный Microsoft Bing и Yandex, что позволяет сайтам легко уведомлять поисковые системы о создании, обновлении или удалении содержимого их сайта.

API для быстрой индексации контента – IndexNow

Используя IndexNow API, как только поисковые системы получают уведомления об обновлениях, они быстро сканируют и отражают изменения веб-сайта в своем индексе и в результатах поиска.

IndexNow это:

IndexNow — это простой способ для владельцев веб-сайтов мгновенно информировать поисковые системы о последних изменениях содержимого на их сайте. В своей простейшей форме Index Now — это простая проверка связи, благодаря которой поисковые системы узнают, что URL-адрес и его содержимое были добавлены, обновлены или удалены, что позволяет поисковым системам быстро отразить эти изменения в результатах поиска.

Без IndexNow поисковым системам может потребоваться от нескольких дней до нескольких недель, чтобы обнаружить, что содержимое изменилось, поскольку поисковые системы не часто просматривают каждый URL-адрес.

При использовании IndexNow поисковые системы сразу же, мгновенно узнают об «изменившихся URL-адресах, что помогает им установить приоритет при поиске этих URL-адресов и тем самым ограничить органический обход контента для обнаружения нового контента».

Цель инициативы IndexNow – создать более эффективный Интернет путем сокращения зависимости от краулеров поисковых систем для сканирования и индексации контента на сайте. Уведомив одну поисковую систему, вы уведомите все поисковые системы, которые приняли IndexNow.

IndexNow пользуется поддержкой Microsoft Bing и Yandex. Так же инициативу IndexNow поддержали компании Cloudflare, Duda и Wix.

Google заявил, что протестирует новый протокол для быстрой индексации контента IndexNow, представленный Яндексом и Microsoft Bing. Комментарий Google:

Мы придерживаемся целостного подхода к обеспечению экологической устойчивости в Google, включая усилия по разработке наиболее эффективного и точного индекса в интернете.

У нас нулевой уровень выбросов углерода с 2007 года и мы стремимся к тому, чтобы к 2030 году перейти на безуглеродные технологии как в наших центрах обработки данных, так и в кампусах. Нас вдохновляет работа над повышением эффективности сканирования в интернете, и мы протестируем потенциальные преимущества этого протокола.

Google

IndexNow как использовать?

Хорошая новость в том, что с Index Now очень легко работать. Воспользоваться протоколом может только владелец сайта. Необходимые шаги для внедрения IndexNow:

  • Сгенерировать ключ API;
  • Разместить текстовый файл ключа в корневом каталоге хоста;
  • Начать отправлять URL-адреса, когда страницы добавляются, обновляются или удаляются.

Для отправки URL-адресов необходимо подтвердить, что именно вы являетесь владельцем сайта, для которого передаются данные. Для подтверждения используется специальный ключ — его нужно сформировать и разместить файл с ним на вашем сайте. При каждом запросе к API Яндекс и Bing проверяет ключ. Содержимое файла и его расположение должно быть известно только вам и поисковой системе.

А теперь подробная инструкция по шагам - как начать использовать Index Now? Этапы реализации API IndexNow для вашего сайта.

Как начать пользоваться IndexNow

Как использовать IndexNow? Для того, чтобы автоматически сообщать поисковым системам об изменениях на сайте: появлении новых страниц, обновлении или удалении уже проиндексированных страниц. С помощью Index Now вы можете напрямую уведомить Яндекс и Bing об изменениях на сайте, не дожидаясь очередного обхода индексирующим роботом.

Общее время: 10 минут

Сгенерируйте ключ API IndexNow

Онлайн-инструмент для генерации ключей

Получите API ключи для IndexNow. Зайдите на официальную страницу онлайн-инструмента для генерации ключей. Сгенерируйте специальный ключ API IndexNow нажав кнопку Generate, а затем скачайте готовый текстовый файл с ключом для размещения его в корневом каталоге сайта.

Разместите текстовый файл с ключом API IndexNow в корневом каталоге вашего сайта

Разместите текстовый файл ключа в корневом каталоге сайта

Разместите свой ключ API в корневом каталоге сайта в формате txt. Вы должны разместить текстовый файл ключа {your-key}.txt в кодировке UTF-8 с указанием ключа в файле в корневом каталоге вашего веб-сайта.

Для этого, скачанный готовый файл загрузите в корневую директорию вашего сайта. Корневая папка - это где размещается всё содержимое вашего веб-ресурса.

Например, для сайта WordPress там находятся каталоги wp-admin, wp-content, wp-includes и файлы robots.txt, wp-config.php или .htaccess. Здесь и размещайте файл.

Если у вашего сайта есть поддомены, для каждого поддомена используйте отдельный ключ.

Отправка в Яндекс или Bing URL новых, изменившихся или удаленных страниц сайта

Отправка URL страницы сайта в поисковые системы

Отправить один URL-адрес так же просто, как отправить простой HTTP-запрос, содержащий измененный URL-адрес и ваш ключ.

Чтобы отправить URL-адрес с помощью HTTP-запроса отправьте запрос по следующему URL-адресу:

IndexNow - https://api.indexnow.org/indexnow?url=url-changed&key=your-key

Microsoft Bing - https://www.bing.com/indexnow?url=url-changed&key=your-key

Яндекс - https://yandex.com/indexnow?url=url-changed&key=your-key

Где: url-changed — это URL-адрес вашего веб-сайта, который был добавлен, обновлен или удален.

Где: your-key - ваш ключ API. При отправке запроса поисковая система сверяет это значение с содержимым вашего файла с ключом.

Вы можете отправить HTTP-запрос, используя свой браузер, wget, curl или любой другой механизм по вашему выбору. Успешный запрос вернет код ответа «HTTP 200». Если вы получили другой ответ, проверьте, что вы не отправляете запрос слишком часто, что ключ и URL-адрес действительны, и повторно отправьте запрос.

Код ответа «HTTP 200» означает только то, что поисковая система получила ваш URL.

Быстрая индексация контента в поисковых системах с IndexNow

Например, если вы хотите уведомить поисковую систему Яндекс об обновлении страницы - https://www.example.org/product.html - с ключом 35d8e506c7b34ae18be13826f6ab8701, то конструкция для отправки будет такая:

https://yandex.com/indexnow?url=https://www.example.org/product.html&key=35d8e506c7b34ae18be13826f6ab8701

Отправьте HTTP-запрос, используя свой браузер. Успешный запрос вернёт код ответа HTTP 200:

Вы можете отправить HTTP-запрос, используя свой браузер
Код ответа HTTP 200
Поисковые системы, использующие протокол IndexNow, должны немедленно поделиться всеми отправленными им URL-адресами со всеми другими поисковыми системами, имеющими API IndexNow. 

Начиная с ноября 2021 года поисковые системы с поддержкой IndexNow будут немедленно передавать все URL-адреса, отправленные всем другим поисковым системам с поддержкой IndexNow, поэтому, когда вы уведомите одну, вы уведомите все поисковые системы.

На данный момент (13 января 2022) IndexNow теперь официально совместно использует URL-адреса между Microsoft Bing и Яндексом. Кроме того, теперь вы можете использовать конечную точку api.indexnow.org для отправки URL-адресов.
api.indexnow.org для отправки URL-адресов
Конечная точка api.indexnow.org

В результате совместного использования URL-адресов, отправленных поисковым системам с поддержкой IndexNow, веб-мастерам просто нужно уведомить одну конечную точку API. Это экономит усилия и время веб-мастеров. Например, указанную ниже точку API:

https://api.indexnow.org/indexnow?url=url-changed&key=your-key

Вы можете отправить не только один URL-адрес, а даже список URL-адресов для каждого вызова API

Чтобы отправить набор URL-адресов с помощью HTTP-запроса, отправьте запрос POST JSON на URL-адрес, предоставленный поисковыми системами. Замените, по желанию, хост поисковый системы и ключ:

POST /IndexNow HTTP/1.1
Content-Type: application/json; charset=utf-8
Host:https://yandex.com
{
  "host": "www.example.org",
  "key": "35d8e506c7b34ae18be13826f6ab8701",
  "urlList": [
      "https://www.example.org/url1",
      "https://www.example.org/folder/url2",
      "https://www.example.org/url3"
      ]
}

Вы можете отправить до 10 000 URL-адресов в одном сообщении, при необходимости смешивая URL-адреса http и https.

Вы можете отправить HTTP-запрос, используя wget, curl или любой другой механизм по вашему выбору. 

Wget это:

Wget — свободная не интерактивная консольная программа для загрузки файлов по сети. Поддерживает протоколы HTTP, FTP и HTTPS, а также поддерживает работу через HTTP прокси-сервер. Программа включена почти во все дистрибутивы GNU/Linux. Wget является не интерактивной программой.

cURL это:

cURL — кроссплатформенная служебная программа командной строки, позволяющая взаимодействовать с множеством различных серверов по множеству различных протоколов с синтаксисом URL.

Curl — это сокращение от Client URL. Утилита доступна в большинстве систем на основе Unix и предназначена для проверки подключения к URL-адресам. Кроме того команда Curl — отличный инструмент передачи данных.

Если вы только начали использовать IndexNow, то передавайте страницы, которые изменились с начала поддержки IndexNow. Если у вас мало страниц на сайте, то вы можете использовать Переобход страниц в Вебмастере.

IndexNow для WordPress

NEW. Создан плагин Index Now для WordPress. Бесплатный плагин под WordPress для пинга Яндекс, Bing по протоколу IndexNow при обновление / добавлении записей и комментариев к сообщениям с функцией логирование исходящих запросов. Он даже умеет отправлять страницы на переобход при появлении на них новых комментариев.

Как использовать Index Now в ВордПресс? Плагин Mihdan: Index Now WordPress для того, чтобы помочь пользователям немедленно индексировать последний контент сайта и минимизировать нагрузку сканирования на свои веб-ресурсы.

Плагин Index Now WordPress
Index Now для WordPress

Плагин Mihdan Index Now для WordPress

Плагин Index Now ВордПресс (Индексируйте сейчас) пингует поисковые системы по протоколу IndexNow через официальные API поисковых систем: Яндекс, Google, Bing и Baidu:

Плагин Index Now WordPress
Mihdan: Index Now WordPress

Установите плагин Index Now WordPress стандартным способом. Плагины - Добавить новый. В поле поиска по плагинам введите Mihdan: Index Now. Установите и активируйте его.

Настройка Index Now плагин WordPress

После активации плагина появится, на боковой панели админки, новый раздел IndexNow. Нажимаете и настраиваете параметры:

Плагин IndexNow WordPress настройки
Общие настройки плагина IndexNow

Вкладка General. В общих настройках отметьте нужные типы сообщений и сообщать ПС когда добавлен комментарий к записи. Сохраняете изменения.

Вкладка IndexNow. Для отправки URL-адресов необходимо подтвердить, что именно вы являетесь владельцем сайта, для которого передаются данные. Для подтверждения используется специальный ключ — его можно придумать или использовать тот, что предложил плагин прямо в поле API Key. При каждом запросе к API Яндекс проверяет ключ:

API Key IndexNow ВордПресс
Ключ для IndexNow

Не забывайте сохранять изменения.

Вкладка Bing API.

Простое подключаемое API-решение, которое веб-сайты могут вызывать для уведомления Bing всякий раз, когда содержимое веб-сайта обновляется или создается, что позволяет мгновенно сканировать, индексировать и обнаруживать содержимое вашего сайта.

WordPress Мания

Ключ API — это уникальный идентификатор, который используется для аутентификации запросов API. Ключ для доступа к API Bing можно получить через панель Bing Webmaster Tools в разделе Настройки - Доступ по API - Ключ API (подробно как получить ключ API Bing):

API Key Bing настройки
Вставьте ключ для Bing API

Вкладка Yandex API. Включите модуль отправки страниц на переиндексацию. Отправка запросов на переобход сайта роботом Яндекс доступна только для сайтов с https:

Переиндексация сайта Яндекс
Yandex API

Нажимаете значок ? и смотрите помощь инструкцию:

Получите ID приложения и его пароль
Инструкция для Яндекс.OAuth

Также есть помощь для каждой вкладки. Просто нажимаете на знак вопроса. Google API и Отправка URL вручную - скоро появятся.

Раздел Logs (Журналы). Включите модуль логирования входящего запроса от поисковой системы и исходящего запроса с сайта:

Настройка Logs плагина Index Now
Вкладка Журналы

Вот пожалуй и всё.

Теперь метод проверки связи и отправки URL-адресов для сайтов на ВордПресс довольно прост. Плагин IndexNow делает всё, что и должен, без лишних функций.

P.S. Microsoft Bing создала плагин для WordPress IndexNow Plugin, который упрощает интеграцию вашего сайта или блога WordPress с новым протоколом IndexNow.

На данный момент теперь есть два плагина ВордПресс для протокола Индексируй сейчас это - официальный IndexNow Plugin от Microsoft Bing и Index Now плагин от Михаила Кобзарёва (mihdan).

Больше информации о протоколе на странице проекта на русском языке indexnow.org и в справке Яндекс.


Оставьте комментарий