Компонент предназначен для отправки запросов на добавление/обновление страниц в индекс Google или их удаление из индекса с помощью Google Indexing API.
Многие сталкивались с проблемой индексации страниц в Google. Но уже давно найдено решение — использовать Google Indexing API. В сети полно скриптов для ручной отправки ссылок на индексацию прямо с компа, а также плагинов для других движков. Да я и сам какое-то время вручную отправлял страницы одного из сайтов — лень было писать компонент. Но потом стало лень отправлять запросы, которых еще около 150 тысяч.
Как это работает
Каждый раз при добавлении или удалении записей типов контента, выбранных в опциях компонента, отправляется запрос на обновление или удаление страниц из индекса Google. Запросы отправляются, когда:
- добавлена запись типа контента (запрос на обновление);
- отредактирована запись (запрос на обновление);
- удалена запись (запрос на удаление);
- запись удалена в корзину (запрос на удаление);
- запись восстановлена из корзины (запрос на обновление).
В будущем возможно будут подключены и другие действия, если будет спрос.
Также есть форма для массового добавления ссылок, которые необходимо проиндексировать, в очередь. Например, старые страницы, страницы фильтров и категорий и т.д. В этой форме можно выбрать тип контента и загрузить из него ссылки на все опубликованные страницы, а можно просто добавить списком вручную.
Если ссылка была добавлена ранее, и у нее такой же тип запроса, то второй раз она добавлена не будет, а если тип запроса другой — меняется на новый. Но порядок очереди сохраняется.
C помощью Google Indexing API можно отправить до 200 запросов в сутки. Когда лимит исчерпан, при добавлении/удалении записей типов контента запрос не может быть отправлен. В этом случае ссылка будет добавлена в очередь.
Очередь обрабатывается по расписанию планировщика. Если сайт новостной и индексация новых страниц в приоритете, в опциях компонента можно включить обратный порядок очереди. Тогда при следующем срабатывании сначала отправятся новые страницы, а потом все остальные. Это работает таким образом, что при запуске задания берутся все активные ключи и по очереди отправятся по 200 запросов для каждого ключа. Если при отправке очередного запроса получаем ошибку, то прерываем процесс и переходим к следующему ключу.
Можно отправить запрос с одной ссылкой (например, если надо срочно проиндексировать какую-то страницу). Для этого в разделе с ключами возле каждого ключа есть кнопка «Проверить ключ». Вообще эта функция была придумана для проверки ключей, но с ее помощью можно отправлять единичные запросы.
Предусмотрен обход ограничений в 200 запросов в сутки. Просто заведите новый аккаунт Google, получите новый ключ и добавьте его в компонент.
Удачные запросы записываются в историю. Всегда можно посмотреть, сколько было отправлено запросов и какого типа.
Компонент готов на 100%, сейчас тестируется. Хочу посмотреть несколько дней, всё ли правильно отрабатывает по крону.
Ради интереса сделал скриншот с датой и временем, чтобы посмотреть, как будут индексироваться страницы.
Компонент можно будет скачать на моем сайте пользователям VIP.
