Анонс компонента "Google Indexing"

ЕСТЬ РЕШЕНИЕ ЗАКРЫТО InstantCMS 2.X
#1 21 июня 2022 в 14:38

Компонент предназначен для отправки запросов на добавление/обновление страниц в индекс Google или их удаление из индекса с помощью Google Indexing API.

Многие сталкивались с проблемой индексации страниц в Google. Но уже давно найдено решение — использовать Google Indexing API. В сети полно скриптов для ручной отправки ссылок на индексацию прямо с компа, а также плагинов для других движков. Да я и сам какое-то время вручную отправлял страницы одного из сайтов — лень было писать компонент. Но потом стало лень отправлять запросы, которых еще около 150 тысяч.

Как это работает

Каждый раз при добавлении или удалении записей типов контента, выбранных в опциях компонента, отправляется запрос на обновление или удаление страниц из индекса Google. Запросы отправляются, когда:

  • добавлена запись типа контента (запрос на обновление);
  • отредактирована запись (запрос на обновление);
  • удалена запись (запрос на удаление);
  • запись удалена в корзину (запрос на удаление);
  • запись восстановлена из корзины (запрос на обновление).

В будущем возможно будут подключены и другие действия, если будет спрос.

Также есть форма для массового добавления ссылок, которые необходимо проиндексировать, в очередь. Например, старые страницы, страницы фильтров и категорий и т.д. В этой форме можно выбрать тип контента и загрузить из него ссылки на все опубликованные страницы, а можно просто добавить списком вручную.

Изображение

Изображение

Если ссылка была добавлена ранее, и у нее такой же тип запроса, то второй раз она добавлена не будет, а если тип запроса другой — меняется на новый. Но порядок очереди сохраняется.

C помощью Google Indexing API можно отправить до 200 запросов в сутки. Когда лимит исчерпан, при добавлении/удалении записей типов контента запрос не может быть отправлен. В этом случае ссылка будет добавлена в очередь.

Очередь обрабатывается по расписанию планировщика. Если сайт новостной и индексация новых страниц в приоритете, в опциях компонента можно включить обратный порядок очереди. Тогда при следующем срабатывании сначала отправятся новые страницы, а потом все остальные. Это работает таким образом, что при запуске задания берутся все активные ключи и по очереди отправятся по 200 запросов для каждого ключа. Если при отправке очередного запроса получаем ошибку, то прерываем процесс и переходим к следующему ключу.

Можно отправить запрос с одной ссылкой (например, если надо срочно проиндексировать какую-то страницу). Для этого в разделе с ключами возле каждого ключа есть кнопка «Проверить ключ». Вообще эта функция была придумана для проверки ключей, но с ее помощью можно отправлять единичные запросы.

Предусмотрен обход ограничений в 200 запросов в сутки. Просто заведите новый аккаунт Google, получите новый ключ и добавьте его в компонент.

Изображение

Удачные запросы записываются в историю. Всегда можно посмотреть, сколько было отправлено запросов и какого типа.

Изображение

Компонент готов на 100%, сейчас тестируется. Хочу посмотреть несколько дней, всё ли правильно отрабатывает по крону.

Ради интереса сделал скриншот с датой и временем, чтобы посмотреть, как будут индексироваться страницы. 

Изображение

Компонент можно будет скачать на моем сайте пользователям VIP.

#2 21 июня 2022 в 15:19

Компонент можно будет скачать на моем сайте пользователям VIP.

Нифигаccе о-го-гошеньки

В таком случае и анонс нужно было там размещать, а так получается, что пропиарили свой сайт и всё. Да и вообще этот круговорот обидевшихся разработчиков утомляет. То обижаются, то уходят, то платно, то бесплатно, потом возвращаются и начинаются записи ещё на более нелепом поведении. Высказал лично своё видение на данного разработчика.

#3 21 июня 2022 в 15:27

лично своё видение

Melon

Ой, мелон, не скулите, ладно? Скоро будет релиз. А вы что сделали полезного? Посмотрите все ваши сообщения за последние несколько лет — одни сплошные сопли и недовольство. Полностью только так. И да, кто куда уходит или приходит вообще не ваше дело.

#4 21 июня 2022 в 15:32

Выглядит неплохо. 

Хотелось бы узнать, есть ли положительный эффект от использования indexing API? Google действительно прибегает и индексирует или как обычно в последнее время: хочу индексирую, хочу не индексирую, скорее не хочу, чем хочу. 

Тоже  подступался к внедрению этого API на сайт на первой ветве, пока только получил ключи в консоли разработчика уже сто раз передумал связываться. 

Вот интересно, оно того стоит -  преодолевать эти явно заградительные барьеры? 

#5 21 июня 2022 в 15:34

Подписался, жду новостей

#6 21 июня 2022 в 15:35

есть ли положительный эффект от использования indexing API?

Нил™

Я специально в конце поста скриншот приложил)) Можете отслеживать.

Вот сейчас проверил:

Изображение

А вообще, когда начал отправлять страницы одного из сайтов вручную отправлять, то сам удивился. Залетает в индекс всё. Правда, потом гугл может что-то из индекса выкинуть на свое усмотрение. Но сразу попадает всё и даже немного больше.

#7 21 июня 2022 в 17:59

Спасибо подписался. Melon угомониться уже пора. Сначала что то полезного сделайте. Ваше видение ни кому не интересно — проверьте.

#8 21 июня 2022 в 18:14

А вообще, когда начал отправлять страницы одного из сайтов вручную отправлять, то сам удивился. Залетает в индекс всё. Правда, потом гугл может что-то из индекса выкинуть на свое усмотрение. Но сразу попадает всё и даже немного больше.

Нифигаccе о-го-гошеньки

Ясно, спасибо. Придётся потратить несколько мегаккалорий за решение вопроса, попинговать гугл)

#9 21 июня 2022 в 19:05

Класс. С удовольствием приобрел бы, напишите как протестируете

#10 22 июня 2022 в 15:47

жду новостей

dChirkis

Немного некорректно отрабатывает по крону, если ключей больше, чем один. А из-за ограничений могу проверить только раз в сутки. За это время надо исправить. Сегодня переделаю немного, если завтра в 14:00 мск отработает нормально, то опубликую. Всё остальное уже вроде хорошо.

#11 22 июня 2022 в 20:19

Изображение

А вообще, когда начал отправлять страницы одного из сайтов вручную отправлять, то сам удивился. Залетает в индекс всё. Правда, потом гугл может что-то из индекса выкинуть на свое усмотрение.

Нифигаccе о-го-гошеньки

Изображение

интересно, не разозлится ли гугл на то, что кормишь его всеми постами из которых половину он удаляет по своим соображениям

компонент считаю очень интересным, надо лишь понять не навредит ли.

#12 24 июня 2022 в 16:11

интересно, не разозлится ли гугл на то, что кормишь его всеми постами из которых половину он удаляет

Василич

А чего ему злиться? Есть лимиты, в рамках этих лимитов можно отправлять, что угодно. Мы же не можем знать, что Гугл посчитает ценным, а что нет. А если он без Indexing API ничего не хочет индексировать, то тогда какая разница, разозлится он или нет?

Этот компонент я написал для другого сайта, где предполагаемая целевая аудитория из США. За полгода 20 проиндексированных страниц из 160000. Три недели назад начал отправлять запросы вручную, пока не надоело, Гугл почти все из них уже проиндексировал и ничего пока не удалил. Это около 12000 страниц. И наконец-то пошел трафик и каждый день растет, а до этого было вообще по нулям.

Кстати, когда начал тестировать компонент на nifigasse.ru, на него пошел трафик из Гугла. До этого 99% было из Яндекса, а из Гугла что-то около 0,5%, сейчас из Гугла уже почти 5%. 

Как-то так. Ну а решение принимать, конечно, каждый будет самостоятельно.

#13 24 июня 2022 в 16:38

За полгода 20 проиндексированных страниц из 160000.

Нифигаccе о-го-гошеньки

Похожая история. Сайту два месяца, Яндекс — после элементарного добавления в вебмастер sitemap.xml — 77 страниц и икс 10, а гугл 20 страниц, и те — пришлось в ручную добавлять через консоль вебмастера, а там очень неудобно, долго и лимит вроде — 10 запросов в день. После разговора здесь подобавлял позавчера, вчера, сегодня пока 197 в гугле, трафика нет, но проиндексировано — уже хорошо. Так что да, indexing сегодня единственный вариант с гуглом. Для чего по мнению гугла нужен sitemap теперь непонятно)

#14 26 июня 2022 в 11:49

Немного некорректно отрабатывает по крону

Нифигаccе о-го-гошеньки

Вроде решил проблему. Думаю, стоит еще сутки подождать, чтоб наверняка убедиться. А то лимиты уже закончились на сегодня. Если всё хорошо — будет релиз.

Добавлено спустя 20 часов

Готово.

#15 27 июня 2022 в 19:55

Посмотрите все ваши сообщения за последние несколько лет — одни сплошные сопли и недовольство.

Нифигаccе о-го-гошеньки

Сначала что то полезного сделайте. Ваше видение ни кому не интересно — проверьте.

Алексей Т

Я себя разработчиком никогда не позиционировал, отписался как пользователь системы. Вы конечно можете тут друг друга нахваливать, так как поведение в данном сообществе схоже, но сути это не меняет.

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.