Вопрос по robots.txt

#1 24 января 2020 в 16:42
Доброго всем дня! На сайте есть ссылки следующего вида:
/posts?page=2
/posts?page=3
и по категориям
/yumor?page=2
/yumor?page=3
и т.д.
Нужно ли закрывать эти ссылки в robots.txt? ВебМастер на них "ругается" — "Недостаточно качественная". И если закрывать всё-таки нужно, то правильно ли будет вот так:
  1. Disallow: /*?page=*
#2 24 января 2020 в 18:03

ВебМастер на них "ругается" — "Недостаточно качественная".

@geminisf

В принципе "Недостаточно качественная" это не повод их закрывать:
yandex.ru/support/webmaster/site-indexing/excluded-pages.html

Кроме этого если у Вас настроено указание канонической страницы для таких страниц.
Тоже можно не закрывать, к тому же с недавних пор Яша стал иногда учитывать информацию с таких страниц:

/forum/thread32050-1.html

Но если все таки надо закрыть:

правильно ли будет вот так:

@geminisf

правильно…
#3 24 января 2020 в 18:16
Rainbow, Спасибо
#4 25 января 2020 в 12:32
закрыть не нужно, иначе робот, при сканировании, не сможет увидеть записи расположенные на 2 и последующих страницах
на надписи — "недостаточно качественная" — не обращайте внимания, это нормально
раньше был тренд на то, чтобы закрывать страницы пагинаций, сейчас же, большинство советует открывать такие страницы к индексации, роботы стали мощнее и умнее
#5 25 января 2020 в 20:18
Timmy, Понял, спасибо.
#6 27 января 2020 в 12:54
Можно ли как-то обойти ограничение объёма в 4000 знаков при созднании robots.txt в компоненте? Что если самому закинуть файл в корень?
#7 31 января 2020 в 04:08

Можно ли как-то обойти ограничение объёма в 4000 знаков при созднании robots.txt в компоненте?

Region67

Можно попробовать в базе, в таблице "controllers" изменить тип поля "options" с TEXT на MEDIUMTEXT, или даже на LONGTEXT smile
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.

Похожие темы

Компонент Sitemap и robots

Компоненты Создана 4 года назад 3 сообщения

robots.txt

SEO & PR Создана 4 года назад 7 сообщений

[ЗАКРЫТО] Не создаётся sitemap.xml

Компоненты Создана 2 года назад 1 сообщение

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.