Вопрос по robots.txt

 
Посетитель
small user social cms
Медаль
Сообщений: 107
Доброго всем дня! На сайте есть ссылки следующего вида:
/posts?page=2
/posts?page=3
и по категориям
/yumor?page=2
/yumor?page=3
и т.д.
Нужно ли закрывать эти ссылки в robots.txt? ВебМастер на них "ругается" - "Недостаточно качественная". И если закрывать всё-таки нужно, то правильно ли будет вот так:
Код PHP:
  1. Disallow: /*?page=*
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1944
на сайте
@geminisf:
ВебМастер на них "ругается" - "Недостаточно качественная".

В принципе "Недостаточно качественная" это не повод их закрывать:
https://yandex.ru/support/webmaster/site-indexing/excluded-pages.html

Кроме этого если у Вас настроено указание канонической страницы для таких страниц.
Тоже можно не закрывать, к тому же с недавних пор Яша стал иногда учитывать информацию с таких страниц:

https://instantcms.ru/forum/thread32050-1.html

Но если все таки надо закрыть:
@geminisf:
правильно ли будет вот так:

правильно...
Редактировалось: 1 раз (Последний: 24 января 2020 в 18:05)
Реклама
cms
Посетитель
small user social cms
Медаль
Сообщений: 107
Rainbow, Спасибо
Посетитель
small user social cms
Медаль
Сообщений: 122
закрыть не нужно, иначе робот, при сканировании, не сможет увидеть записи расположенные на 2 и последующих страницах
на надписи - "недостаточно качественная" - не обращайте внимания, это нормально
раньше был тренд на то, чтобы закрывать страницы пагинаций, сейчас же, большинство советует открывать такие страницы к индексации, роботы стали мощнее и умнее
Редактировалось: 2 раз (Последний: 25 января 2020 в 12:33)
Надёжный и быстрый хостинг!
Посетитель
small user social cms
Медаль
Сообщений: 107
Timmy, Понял, спасибо.
Посетитель
small user social cms
Сообщений: 37
Можно ли как-то обойти ограничение объёма в 4000 знаков при созднании robots.txt в компоненте? Что если самому закинуть файл в корень?
Посетитель
small user social cms
Медаль
Сообщений: 107
Region67:
Можно ли как-то обойти ограничение объёма в 4000 знаков при созднании robots.txt в компоненте?

Можно попробовать в базе, в таблице "controllers" изменить тип поля "options" с TEXT на MEDIUMTEXT, или даже на LONGTEXT smile
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.