Robots.txt запрет на индексации фильтров

InstantCMS 2.X
#16 3 июня 2018 в 23:03
В поиск лезут страницы со значком? на конце. Пример: сайт.ру/articles/ххххххх.html?
Яндекс затем их выкидывает с пометкой "неканоническая"

Можно ли прописать в роботсе общий запрет на индексацию всех адресов для определенного типа контента с html? на конце и как это правильно сделать?
#17 4 июня 2018 в 08:35
Типа так наверное:
Disallow: *.html?
#18 4 июня 2018 в 14:56
Спасибо, попробую прописать так
#19 4 июня 2018 в 14:59
Слэш здесь не нужен? Прямо так прописывать — Disallow: *.html?
#20 4 июня 2018 в 15:06
Слеш нужен
Disallow: /*.html?

И вот еще варинат который конкретно закроет именно эту кострукцию, не затрагивая другие
Disallow: /*.html?$

Проверьте оба в панеле ВМ поисковиков.
#21 4 июня 2018 в 15:11
Проверил без слэша. Ошибок нет
#22 4 июня 2018 в 15:18
al955
без слеша неправильно, так и весь сайт или закрыт или открыт будет и вообще это ошибка, до слеша домен как бы.
#23 4 июня 2018 в 15:21
Согласен. Поставил слеш.

Я так понимаю, что Disallow: /*.html? закрывает любые страницы сайт, независимо от типа контента, у которых в адресе имеется .html?
#24 4 июня 2018 в 15:24

Я так понимаю, что Disallow: /*.html? закрывает любые страницы сайт, независимо от типа контента, у которых в адресе имеется .html?

al955
Да, все легко проверить в панеле, любые варианты.
#25 11 июня 2018 в 23:12

К тому же, зачем весь этот мусор с одинаковыми заголовками.

Вадим Нарочный
Теперь эта проблема больше не актуальна)) тыц
#26 16 сентября 2018 в 11:37
Фильтры, поиск — всё это даёт поисковикам на сайте столько мусорных страниц без тайтлов, заголовков и описания, что Яндекс считает сайт мусорным и откидывает назад в результатах поиска.

Поэтому товарищи ораторы выше — не может приводить никакой поисковик в движке InstantCMS на страницу фильтрации и поиска, не морочьте людям голову.

Алгоритмы поиска яндекса дурацкие и это их мало волнует, они пишут мне возможные проблемы, что у меня десятки тысяч страниц вида soba4nik.ru/search?q=%D0%9C%D0%9E%D0%9F%D1%81&type=words&date=all&page=7 и эту проблему надо устранить.

И самое главное — я прописываю уже различные директивы в robots.txt

/search?q=*
/search*
/search?
/search?*

Яндекс продолжает их индексировать. И в вебмастере убрали обратную связь — никак им не написать вопрос. Офуели уже от своей важности.

Хорошо, хоть народ медленно, но верно сливается на Google. А Яндекс пусть занимается такси. Поиск это не его.
#27 16 сентября 2018 в 15:19


/search?q=*
/search*

ermakover

Для вашего приведенного примера этого достаточно.

Яндекс продолжает их индексировать.

ermakover

Те что раньше были проиндексированы в течении НЕСКОЛЬКИХ МЕСЯЦЕВ (сейчас может побыстрей 2-3 недель) уйдут из поиска.

И в вебмастере убрали обратную связь — никак им не написать вопрос.

ermakover
shockА что они когда то брали на себя обязательство учить веб МАСТЕРОВ делать сайты?
Мануал они написали:
yandex.ru/support/webmaster/controlling-robot/


Офуели уже от своей важности.
Хорошо, хоть народ медленно, но верно сливается на Google.

ermakover

ИМХО один другого не лучше (для сайтэ). Только недавно здесь обсуждали, Гугл карты и их новую ценовую политику…
#28 16 сентября 2018 в 16:18

не может приводить никакой поисковик в движке InstantCMS на страницу фильтрации и поиска, не морочьте людям голову

ermakover
Дорогой замороченный друг. На страницу фильтрации из коробки может приводить, а может и не приводить. Но используя недорогое дополнение будет приводить. Любой поисковик. И приводят все они. Потому что будут и заголовки, и тайтлы, и описания, и при желании микроразметка.




Но есть еще недорогой (и тоже правильный) вариант — закрыть сайт от поисковиков. Каждому свое.
#29 16 сентября 2018 в 16:28

Но используя недорогое дополнение будет приводить.

шэльдэ бердэ бельдэ
А если использовать дорогое дополнение, то можно и урл "украсить" для такой страницы с фильтром и целенаправленно гнать народ с поисковиков на них. Например так demo.wordsword.ru/board/avtomobili/ford-universal-do-100000-km-probega вместо demo.wordsword.ru/board/avtomobili/ford?page=1&cat=12&date_pub[from]=&date_pub[to]=&price[from]=&price[to]=&p26=3&p3=3&p6[from]=&p6[to]=&p14[from]=&p14[to]=100000&p22=&p23=&submit=Фильтровать
#30 16 сентября 2018 в 16:39

А если использовать дорогое дополнение

Loadырь
Вот и я о том же)) Правда, я в пример привожу то, что имею. Но варианты могут быть разные.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.