Robots.txt запрет на индексации фильтров

В поиск лезут страницы со значком? на конце. Пример: сайт.ру/articles/ххххххх.html?
Яндекс затем их выкидывает с пометкой "неканоническая"

Можно ли прописать в роботсе общий запрет на индексацию всех адресов для определенного типа контента с html? на конце и как это правильно сделать?

Типа так наверное:
Disallow: *.html?

Спасибо, попробую прописать так

Слэш здесь не нужен? Прямо так прописывать — Disallow: *.html?

Слеш нужен
Disallow: /*.html?

И вот еще варинат который конкретно закроет именно эту кострукцию, не затрагивая другие
Disallow: /*.html?$

Проверьте оба в панеле ВМ поисковиков.

Проверил без слэша. Ошибок нет

без слеша неправильно, так и весь сайт или закрыт или открыт будет и вообще это ошибка, до слеша домен как бы.

Согласен. Поставил слеш.

Я так понимаю, что Disallow: /*.html? закрывает любые страницы сайт, независимо от типа контента, у которых в адресе имеется .html?

Я так понимаю, что Disallow: /*.html? закрывает любые страницы сайт, независимо от типа контента, у которых в адресе имеется .html?

Да, все легко проверить в панеле, любые варианты.

К тому же, зачем весь этот мусор с одинаковыми заголовками.

Теперь эта проблема больше не актуальна)) тыц

Фильтры, поиск — всё это даёт поисковикам на сайте столько мусорных страниц без тайтлов, заголовков и описания, что Яндекс считает сайт мусорным и откидывает назад в результатах поиска.

Поэтому товарищи ораторы выше — не может приводить никакой поисковик в движке InstantCMS на страницу фильтрации и поиска, не морочьте людям голову.

Алгоритмы поиска яндекса дурацкие и это их мало волнует, они пишут мне возможные проблемы, что у меня десятки тысяч страниц вида soba4nik.ru/search?q=%D0%9C%D0%9E%D0%9F%D1%81&type=words&date=all&page=7 и эту проблему надо устранить.

И самое главное — я прописываю уже различные директивы в robots.txt

/search?q=*
/search*
/search?
/search?*

Яндекс продолжает их индексировать. И в вебмастере убрали обратную связь — никак им не написать вопрос. Офуели уже от своей важности.

Хорошо, хоть народ медленно, но верно сливается на Google. А Яндекс пусть занимается такси. Поиск это не его.

/search?q=*
/search*

Для вашего приведенного примера этого достаточно.

Яндекс продолжает их индексировать.

Те что раньше были проиндексированы в течении НЕСКОЛЬКИХ МЕСЯЦЕВ (сейчас может побыстрей 2-3 недель) уйдут из поиска.

И в вебмастере убрали обратную связь — никак им не написать вопрос.

А что они когда то брали на себя обязательство учить веб МАСТЕРОВ делать сайты?
Мануал они написали:
yandex.ru/support/webmaster/controlling-robot/

Офуели уже от своей важности.
Хорошо, хоть народ медленно, но верно сливается на Google.

ИМХО один другого не лучше (для сайтэ). Только недавно здесь обсуждали, Гугл карты и их новую ценовую политику…

не может приводить никакой поисковик в движке InstantCMS на страницу фильтрации и поиска, не морочьте людям голову

Дорогой замороченный друг. На страницу фильтрации из коробки может приводить, а может и не приводить. Но используя недорогое дополнение будет приводить. Любой поисковик. И приводят все они. Потому что будут и заголовки, и тайтлы, и описания, и при желании микроразметка.




Но есть еще недорогой (и тоже правильный) вариант — закрыть сайт от поисковиков. Каждому свое.

Но используя недорогое дополнение будет приводить.

А если использовать дорогое дополнение, то можно и урл "украсить" для такой страницы с фильтром и целенаправленно гнать народ с поисковиков на них. Например так demo.wordsword.ru/board/avtomobili/ford-universal-do-100000-km-probega вместо demo.wordsword.ru/board/avtomobili/ford?page=1&cat=12&date_pub[from]=&date_pub[to]=&price[from]=&price[to]=&p26=3&p3=3&p6[from]=&p6[to]=&p14[from]=&p14[to]=100000&p22=&p23=&submit=Фильтровать

А если использовать дорогое дополнение

Вот и я о том же)) Правда, я в пример привожу то, что имею. Но варианты могут быть разные.