Robots.txt запрет на индексации фильтров 2.X

 
Посетитель
small user social cms
Медаль
Сообщений: 232
Всем привет.

На сайте работает фильтр, и я заметил что Яндекс индексирует страницы фильтрации, например "/films?genres=4" то есть в данном случае он индексирует страницу с определенным жанром фильма. Правильно ли будет запретить индексацию таким образом?

Код PHP:
  1. User-agent: *
  2. Disallow: ?genres
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1722
Так наверное
Код PHP:
  1.  
  2. Disallow: /films?genres=*
  3.  
Другие адреса из этого фильтра какие? Из них и надо создать маску.
Редактировалось: 2 раз (Последний: 22 марта 2018 в 21:42)
Реклама
cms
Посетитель
small user social cms
Медаль
Сообщений: 232
Rainbow:
Другие адреса из этого фильтра какие? Из них и надо создать маску.
Код PHP:
  1. Disallow: ?genres
  2. Disallow: ?countries
  3. Disallow: ?language
  4. Disallow: ?audio_quality
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1889
Вадим Нарочный, Вы можете объяснить, почему не хотите, чтобы Яндекс индексировал эти страницы? А что, если запретить индексировать страницы категорий, например, или записей? А то ишь чего удумал, индексирует, понимаешь, сайт, гаденыш! У меня на одном сайте, где всё на фильтрах устроено, со страниц фильтрации 70%трафика идет. Надо тоже запретить.
Посетитель
small user social cms
Медаль
Сообщений: 232
шэльдэ бердэ бельдэ:
Вадим Нарочный, Вы можете объяснить, почему не хотите, чтобы Яндекс индексировал эти страницы? А что, если запретить индексировать страницы категорий, например, или записей? А то ишь чего удумал, индексирует, понимаешь, сайт, гаденыш! У меня на одном сайте, где всё на фильтрах устроено, со страниц фильтрации 70%трафика идет. Надо тоже запретить.
Большое спасибо за Вашу язвительность! Дело в том, что пользователь попадет на страницу например с включенным фильтром, и как обычно этого не заметит (пользователи они такие) и может упустить какой-то материал и быстро покинуть сайт, что отрицательно повлияет на ПФ. К тому же, зачем весь этот мусор с одинаковыми заголовками.
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1722
?genres
?countries
?language
?audio_quality

Перед ними что стоит? films ?

Так и запретите одним правилом:

Код PHP:
  1.  
  2. Disallow: /films?*
  3.  
А вообще, да, зачем запрещаете? если показывает что они являются дублем (с одним тайтлом) других страниц, тогда возможно надо запретить.
Но если они не являются дублями, тогда зачем запрещать? может быть действительно в поиске будут хорошо ранжироваться и трафик будет.

ЗЫ: только смотрите что бы под эту маску:
Код PHP:
  1.  
  2. Disallow: /films?*
  3.  
Нужного ничего не попало. подходило.
Редактировалось: 2 раз (Последний: 22 марта 2018 в 22:04)
Посетитель
small user social cms
Медаль
Сообщений: 232
Rainbow:
Так и запретите одним правилом:
Спасибо, сделаю так.

Rainbow:
А вообще, да, зачем запрещаете? если показывает что они являются дублем (с одним тайтлом) других страниц, тогда возможно надо запретить.
Но если они не являются дублями, тогда зачем запрещать? может быть действительно в поиске будут хорошо ранжироваться и трафик будет.
С одинаковым тайтлом
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1722
Вадим Нарочный:
Спасибо, сделаю так.

Повторю, смотрите что бы под это правило не попали нужные адреса, я ваш сайт не знаю.
Обычно, берут в панеле вебмастера (или спец программах) смотрят и выписывают адреса ненужных дублей страниц.

Потом по ним составляют маски.
Если маска не получается, запрещают конкретные адреса.
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1889
Вадим Нарочный:
С одинаковым тайтлом
И что? Контент ведь разный, в зависимости от фильтров.
Вадим Нарочный:
пользователь попадет на страницу например с включенным фильтром, и как обычно этого не заметит (пользователи они такие) и может упустить какой-то материал и быстро покинуть сайт, что отрицательно повлияет на ПФ
По-другому пользователь может вообще не попасть на Ваш сайт. А покинуть его может и с главной страницы. Но на странице с фильтрацией он с большой долей вероятности найдет именно то, что его интересует. И тем самым улучшит ПФ.

Да, еще. Поисковики уже давно стали сами отлично удалять из выдачи дубли и другой мусор. А запрещая к индексации всё подряд, Вы запрещаете пользователям Вас найти по определенным запросам.

Всё, ушел.
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 6473
Дубли. Сколько копий сломано, но суть то главная не в их наличии а в том что важно их избежать, если есть строго целевые страницы. Например есть страница про коллекцию плитки, чтобы именно она выходила и давала конверсию стоит запретить все что так или иначе может этот запрос перехватить. Иначе посетитель может попасть на страницу, которая не заточена под конверсию (действие посетителя).

Но когда делаете сайт фильмов и там есть фильтры - зачем их закрывать? Наоборот эта страница сгенерирует траффик под фильтр, у неё свой состав страницы, своё название. Особенно в многостраничных сайтах эти дубли в виде: категорий, фильтров, тегов - могут наоборот давать траффик и дают.

И согласен


шэльдэ бердэ бельдэ:
По-другому пользователь может вообще не попасть на Ваш сайт. А покинуть его может и с главной страницы. Но на странице с фильтрацией он с большой долей вероятности найдет именно то, что его интересует. И тем самым улучшит ПФ.

Да, еще. Поисковики уже давно стали сами отлично удалять из выдачи дубли и другой мусор. А запрещая к индексации всё подряд, Вы запрещаете пользователям Вас найти по определенным запросам.
Хостинг и ВПС Халява тексты Стартапы Instantcms в Telegram
Посетитель
small user social cms
Медаль
Сообщений: 415
Чтобы не плодить темы, спрошу здесь.

На днях Яндекс массово выкинул из индекса все картинки, которые лежат в папках upload/000 и т.п. с пометкой "недостаточно качественная". Т.е., выкинул их прямые УРЛы типа сайт/upload/000/u1/64/49/хххххх.jpg

В связи с этим, два вопроса:
1. Нужны ли они вообще в индексе (склоняюсь к тому, что не нужны)
2. Если не нужны, как правильно закрыть их в роботсе. Так будет правильно? - Disallow: /upload*
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1722
al955:
Так будет правильно? - Disallow: /upload*

Disallow: /upload/*

слэш после upload
al955:
"недостаточно качественная". Т.е., выкинул их прямые УРЛы типа сайт/upload/000/u1/64/49/хххххх.jpg

Может быть я не понял, но из индекса он выкинул наверное, СТРАНИЦЫ на которых были эти картинки, а не картинки.
В таком случае закрытие upload ничего не даст, надо закрывать эти страницы.

al955:
с пометкой "недостаточно качественная". Т.е.,
Само по себе, если таких страниц в % отношении на сайте не много, это не критично.

Нашел вот вам картинку в поиске подходящую, сам текст долго искать не стал...
Robots.txt запрет на индексации фильтров
Посетитель
small user social cms
Медаль
Сообщений: 415
Rainbow:
Может быть я не понял, но из индекса он выкинул наверное, СТРАНИЦЫ на которых были эти картинки, а не картинки.
В таком случае закрытие upload ничего не даст, надо закрывать эти страницы

Нет, со страницами все в порядке. Выкинул из индекса именно прямые урлы изображений. Необходимость их присутствия в индексе мне вообще непонятна. Мне нужно, чтобы индексировались целевые страницы (в моем случае - статьи), где помимо текста размещены и все необходимые картинки. С этим все в порядке. Если закрыть папку upload, то на индексацию страниц это никак не скажется?
Редактировалось: 1 раз (Последний: 7 мая 2018 в 21:08)
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1722
al955:
Если закрыть папку upload, то на индексацию страниц это никак не скажется?
Не знаю..., но я бы папку с картинками не закрывал от индексации. Раз у Вас их УРЛы индексирует, значит какие то изображения он наверное считает качественными, а какие то нет...

Вы посмотрите, по каким признакам он их различает, может у них нет описаний alt, title

al955:
Выкинул из индекса именно прямые урлы изображений. Необходимость их присутствия в индексе мне вообще непонятна.

Ему тоже наверное не понятна) вот он их и выкинул, но я же дал картинку в посту выше, что само по себе наличие пометки "недостаточно качественная" не повод от них избавляться. Их нет в индексе выдаче ни по каким ключам (нет спроса) и только.

Но может кто скажет другое...
Редактировалось: 2 раз (Последний: 7 мая 2018 в 22:38)
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 6473
al955:
Нужны ли они вообще в индексе (склоняюсь к тому, что не нужны)

Так гляньте в метрике заходы. В принципе я видел примеры когда в день по 5-7 тысяч человек заходило с картинок поиска. У вас метрика скажет работал ли картиночный трафик и что вы потеряете.
Хостинг и ВПС Халява тексты Стартапы Instantcms в Telegram
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.