Robots.txt запрет на индексации фильтров

InstantCMS 2.X

1
2
3
Следующая
Показаны 1-15 из 33

#1 22 марта 2018 в 21:24

Всем привет.

На сайте работает фильтр, и я заметил что Яндекс индексирует страницы фильтрации, например "/films?genres=4" то есть в данном случае он индексирует страницу с определенным жанром фильма. Правильно ли будет запретить индексацию таким образом?

User-agent: *
Disallow: ?genres

#2 22 марта 2018 в 21:40

Так наверное

 
Disallow: /films?genres=*

Другие адреса из этого фильтра какие? Из них и надо создать маску.

#3 22 марта 2018 в 21:45

Другие адреса из этого фильтра какие? Из них и надо создать маску.
Rainbow

Disallow: ?genres
Disallow: ?countries
Disallow: ?language
Disallow: ?audio_quality

Сегодня в 02:36

#4 22 марта 2018 в 21:53

Вадим Нарочный, Вы можете объяснить, почему не хотите, чтобы Яндекс индексировал эти страницы? А что, если запретить индексировать страницы категорий, например, или записей? А то ишь чего удумал, индексирует, понимаешь, сайт, гаденыш! У меня на одном сайте, где всё на фильтрах устроено, со страниц фильтрации 70%трафика идет. Надо тоже запретить.

t.me/googleindexingapi

#5 22 марта 2018 в 21:58

Вадим Нарочный, Вы можете объяснить, почему не хотите, чтобы Яндекс индексировал эти страницы? А что, если запретить индексировать страницы категорий, например, или записей? А то ишь чего удумал, индексирует, понимаешь, сайт, гаденыш! У меня на одном сайте, где всё на фильтрах устроено, со страниц фильтрации 70%трафика идет. Надо тоже запретить.
шэльдэ бердэ бельдэ

Большое спасибо за Вашу язвительность! Дело в том, что пользователь попадет на страницу например с включенным фильтром, и как обычно этого не заметит (пользователи они такие) и может упустить какой-то материал и быстро покинуть сайт, что отрицательно повлияет на ПФ. К тому же, зачем весь этот мусор с одинаковыми заголовками.

#6 22 марта 2018 в 22:01

?genres
?countries
?language
?audio_quality

Перед ними что стоит? films ?

Так и запретите одним правилом:

 
Disallow: /films?*

А вообще, да, зачем запрещаете? если показывает что они являются дублем (с одним тайтлом) других страниц, тогда возможно надо запретить.
Но если они не являются дублями, тогда зачем запрещать? может быть действительно в поиске будут хорошо ранжироваться и трафик будет.

ЗЫ: только смотрите что бы под эту маску:

 
Disallow: /films?*

Нужного ничего не ~~попало.~~ подходило.

#7 22 марта 2018 в 22:04

Так и запретите одним правилом:
Rainbow

Спасибо, сделаю так.

А вообще, да, зачем запрещаете? если показывает что они являются дублем (с одним тайтлом) других страниц, тогда возможно надо запретить.
Но если они не являются дублями, тогда зачем запрещать? может быть действительно в поиске будут хорошо ранжироваться и трафик будет.
Rainbow

С одинаковым тайтлом

#8 22 марта 2018 в 22:10

Спасибо, сделаю так.
Вадим Нарочный

Повторю, смотрите что бы под это правило не попали нужные адреса, я ваш сайт не знаю.
Обычно, берут в панеле вебмастера (или спец программах) смотрят и выписывают адреса ненужных дублей страниц.

Потом по ним составляют маски.
Если маска не получается, запрещают конкретные адреса.

#9 22 марта 2018 в 22:56

С одинаковым тайтлом
Вадим Нарочный

И что? Контент ведь разный, в зависимости от фильтров.

пользователь попадет на страницу например с включенным фильтром, и как обычно этого не заметит (пользователи они такие) и может упустить какой-то материал и быстро покинуть сайт, что отрицательно повлияет на ПФ
Вадим Нарочный

По-другому пользователь может вообще не попасть на Ваш сайт. А покинуть его может и с главной страницы. Но на странице с фильтрацией он с большой долей вероятности найдет именно то, что его интересует. И тем самым улучшит ПФ.

Да, еще. Поисковики уже давно стали сами отлично удалять из выдачи дубли и другой мусор. А запрещая к индексации всё подряд, Вы запрещаете пользователям Вас найти по определенным запросам.

Всё, ушел.

t.me/googleindexingapi

#10 22 марта 2018 в 23:25

Дубли. Сколько копий сломано, но суть то главная не в их наличии а в том что важно их избежать, если есть строго целевые страницы. Например есть страница про коллекцию плитки, чтобы именно она выходила и давала конверсию стоит запретить все что так или иначе может этот запрос перехватить. Иначе посетитель может попасть на страницу, которая не заточена под конверсию (действие посетителя).

Но когда делаете сайт фильмов и там есть фильтры — зачем их закрывать? Наоборот эта страница сгенерирует траффик под фильтр, у неё свой состав страницы, своё название. Особенно в многостраничных сайтах эти дубли в виде: категорий, фильтров, тегов — могут наоборот давать траффик и дают.

И согласен

По-другому пользователь может вообще не попасть на Ваш сайт. А покинуть его может и с главной страницы. Но на странице с фильтрацией он с большой долей вероятности найдет именно то, что его интересует. И тем самым улучшит ПФ.

Да, еще. Поисковики уже давно стали сами отлично удалять из выдачи дубли и другой мусор. А запрещая к индексации всё подряд, Вы запрещаете пользователям Вас найти по определенным запросам.
шэльдэ бердэ бельдэ

Хостинг и ВПС Халява тексты Стартапы Instantcms в Telegram

#11 7 мая 2018 в 20:40

Чтобы не плодить темы, спрошу здесь.

На днях Яндекс массово выкинул из индекса все картинки, которые лежат в папках upload/000 и т.п. с пометкой "недостаточно качественная". Т.е., выкинул их прямые УРЛы типа сайт/upload/000/u1/64/49/хххххх.jpg

В связи с этим, два вопроса:
1. Нужны ли они вообще в индексе (склоняюсь к тому, что не нужны)
2. Если не нужны, как правильно закрыть их в роботсе. Так будет правильно? — Disallow: /upload*

#12 7 мая 2018 в 20:59

Так будет правильно? — Disallow: /upload*
al955

Disallow: /upload/*

слэш после upload

"недостаточно качественная". Т.е., выкинул их прямые УРЛы типа сайт/upload/000/u1/64/49/хххххх.jpg
al955

Может быть я не понял, но из индекса он выкинул наверное, СТРАНИЦЫ на которых были эти картинки, а не картинки.
В таком случае закрытие upload ничего не даст, надо закрывать эти страницы.

с пометкой "недостаточно качественная". Т.е.,
al955

Само по себе, если таких страниц в % отношении на сайте не много, это не критично.

Нашел вот вам картинку в поиске подходящую, сам текст долго искать не стал...

#13 7 мая 2018 в 21:08

Может быть я не понял, но из индекса он выкинул наверное, СТРАНИЦЫ на которых были эти картинки, а не картинки.
В таком случае закрытие upload ничего не даст, надо закрывать эти страницы
Rainbow

Нет, со страницами все в порядке. Выкинул из индекса именно прямые урлы изображений. Необходимость их присутствия в индексе мне вообще непонятна. Мне нужно, чтобы индексировались целевые страницы (в моем случае — статьи), где помимо текста размещены и все необходимые картинки. С этим все в порядке. Если закрыть папку upload, то на индексацию страниц это никак не скажется?

#14 7 мая 2018 в 22:31

Если закрыть папку upload, то на индексацию страниц это никак не скажется?
al955

Не знаю..., но я бы папку с картинками не закрывал от индексации. Раз у Вас их УРЛы индексирует, значит какие то изображения он наверное считает качественными, а какие то нет...

Вы посмотрите, по каким признакам он их различает, может у них нет описаний alt, title

Выкинул из индекса именно прямые урлы изображений. Необходимость их присутствия в индексе мне вообще непонятна.
al955

Ему тоже наверное не понятна) вот он их и выкинул, но я же дал картинку в посту выше, что само по себе наличие пометки "недостаточно качественная" не повод от них избавляться. Их нет в ~~индексе~~ выдаче ни по каким ключам (нет спроса) и только.

Но может кто скажет другое…

#15 7 мая 2018 в 23:39

Нужны ли они вообще в индексе (склоняюсь к тому, что не нужны)
al955

Так гляньте в метрике заходы. В принципе я видел примеры когда в день по 5-7 тысяч человек заходило с картинок поиска. У вас метрика скажет работал ли картиночный трафик и что вы потеряете.

Хостинг и ВПС Халява тексты Стартапы Instantcms в Telegram

1
2
3
Следующая
Показаны 1-15 из 33

На сайт идет нецелевой трафик,

Гугл не находит сайтмап

Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.

Robots.txt запрет на индексации фильтров

Похожие темы

[ЕСТЬ РЕШЕНИЕ] Seo , файл robots.txt , индексирование поисковиком

Наборы фильтров

Вывести в меню пункты фильтра

[ЕСТЬ РЕШЕНИЕ] "Мои подписки" в фильтре (наборе) списка постов.

Сало и мясо в наборах для фильтров

[ЕСТЬ РЕШЕНИЕ] Вопрос по seo настройке фильтров

InstantCMS Team

О проекте

Поддержка

Дополнения