Каталог дублей инстанта! Давайте соберем здесь все известеные неприкрытые дубли инстанта?

Дубль — не дубль, а в интексе яши и гугля появилось несколько сотен страниц типа сайт.ру/?page=720
Что прописать в роботс чтоб они не индексировались?

Для начала Вы должны определить, что именно дублируется, а уже потом работать над robots.txt
Сразу могу сказать, что закрывать надо:
1. результаты поиска (противоречит лицензии Yandex)
2. технические разделы (регистрация, восстановление и тд)
3. страницы пользователей
4. возможность создания не ограниченного количества дублей страниц, отдающих 200 заголовок
5. Добавочную фильтрацию группы элементов в URL
6. Проблемные параметры в URL — сессии
7. Пагинацию с одинаковыми title
Проверьте какая структура у Вашего сайта через панель вебмастеров Yandex, проверьте какие страницы считаются Не весомыми по версии google и на основе этих данных стройте инструкцию для поисковых роботов (для основных юзер-агентов).

Новый дубль cat

Потом еще у статей сонтент и корневая категория кажется

Выдержки из опыта.Парсингом набивались видео в компонент СТАТЬИ.Дата публикации статьи естественно была с задержкдй ,1--40 минут.И так 20000-80000.Так вот суть в выдаче яндекса значилась страница в поиске, но по факту она не была еше опубликована.Первыми в выдаче значаться (дубли)поиска.Через поиск страницы первыми влетают в выдачу!
Собственно проблема дублей и не есть проблема, никто не описал ЕДИНОГО СТАНДАРТА.
НЕТ и не надо.
Что пытаемся предотвратить? Да накал яндекс на ваши дубли глубоким каком.
Гугль накакал на мета, что теперь?
Давай тему, давай коммент, давай жизнь сайту, накой ему общая идилия непотребности (хоть и по яндексу правилам).
Ну хоть реальные доводы в ( дубли в поиске-оптимизации-индексации), есть?

oll, ты утвеждаеш, что на ранжирование не влияют дубли или я не понял?

А что такое ранжирование?

Если сайт — это просто флудилка, то и с дублями заморачиваться не надо, а если нужны целевые-посадочные страницы, которые являются максимально релевантными для запросов, то без чистки индекса не обойтись. Все зависит от задачи и для каждого отдельного сайта эта задача решается по-своему. Важно следить за количеством загруженных страниц в панели вебмастера и фактическим количеством страниц в индексе если разница большая, то стоит задуматься! А еще проверяйте количество весомых страниц в гугле.

Каждая страница должна быть доступна по единственному и постоянному адресу. Элементарные правила от Yandex goo.gl/K43Pd

Каждая страница должна быть доступна по единственному и постоянному адресу

Да, и иметь уникальный заголовок (title) и метаописание (description) .
А что мы имеем с /page-1, /page-4 etc ?
Ну и вопрос на засыпку:
Какая страница из двух с одинаковыми тайтлами попадет в индекс? ))

Какая страница из двух с одинаковыми тайтлами попадет в индекс? ))

Наиболее релевантная по мнению поискового робота. А вообще пагинацию надо либо закрывать, оставляя для индексации только ссылки
либо оптимизировать!

Возможности прописать уник тайтлы и дескрипшны для пагинации я не сумел найти, потому остается закрыть.
Disallow: */page-*

Какая страница из двух с одинаковыми тайтлами попадет в индекс? ))

Наиболее релевантная по мнению поискового робота.

Ответ неверный. ((
Правильный ответ — ни одна из их, то есть, даже первая без пагинации не будет в выдаче в топе 10

ни одна из их

Выдачу посмотрите… Примеров можно массу найти. Я не говорю про высоконкурентные коммерческие запросы.

По опыту.Страницы создавались так домен/страница.По логике с дле.Тоесть страница есть в категории но по факту ставиться как домен/страница.html 6 месяцев ожидания, и ни одна не прошла в выдачу, ни одна из 30000.А вот страницы поиска прошли.Именно поиска по сайту домен/поиск.После все страницы перенеслись в одну категорию домен/категория/страница и при сл апе вышли мигом в выдачу.

Выдачу посмотрите… Примеров можно массу найти. Я не говорю про высоконкурентные коммерческие запросы.

Отож. а я именно про них.