Каталог дублей инстанта! Давайте соберем здесь все известеные неприкрытые дубли инстанта?

1. actions/page-(*)
2. threadN-(*).html
3. video/razdel/page-(*)
4. users/ users/latest(*).html
5. music/page-(*)
6. board/N/-(*)
7. blogs/latest(*).html


список буду постоянно пополнять

Поясните, это что такое, для непосвященных?

Поясните, это что такое, для непосвященных?

Тут части URL, которые дублируют контент сайта, где звездочка — туда цифра 1 подставляется, вот пример:

http://cnsk.ru/users
http://cnsk.ru/users/latest.html
http://cnsk.ru/users/latest1.html

а чем мешают дубли?

Дублированный контен вредит индексации основной продвигаемой страницы, поисковики могут релевантность понижать из-за дублей

Весь поиск по тегам-это дубли!
Но! Наблюдая за динамикой на последних 2х проэктах.Период рождения 2-6 мес.Сперва было до 25-30% страниц попавщих в индексацию вместо основных.Но каждую неделю они таяли.И на сегодня при полной индексации всех страниц, теговые и поисковые составляют 1%.И напрашиваеться вывод: поведенческий фактор для яши является приорететным.Страницы запросов по поиску ( запрошенные пользователем на сайте) появляются в индексе в первую очередь.Через время они замещаются ОСНОВНЫМИ страницами.Так что сдесь надо взвешивать все за и против.

вот что выдает я.поиск для сайта?
/kursy-ispanskogo-jazyka-v-dagestane.html?utm_medium=twitter&utm_source=twitterfeed

это точно лишнее

?utm_medium=twitter&utm_source=twitterfeed

т.к. документ расположен
тут /kursy-ispanskogo-jazyka-v-dagestane.html

так это в робот тхт нужно засунуть??

очень важная тема, хотел создать такую...

Кинь плиз все содержимое робота… чтоб мы не начудили…

пример роботса (можно взят как за основу и допилить)

User-Agent: Googlebot
Allow: /
Sitemap: dagstudent.ru/google_sitemap.xml

User-agent: Yandex
Allow: /
Sitemap: dagstudent.ru/yandex_sitemap.xml

User-Agent: *
Allow: /
Disallow: /search/tag/
Disallow: /go/

автор — instantcms.ru/catalog/item149.html

а вот пример роботса для вордпрес:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Allow: /wp-content/uploads


User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Allow: /wp-content/uploads

видим как закрывается то, что не должно индексироваться

После Allow: / далее все Disallow: / считаются недействительными.Проверьте в яндексе свой роботс.

После Allow: / далее все Disallow: / считаются недействительными.Проверьте в яндексе свой роботс.

Строчка User-agent: Yandex запускает новый отсчёт правил. Поэтому в данном случае это нельзя считать "Disallow после Allow".

Проверьте в яндексе свой роботс.

2. threadN-(*).html

Я не понял, почему это дубль?
То есть, например, первая и вторая страницы любой темы на форуме — это дубли?
С остальными из вашего списка такой же вопрос

instantcms.ru/forum/thread11558-1.html
и
instantcms.ru/forum/thread11558.html

— дубли, и так везде(во всех компонентах)…

lokanaft,

habrahabr.ru/
и
habrahabr.ru/page1/

PS: стоило писать тогда наверно threadN-1.html, а не threadN-(*).html