Файл robots.txt для instantcms 2 с платными компонентами 2.X

 
Посетитель
small user social cms
Медаль
Сообщений: 444
Перелистал весь форум, но вразумительного ответа по поводу файла robots.txt так и не нашел. Либо "все индивидуально и нужно под каждый сайт свой", либо откровенный бред в составлении.

Не соглашусь насчет "индивидуальности", должен быть конкретный свод правил для "голого" движка и правила для платных компонентов, остальное на свой страх и риск, кто что устанавливал. Индивидуально можно подпилить самому, если потребуется.

Очень нужен правильный robots.txt для предотвращения появления дублей во время индексации, и для instantvideo, instantmaps так же. По поводу ivideo нашел подобный вопрос на оф. форуме https://instantvideo.ru/forum/thread867.html.

Почему в движке не используется тег canonical?

Появление дублей легче предотвратить, нежели удалять их потом из вебмастера. У гугла долгая память и первая оценка сайта роботами может повлиять на всю его дальнейшую судьбу. Вытащить сайт с под фильтров очень трудно.
Посетитель
small user social cms
Медаль
Сообщений: 444
Друзья, кто-нибудь озадачивался закрытием дублей, покажите примеры своих robots.txt
Реклама
cms
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3094
Да смотреть сайт надо...там нет ничего сложного. тут в блогах писали как роботс составлять
Посетитель
small user social cms
Медаль
Сообщений: 444
Jestik:
Да смотреть сайт надо...
Сайт смотреть надо по вебмастеру после индексации. Я не зная какие дубли создаются данной cms-кой.

Jestik:
тут в блогах писали как роботс составлять
Писать то писали, толком так и не составили.

Если кто видел на двойке сайты с высокой посещаемостью (не видеопорталы), скиньте пожалуйста ссылки в личку. В живую посмотреть хочется на их роботсы и проанализировать на предмет дублей в выдаче.
Редактировалось: 1 раз (Последний: 21 декабря 2016 в 01:08)
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.