Перелистал весь форум, но вразумительного ответа по поводу файла robots.txt так и не нашел. Либо "все индивидуально и нужно под каждый сайт свой", либо откровенный бред в составлении.
Не соглашусь насчет "индивидуальности", должен быть конкретный свод правил для "голого" движка и правила для платных компонентов, остальное на свой страх и риск, кто что устанавливал. Индивидуально можно подпилить самому, если потребуется.
Очень нужен правильный robots.txt для предотвращения появления дублей во время индексации, и для instantvideo, instantmaps так же. По поводу ivideo нашел подобный вопрос на оф. форуме instantvideo.ru/forum/thread867.html.
Почему в движке не используется тег canonical?
Появление дублей легче предотвратить, нежели удалять их потом из вебмастера. У гугла долгая память и первая оценка сайта роботами может повлиять на всю его дальнейшую судьбу. Вытащить сайт с под фильтров очень трудно.
InstantCMS 2.X
#1
20 декабря 2016 в 16:19
#2
20 декабря 2016 в 23:26
Друзья, кто-нибудь озадачивался закрытием дублей, покажите примеры своих robots.txt
#3
21 декабря 2016 в 00:20
Да смотреть сайт надо… там нет ничего сложного. тут в блогах писали как роботс составлять
Сегодня в 23:52
Сайт смотреть надо по вебмастеру после индексации. Я не зная какие дубли создаются данной cms-кой.Да смотреть сайт надо...
Писать то писали, толком так и не составили.тут в блогах писали как роботс составлять
Если кто видел на двойке сайты с высокой посещаемостью (не видеопорталы), скиньте пожалуйста ссылки в личку. В живую посмотреть хочется на их роботсы и проанализировать на предмет дублей в выдаче.