Как правильно составить robots для instantcms? Какие разделы нужно закрыть от индексации? и т.д.
Может кто-то показать готовый пример robots-a? Буду очень благодарен если покажите пример. А то сам не спец в этом деле.
#1
9 октября 2014 в 10:37
Вот мой
#3
9 октября 2014 в 11:29
A папку templates не закрывать от индексации?
Сегодня в 05:32
guloc, это вы привели пример для первой ветки, а может у кого-нибудь составлен для второй? Меня тоже интересует данная тема, особенно интересно посмотреть на robors.txt идеально подходяций для основных поисковиков, хочется чтобы лишнего мусора для индексации не поступало.
#5
9 октября 2014 в 11:47
Обновил Как то так.A папку templates не закрывать от индексации?
Вторю ветку пока не устанавливал, но там примерно также.guloc, это вы привели пример для первой ветки, а может у кого-нибудь составлен для второй? Меня тоже интересует данная тема, особенно интересно посмотреть на robors.txt идеально подходяций для основных поисковиков, хочется чтобы лишнего мусора для индексации не поступало.
#6
9 октября 2014 в 11:58
Обновил Как то так.A папку templates не закрывать от индексации?
Спасибо.
Мне как раз для первой ветки и нужно.
#7
9 октября 2014 в 20:18
guloc, а вот это что означает?
Disallow: /forum/thread*-1.html
Disallow: /*search
Disallow: /index.php$
Disallow: /forum/thread*-1.html
Disallow: /*search
Disallow: /index.php$
#8
9 октября 2014 в 20:53
Disallow: /forum/thread*-1.html #закрываем дубль первой страницы темы на форумеguloc, а вот это что означает?
Disallow: /forum/thread*-1.html
Disallow: /*search
Disallow: /index.php$
Disallow: /*search # Эта строка говорит поисковым роботам, что искать в результатах поиска не нужно
Disallow: /index.php$ #закрываем все ссылки кончаемые на index.php$
#9
9 октября 2014 в 21:08
guloc, спасибо большое.
#10
11 октября 2014 в 10:44
Надо ли закрывать /go или сделать /go.php подскажите кто знает. спасибо
#11
11 октября 2014 в 11:18
А поискать здесь на сайте, в голову не кому не приходит)). тут много про роботс было