Как грамотно составить robots для instantcms?

 
Посетитель
small user social cms
Медаль
Сообщений: 239
Как правильно составить robots для instantcms? Какие разделы нужно закрыть от индексации? и т.д.
Может кто-то показать готовый пример robots-a? Буду очень благодарен если покажите пример. А то сам не спец в этом деле.
Посетитель
small user social cms
Сообщений: 56
Вот мой
Код PHP:
  1. User-agent: *
  2. Disallow: /backups/
  3. Disallow: /backup/
  4. Disallow: /board/
  5. Disallow: /components/
  6. Disallow: /wysiwyg/
  7. Disallow: /includes/
  8. Disallow: /modules/
  9. Disallow: /filters/
  10. Disallow: /languages/
  11. Disallow: /users/
  12. Disallow: /core/
  13. Disallow: /login/
  14. Disallow: /forum/thread*-1.html
  15. Disallow: /templates
  16. Disallow: /admin/
  17. Disallow: /registration/
  18. Disallow: /tag/
  19. Disallow: /search/
  20. Disallow: /rss/
  21. Disallow: /*search
  22. Disallow: /*comments
  23. Disallow: /*login
  24. Disallow: /*admin
  25. Disallow: /*registration
  26. Disallow: /index.php$
  27. Host:Ваш сайт
Редактировалось: 2 раз (Последний: 9 октября 2014 в 12:02)
Реклама
cms
Посетитель
small user social cms
Медаль
Сообщений: 239
A папку templates не закрывать от индексации?
Посетитель
small user social cms
Медаль
Сообщений: 164
guloc, это вы привели пример для первой ветки, а может у кого-нибудь составлен для второй? Меня тоже интересует данная тема, особенно интересно посмотреть на robors.txt идеально подходяций для основных поисковиков, хочется чтобы лишнего мусора для индексации не поступало.
Редактировалось: 1 раз (Последний: 9 октября 2014 в 11:39)
Посетитель
small user social cms
Сообщений: 56
Stecc:
A папку templates не закрывать от индексации?
Обновил Как то так.
Demet:
guloc, это вы привели пример для первой ветки, а может у кого-нибудь составлен для второй? Меня тоже интересует данная тема, особенно интересно посмотреть на robors.txt идеально подходяций для основных поисковиков, хочется чтобы лишнего мусора для индексации не поступало.
Вторю ветку пока не устанавливал, но там примерно также.
Посетитель
small user social cms
Медаль
Сообщений: 239
guloc:

Stecc:
A папку templates не закрывать от индексации?
Обновил Как то так.

Спасибо.

Мне как раз для первой ветки и нужно.
Посетитель
small user social cms
Медаль
Сообщений: 239
guloc, а вот это что означает?
Disallow: /forum/thread*-1.html
Disallow: /*search
Disallow: /index.php$
Посетитель
small user social cms
Сообщений: 56
Stecc:
guloc, а вот это что означает?
Disallow: /forum/thread*-1.html
Disallow: /*search
Disallow: /index.php$
Disallow: /forum/thread*-1.html #закрываем дубль первой страницы темы на форуме
Disallow: /*search # Эта строка говорит поисковым роботам, что искать в результатах поиска не нужно
Disallow: /index.php$ #закрываем все ссылки кончаемые на index.php$
Посетитель
small user social cms
Медаль
Сообщений: 239
guloc, спасибо большое.
Посетитель
small user social cms
Медаль
Сообщений: 199
Надо ли закрывать /go или сделать /go.php подскажите кто знает. спасибо
Краснодар. Строительство и ремонт
Посетитель
small user social cms
Медаль
Сообщений: 521
А поискать здесь на сайте, в голову не кому не приходит)). тут много про роботс было
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.