Robot.txt

Как правильно настроить Robots.txt?

 
Посетитель
small user social cms
Сообщений: 15
Подскажите, пожалуйста, если не трудно, как настроить robot.txt
Правильно ли он написан? Может изменить нужно что-то?
http://amateur.com.ua/robots.txt - ссылка на файл.
Заранее спасибо.
Посетитель
small user social cms
Сообщений: 42
User-Agent: * - Это уже для всех Ботов, отдельно под каждый не нужно делать.
Достаточно этого
Код PHP:
  1. User-Agent: *
  2. Disallow: /admin
  3. Disallow: /actions
  4. Disallow: /cache
  5. Disallow: /backups
  6. Disallow: /core
  7. Disallow: /dump
  8. Disallow: /wysiwyg
  9. Disallow: /includes
  10. Disallow: /modules
  11. Disallow: /filters
  12. Disallow: /languages
  13. Disallow: /install
  14. Disallow: /goto
  15. Disallow: /?
  16. Disallow: /users
  17. Disallow: /registration
  18. Disallow: /login
  19. Disallow: /search/tag
  20. Disallow: /comments
  21. Disallow: /novosti.html
  22. Disallow: /photos.html
  23. Disallow: /stati.html
  24. Disallow: /blogs.html
  25. Disallow: /clubs.html
  26. Disallow: /board.html
  27. Disallow: /users.html
  28. Disallow: /faq.html
  29. Host: http://amateur.com.ua
Более правильно во так.

Код PHP:
  1.  
  2. User-Agent: *
  3. Disallow: /login/
  4. Disallow: /admin/
  5. Disallow: /registration/
  6. Disallow: /search/tag/
  7. Host: amateur.com.ua
  8.  
Редактировалось: 1 раз (Последний: 22 сентября 2011 в 23:19)
Пытаюсь лепить http://westday.ru/ и http://ta-gaz.ru/
Реклама
cms
Посетитель
small user social cms
МедальПочетный донор проектаКубок зрительских симпатий
Сообщений: 423
Мне кажется что Host: http://amateur.com.ua нужно писать без http://
Редактировалось: 2 раз (Последний: 22 сентября 2011 в 22:52)
Посетитель
small user social cms
Сообщений: 15
Извиняюсь может я не понял, мне вставлять только это?

User-Agent: *
DDisallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /search/tag/
Host: http://amateur.com.ua
Редактировалось: 1 раз (Последний: 22 сентября 2011 в 23:16)
Посетитель
small user social cms
Сообщений: 42
Да да без http:// подредактировал! и DDisalow убрал!!

Да вставляй только правленный!
Редактировалось: 2 раз (Последний: 22 сентября 2011 в 23:20)
Пытаюсь лепить http://westday.ru/ и http://ta-gaz.ru/
Посетитель
no avatar
Сообщений: 9
опа. спасибочки. а то я даже и не заметил что фала робот.тхт нет
Посетитель
small user social cms
Сообщений: 15
спасибо
В начало страницы
Предыдущая темаСледующая тема Перейти на форум: