Найти на сайте
  2. Форумы
  3. МАСТЕРСКАЯ
  4. SEO & PR
  5. Robot.txt

Robot.txt

ЕСТЬ РЕШЕНИЕ ЗАКРЫТО

Как правильно настроить Robots.txt?

#1 22 сентября 2011 в 19:42
Подскажите, пожалуйста, если не трудно, как настроить robot.txt
Правильно ли он написан? Может изменить нужно что-то?
amateur.com.ua/robots.txt — ссылка на файл.
Заранее спасибо.
0
#2 22 сентября 2011 в 22:36
User-Agent: * — Это уже для всех Ботов, отдельно под каждый не нужно делать.
Достаточно этого
  1. User-Agent: *
  2. Disallow: /admin
  3. Disallow: /actions
  4. Disallow: /cache
  5. Disallow: /backups
  6. Disallow: /core
  7. Disallow: /dump
  8. Disallow: /wysiwyg
  9. Disallow: /includes
  10. Disallow: /modules
  11. Disallow: /filters
  12. Disallow: /languages
  13. Disallow: /install
  14. Disallow: /goto
  15. Disallow: /?
  16. Disallow: /users
  17. Disallow: /registration
  18. Disallow: /login
  19. Disallow: /search/tag
  20. Disallow: /comments
  21. Disallow: /novosti.html
  22. Disallow: /photos.html
  23. Disallow: /stati.html
  24. Disallow: /blogs.html
  25. Disallow: /clubs.html
  26. Disallow: /board.html
  27. Disallow: /users.html
  28. Disallow: /faq.html
  29. Host: http://amateur.com.ua
Более правильно во так.

  1.  
  2. User-Agent: *
  3. Disallow: /login/
  4. Disallow: /admin/
  5. Disallow: /registration/
  6. Disallow: /search/tag/
  7. Host: amateur.com.ua
  8.  
Пытаюсь лепить http://westday.ru/ и http://ta-gaz.ru/
0
#3 22 сентября 2011 в 22:51
Мне кажется что Host: amateur.com.ua нужно писать без http://
0
#4 22 сентября 2011 в 23:15
Извиняюсь может я не понял, мне вставлять только это?

User-Agent: *
DDisallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /search/tag/
Host: amateur.com.ua
0
#5 22 сентября 2011 в 23:18
Да да без http:// подредактировал! и DDisalow убрал!!

Да вставляй только правленный!
Пытаюсь лепить http://westday.ru/ и http://ta-gaz.ru/
0
#6 23 сентября 2011 в 22:39
опа. спасибочки. а то я даже и не заметил что фала робот.тхт нет
0
#7 24 сентября 2011 в 18:08
спасибо
0
подскажите плагин/скрипт для о
Можно ли спрятать все ссылки о

Похожие темы

[ЕСТЬ РЕШЕНИЕ] Seo , файл robots.txt , индексирование поисковиком

SEO & PR Создана 1 год назад 7 сообщений

Компоненты: Генератор карты сайта и robots.txt

Флейм / Флуд / Оффтопик Создана 4 года назад 6 сообщений

Индексацию профилей пользователей в robots.txt

Флейм / Флуд / Оффтопик Создана 4 года назад 2 сообщения

Robots.txt для instantcms 2

SEO & PR Создана 4 года назад 19 сообщений

[ЕСТЬ РЕШЕНИЕ] Robot и sitemap

SEO & PR Создана 4 года назад 5 сообщений

Компонент Sitemap и robots

Компоненты Создана 4 года назад 3 сообщения

InstantCMS Team

Связь с нами
Email dev@instantcms.ru

Делаем полезные Интернет проекты с 2008 года 💫

О проекте

Поддержка

Дополнения

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.