Robot.txt

ЕСТЬ РЕШЕНИЕ ЗАКРЫТО

Как правильно настроить Robots.txt?

#1 22 сентября 2011 в 19:42

Подскажите, пожалуйста, если не трудно, как настроить robot.txt
Правильно ли он написан? Может изменить нужно что-то?
amateur.com.ua/robots.txt — ссылка на файл.
Заранее спасибо.

#2 22 сентября 2011 в 22:36

User-Agent: * — Это уже для всех Ботов, отдельно под каждый не нужно делать.
Достаточно этого

User-Agent: *
Disallow: /admin
Disallow: /actions
Disallow: /cache
Disallow: /backups
Disallow: /core
Disallow: /dump
Disallow: /wysiwyg
Disallow: /includes
Disallow: /modules
Disallow: /filters
Disallow: /languages
Disallow: /install
Disallow: /goto
Disallow: /?
Disallow: /users
Disallow: /registration
Disallow: /login
Disallow: /search/tag
Disallow: /comments
Disallow: /novosti.html
Disallow: /photos.html
Disallow: /stati.html
Disallow: /blogs.html
Disallow: /clubs.html
Disallow: /board.html
Disallow: /users.html
Disallow: /faq.html
Host: http://amateur.com.ua

Более правильно во так.

 
User-Agent: *
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /search/tag/
Host: amateur.com.ua

Пытаюсь лепить http://westday.ru/ и http://ta-gaz.ru/

#3 22 сентября 2011 в 22:51

Мне кажется что Host: amateur.com.ua нужно писать без http://

Сегодня в 05:26

#4 22 сентября 2011 в 23:15

Извиняюсь может я не понял, мне вставлять только это?

User-Agent: *
DDisallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /search/tag/
Host: amateur.com.ua

#5 22 сентября 2011 в 23:18

Да да без http:// подредактировал! и DDisalow убрал!!

Да вставляй только правленный!

Пытаюсь лепить http://westday.ru/ и http://ta-gaz.ru/

#6 23 сентября 2011 в 22:39

опа. спасибочки. а то я даже и не заметил что фала робот.тхт нет

#7 24 сентября 2011 в 18:08

спасибо

подскажите плагин/скрипт для о

Можно ли спрятать все ссылки о

Robot.txt

Похожие темы

[ЕСТЬ РЕШЕНИЕ] Seo , файл robots.txt , индексирование поисковиком

Вопрос по robots.txt

robots.txt

Одинаковые "Заголовки и описания" страниц search

Пропал компонент Генератор карты сайта и robots.txt

[ЗАКРЫТО] Не создаётся sitemap.xml

InstantCMS Team

О проекте

Поддержка

Дополнения