А нужен ли роботс?!

В смысле robots.txt

#16 7 февраля 2010 в 02:11
Да но критерий "переоптимизации" определить толком трудно пока. Точнее на "правильном" сайте вылет за топ главной, но те же контакты в гору. И настораживает перманентность текущего фильтра.
То биш при равных составляющих включая регион, вылетают через сайт. А место выбывших не занимают очередники, а влетает какойнить внутряк с одним анкором в тексте из 1000 знаков. Дальше его двигают опять "правильные", вылетают по новому алгоритму и всё по новой.
На данный момент ВЧ проще/стабильнее держится на внутряке, немного добавить нужной инфы и оставить в топе(брызги сознания).
#17 7 апреля 2010 в 10:24
С появлением нового роутера в 1.6 есть какие-нибудь мысли о ценности этого роботса? Может теперь его точно выкинуть совсем?
#18 7 апреля 2010 в 12:32

С появлением нового роутера в 1.6 есть какие-нибудь мысли о ценности этого роботса? Может теперь его точно выкинуть совсем?

Клещи без Олега
На мой взгляд, нужно его в корне сайта иметь. А то, придет "великий Яндекс", получит в ответ "404", хрен знает как его поймет и вообще выкинет сайт из индекса.
ИМХО
#19 7 апреля 2010 в 15:18
robots.txt не зависит от роутера и к нему не привязывается. назначение этого файла в установлении некоторых правил для поисковых пауков. если вы считаете что он вам не нужен — удалите его. сайт от этого работать хуже не станет и, по идее, индексироваться тоже. может пауки и заглядывают в запрещённые папки, но в выдаче ПС вы их точно увидеть не должны. если же считать что пауки всё-таки не ходят в запрещённые папки, то у них остаётся больше времени на сканирование разрешённых папок, а значит, страниц просканируется больше. попадут они в индекс или нет — это вопрос другой, но шансов всё же больше.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.

Похожие темы

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.