Сейчас вот такой роботс
Но все же это не помогает спастись от дублей, а еще:
запрос в гугле, а выдает вот это вместо реальной темы
Помогите избежать всех этих проблем, спасибо!
Но все же это не помогает спастись от дублей
я так и не понял о каких дублях идет речь...
он выдает вам третью страницу темы на форуме, но видимо сообщения были удалены и у вас там сейчас всего две страницы.а выдает вот это вместо реальной темы
вопрос: что вам не нравиться? и причем здесь вообще robots.txt?
ваш robots.txt не о чем, кроме как выдает потенциальному злоумышленнику дерево ваших папок))) можете смело его удалять.
никакой! забить/забыть/положить.Какой robots.txt посоветуете сделать?
лучше занимайтесь наполнением, оживлением и уникализацией сайта и привлечением посетителей.
robots.txt
site.ru› search/tag/kolbasa Нужно закрыть от индексации раздел поиска
site.ru› rss/comments/blog/feed.rss нужно закрыть от индексации rss каналы(все)
хочу закрыть чтобы в выдаче были адекватные странницы, а то она завалены подобными урлами...
всем заранее спасибо.