Составление robots.txt

#1 3 января 2011 в 20:01
Здравствуйте! Прошу вас скинуть или помочь составить нормальный robots.txt для адекватной выдачи и вообще поисковой оптимизации.
Сейчас вот такой роботс

Но все же это не помогает спастись от дублей, а еще:
запрос в гугле, а выдает вот это вместо реальной темы

Помогите избежать всех этих проблем, спасибо!
#2 3 января 2011 в 20:32

Но все же это не помогает спастись от дублей

daze77

я так и не понял о каких дублях идет речь...

а выдает вот это вместо реальной темы

daze77
он выдает вам третью страницу темы на форуме, но видимо сообщения были удалены и у вас там сейчас всего две страницы.

вопрос: что вам не нравиться? и причем здесь вообще robots.txt?
ваш robots.txt не о чем, кроме как выдает потенциальному злоумышленнику дерево ваших папок))) можете смело его удалять.
#3 3 января 2011 в 20:42
Я все понял😊Какой robots.txt посоветуете сделать?
#4 3 января 2011 в 22:05

Какой robots.txt посоветуете сделать?

daze77
никакой! забить/забыть/положить.
лучше занимайтесь наполнением, оживлением и уникализацией сайта и привлечением посетителей.
#5 3 января 2011 в 23:00
Понял, спасибо!
#6 18 февраля 2011 в 09:53
подскажите что написать в робосте чтобы закрыть от индексации следующие директории?
robots.txt
site.ru› search/tag/kolbasa Нужно закрыть от индексации раздел поиска
site.ru› rss/comments/blog/feed.rss нужно закрыть от индексации rss каналы(все)
хочу закрыть чтобы в выдаче были адекватные странницы, а то она завалены подобными урлами...
всем заранее спасибо.
#7 18 февраля 2011 в 10:33
Зарегайте сайт в яндекс вебмастере, там есть очень удобная и понятная тулза для проверки, составления и тестирования прямо на ходу файлов robots.txt
Вот тут правила составления.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.