Составление robots.txt

 
Посетитель
small user social cms
Медаль
Сообщений: 225
Здравствуйте! Прошу вас скинуть или помочь составить нормальный robots.txt для адекватной выдачи и вообще поисковой оптимизации.
Сейчас вот такой роботс

Но все же это не помогает спастись от дублей, а еще:
запрос в гугле, а выдает вот это вместо реальной темы

Помогите избежать всех этих проблем, спасибо!
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4380
daze77:
Но все же это не помогает спастись от дублей

я так и не понял о каких дублях идет речь...

daze77:
а выдает вот это вместо реальной темы
он выдает вам третью страницу темы на форуме, но видимо сообщения были удалены и у вас там сейчас всего две страницы.

вопрос: что вам не нравиться? и причем здесь вообще robots.txt?
ваш robots.txt не о чем, кроме как выдает потенциальному злоумышленнику дерево ваших папок))) можете смело его удалять.
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Реклама
cms
Посетитель
small user social cms
Медаль
Сообщений: 225
Я все понял smile Какой robots.txt посоветуете сделать?
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4380
daze77:
Какой robots.txt посоветуете сделать?
никакой! забить/забыть/положить.
лучше занимайтесь наполнением, оживлением и уникализацией сайта и привлечением посетителей.
Редактировалось: 1 раз (Последний: 3 января 2011 в 22:05)
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
Медаль
Сообщений: 225
Понял, спасибо!
Посетитель
small user social cms
Сообщений: 43
подскажите что написать в робосте чтобы закрыть от индексации следующие директории?
robots.txt
site.ru› search/tag/kolbasa Нужно закрыть от индексации раздел поиска
site.ru› rss/comments/blog/feed.rss нужно закрыть от индексации rss каналы(все)
хочу закрыть чтобы в выдаче были адекватные странницы, а то она завалены подобными урлами...
всем заранее спасибо.
Посетитель
small user social cms
Медаль
Сообщений: 373
Зарегайте сайт в яндекс вебмастере, там есть очень удобная и понятная тулза для проверки, составления и тестирования прямо на ходу файлов robots.txt
Вот тут правила составления.
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.