кто составлял robots.txt для 2ки ?

вопрос такой, что будет если закрыть

board-cheap?
board-expensive?
board-topboard?

и оставить для индексации только board… как это повлияет на индексацию ?

раздел "search/" стоит закрывать или нет....

речь идет о дублировании контента… эти разделы дублируют контент или нет?

и оставить для индексации только board… как это повлияет на индексацию ?

по моему мнению так и надо делать

Я вообще добавил так: Disallow: /*?*
Те ссылки где вопросительный знак не нужны для индексации. "Search/" стоит закрывать. Закрывать стоит все что дублируется.

А может кто нибудь скинуть готовый файл robots? Хочу посмотреть и на примере создать свой, под свои типы контента…

Вот роботс:
User-agent: *
Disallow: /auth*
Disallow: /tags/*
Disallow: /posts-*
Disallow: /groups/index/*
Disallow: /comments*
Disallow: /rss/*
Disallow: /activity*
Disallow: /users/*/comments
Disallow: /users/*
Allow: /users/*/content/posts
Host: site.com
Sitemap: site.com/sitemap.xml

Dimon, Большое спасибо!

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /backup*
Disallow: /components/
Disallow: /uploads
Disallow: /templates
Disallow: /go/
Disallow: /redirect/
Disallow: /wysiwyg/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /core/
Disallow: /edit*
Disallow: /admin/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comment*
Disallow: /*login
Disallow: /*registration
Disallow: /index*
Disallow: /*.php
Disallow: /users*
Disallow: /*?*
Disallow: */add*
Disallow: */register*
Disallow: /moderation
Disallow: /*refresh
Disallow: /*reply
Disallow: /*delete
Disallow: /*popular* (системное имя набора, у вас может быть другой)
Disallow: /*-new* (системное имя набора, у вас может быть другой)

globator, бредятина, зачем показывать системные каталоги, и закрывать картинки от индексации

Потому что они тоже могут попасть в индекс, если есть не добросовестный конкурент.
А мизерный трафик с картинок мне вряд ли нужен, а вот надрать мне попу за авторских картинок в статьях вполне могут. Такие картинки и ищется через google images. Лучше не засветить Кроме этого сами поискавики не любят не уникальные картинки и алгоритмы у них с каждым днем совершенствуется. В личных коммерческих блогах я всегда стараюсь сделать картинку уникальном хотя бы на 50%. А первое правила это зеркальное отражение картинки который брал с интернета.
У каждого сайта свои свойства. Это не значить что все должны использовать стандартный robots.txt

globator, а эти зачем? как поисковик попадет в эти каталоги?
/admin
/edit*

А этого так вообще нету в двойке
/core/
/modules/
/languages/

globator, а эти зачем? как поисковик попадет в эти каталоги?
/admin
/edit*

Через ссылку добавленный на пример VK

А этого так вообще нету в двойке
/core/
/modules/
/languages/

Да, я знаю. Потом даже не редактировал. Не мешают мне

Через ссылку добавленный на пример VK

не понял, эти ссылки доступны только если залогиниться.
И это...
/moderation

чесное слово лучше бы не выкладывали)

К тому же, роботс ВСЕГДА создается под конкретный сайт, универсального быть не может!

А что если я возьму ваш сайт и добавлю www.site.com/admin в какой нибудь сайт? В маем случае так и было.

К тому же, роботс ВСЕГДА создается под конкретный сайт, универсального быть не может!

Об этом я уже написал выше

Robots от Globatora — чрезмерно насыщен всякой фигнёй. Не рекомендую его использовать. Предложенный мной вариант в посте 5 корректен и рекомендуется к использованию.

Robots от Globatora — чрезмерно насыщен всякой фигнёй. Не рекомендую его использовать. Предложенный мной вариант в посте 5 корректен и рекомендуется к использованию.

Именно его я сейчас и использую!) Еще раз спасибо! А у globatora сразу понял что что-то не так...)