кто составлял robots.txt для 2ки ?

 
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 4305
вопрос такой, что будет если закрыть
board-cheap?
board-expensive?
board-topboard?
и оставить для индексации только board...как это повлияет на индексацию ?

раздел "search/" стоит закрывать или нет....

речь идет о дублировании контента...эти разделы дублируют контент или нет?
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3102
lezginka.ru:
и оставить для индексации только board...как это повлияет на индексацию ?
по моему мнению так и надо делать
Реклама
cms
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 230
Я вообще добавил так: Disallow: /*?*
Те ссылки где вопросительный знак не нужны для индексации. "Search/" стоит закрывать. Закрывать стоит все что дублируется.
Редактировалось: 2 раз (Последний: 18 мая 2016 в 13:55)
Посетитель
small user social cms
Медаль
Сообщений: 123
А может кто нибудь скинуть готовый файл robots? Хочу посмотреть и на примере создать свой, под свои типы контента...
Посетитель
no avatar
Медаль
Сообщений: 232
Вот роботс:
User-agent: *
Disallow: /auth*
Disallow: /tags/*
Disallow: /posts-*
Disallow: /groups/index/*
Disallow: /comments*
Disallow: /rss/*
Disallow: /activity*
Disallow: /users/*/comments
Disallow: /users/*
Allow: /users/*/content/posts
Host: site.com
Sitemap: http://site.com/sitemap.xml
Посетитель
small user social cms
Медаль
Сообщений: 123
Dimon, Большое спасибо!
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 230
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /backup*
Disallow: /components/
Disallow: /uploads
Disallow: /templates
Disallow: /go/
Disallow: /redirect/
Disallow: /wysiwyg/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /core/
Disallow: /edit*
Disallow: /admin/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comment*
Disallow: /*login
Disallow: /*registration
Disallow: /index*
Disallow: /*.php
Disallow: /users*
Disallow: /*?*
Disallow: */add*
Disallow: */register*
Disallow: /moderation
Disallow: /*refresh
Disallow: /*reply
Disallow: /*delete
Disallow: /*popular* (системное имя набора, у вас может быть другой)
Disallow: /*-new* (системное имя набора, у вас может быть другой)
Редактировалось: 2 раз (Последний: 18 мая 2016 в 22:56)
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3102
globator, бредятина, зачем показывать системные каталоги, и закрывать картинки от индексации facepalm
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 230
Потому что они тоже могут попасть в индекс, если есть не добросовестный конкурент.
А мизерный трафик с картинок мне вряд ли нужен, а вот надрать мне попу за авторских картинок в статьях вполне могут. Такие картинки и ищется через google images. Лучше не засветить glasses Кроме этого сами поискавики не любят не уникальные картинки и алгоритмы у них с каждым днем совершенствуется. В личных коммерческих блогах я всегда стараюсь сделать картинку уникальном хотя бы на 50%. А первое правила это зеркальное отражение картинки который брал с интернета.
У каждого сайта свои свойства. Это не значить что все должны использовать стандартный robots.txt
Редактировалось: 1 раз (Последний: 18 мая 2016 в 22:42)
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3102
globator, а эти зачем? как поисковик попадет в эти каталоги?
/admin
/edit*

А этого так вообще нету в двойке
/core/
/modules/
/languages/
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 230
Jestik:
globator, а эти зачем? как поисковик попадет в эти каталоги?
/admin
/edit*
Через ссылку добавленный на пример VK zlo

Jestik:
А этого так вообще нету в двойке
/core/
/modules/
/languages/
Да, я знаю. Потом даже не редактировал. Не мешают мне smile
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3102
globator:
Через ссылку добавленный на пример VK
не понял, эти ссылки доступны только если залогиниться.
И это...
/moderation

чесное слово лучше бы не выкладывали)

К тому же, роботс ВСЕГДА создается под конкретный сайт, универсального быть не может!
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 230
А что если я возьму ваш сайт и добавлю www.site.com/admin в какой нибудь сайт? В маем случае так и было.

Jestik:
К тому же, роботс ВСЕГДА создается под конкретный сайт, универсального быть не может!
Об этом я уже написал выше
Посетитель
no avatar
Медаль
Сообщений: 232
Robots от Globatora - чрезмерно насыщен всякой фигнёй. Не рекомендую его использовать. Предложенный мной вариант в посте 5 корректен и рекомендуется к использованию.
Посетитель
small user social cms
Медаль
Сообщений: 123
Dimon:

Robots от Globatora - чрезмерно насыщен всякой фигнёй. Не рекомендую его использовать. Предложенный мной вариант в посте 5 корректен и рекомендуется к использованию.

Именно его я сейчас и использую!) Еще раз спасибо! А у globatora сразу понял что что-то не так...)
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.