Robots.txt для 2.5.1

Добрый день.
Начал детально разбирать данный движок, поэтому рискну предложить свой вариант. Хотелось бы услышать предложения.

User-agent: Yandex
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Host: www.domain.com

User-agent: *
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Sitemap: www.domain.com/sitemap.xml

Подписался на тему, так как раз актуально. Ждем комментариев аксакалов iCms 2.

Fuzler, Много лишнего… можно даже сказать все..

instantcms.ru/blogs/instantdev/optimalnyi-robots-txt.html
instantcms.ru/blogs/instantdev/optimalnyi-robots-txt-chast-2.html

Disallow: /

Как вижу, вы абсолютно не в теме.
В экстренном случае надо закрыть от индексации весь сайт? Это скорее к теме, когда обижен и хочешь наказать заказчика.
Они это кто? Если имеется ввиду поисковые роботы, то да знают гораздо больше нашего и постоянно обучаются. Однако, не думаю, что просто так стали бы обязательными правила в robots.txt
По вашему, сайт контентом и разметкой тоже не стоит заполнять. Яша с гуглом сами придумают 😊

Disallow: /

Как вижу, вы абсолютно не в теме.
В экстренном случае надо закрыть от индексации весь сайт? Это скорее к теме, когда обижен и хочешь наказать заказчика.
Они это кто? Если имеется ввиду поисковые роботы, то да знают гораздо больше нашего и постоянно обучаются. Однако, не думаю, что просто так стали бы обязательными правила в robots.txt
По вашему, сайт контентом и разметкой тоже не стоит заполнять. Яша с гуглом сами придумают 😊

Полностью согласен

Опять в точку!

Разумеется, если смотреть сайт, что в вашей подписи, то однозначно и оптимизировать не стоит:
"<title>Студия веб-дизайна «PAL» | сео | сайты | маркетинг | видеоролики</title>
<meta name="keywords" content="websites, seo, marketing, disigne" />"
Кстати, поисковые системы, думаю что смогут поправить и написание, например disigne ( от слова "дизигн" видимо).
Без обид, но писать стоит по делу. Флуд, насколько понимаю, в другой ветке.

Немного официальной информации от Яндекса .
Изменения в обработке robots.txt
10 июня, 14:27

Поисковые роботы Яндекса перестают учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.

Часто индексирующий робот не может получить доступ к сайтам из-за установленного по ошибке в robots.txt запрета на посещение всех страниц. Часть этих ошибок связана с использованием пустой директивы Allow:

User-agent: *
Allow:

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Когда же владельцы сайтов намеренно хотели запретить посещение сайтов, они обычно четко прописывали команду запрета.

Поэтому мы решили изменить обработку роботом такой директивы — сейчас она игнорируется при обнаружении в robots.txt. Если на вашем сайте намеренно используются пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:

Disallow: *

Или

Disallow: /

. Рекомендуем обратить особое внимание на пустые значения для Allow — если нужно запретить индексирование, то их быть не должно.

Disallow: *

Или

Disallow: /

Все верно. Эти директивы закрывают весь сайт 😊

поэтому рискну предложить свой вариант

Опасно так рисковать, ведь начнут верить Написано наобум, полностью не разбираясь в вопросе. 95% директорий (url-ов), которые описаны в первом сообщении, не существуют, либо для гостей гарантировано отдают 404.

Много лишнего… можно даже сказать все..

В точку.

Диктую большими буквами: НЕТ оптимального robots.txt, подходящего для всех. Поэтому, если ТС хотел блеснуть знаниями, то, увы, попал в просак.

Полностью согласен

Согласен, но не полностью.

Диктую большими буквами: НЕТ оптимального robots.txt, подходящего для всех. Поэтому, если ТС хотел блеснуть знаниями, то, увы, попал в просак.

Отписка что "Нет оптимального" приводит в больший ступор т.к. нет вообще никакой конкретики. Если знаете, то почему не написать т.к. именно тут в топике и спрашиваю про оптимальное соотношение или как вам проще — стандартное решение для robots.txt
Блистать не собирался, лишь пытаюсь понять как и что. CMS на первый взгляд хорошая и платных компонентов куплено ни на одну сотню, не говоря про мои попытки найти адекватного исполнителя, который смог бы натянут дизайн и функционал. Вложено порядка 3к, однако воз и поныне там… Дело все в том, что на словах многие все знают и умеют а как касается, то тишина. Вот и тут с банально простым файлом именно у вас происходят отписки. Я же не прошу меня учить продвижению, т.к. вряд ли вы компетентны и знаете больше меня. Однако обсудить именно конкретный вопрос, как оказывается так же не в состоянии.

Нет оптимального

Всё верно, оптимального быть не может. У каждого свои потребности. Я, например, закрыл от индексации всё, что связано с юзерами и группами, а кто-то эти разделы продвигает и рекламирует. На моем сайте парсер работает, объявления парсит. Я и раздел объявлений закрыл в robots.txt, хотя у многих это единственный тип контента. Где-то на форуме здесь была тема о пользе и вреде тегов — почитайте, там тоже половина за теги, а половина против. Каждому своё, у каждого свой подход. Главное — укажите главное зеркало и карту сайта. А остальное — на Ваше усмотрение. ТОЛЬКО Ваш robots.txt будет оптимальным ТОЛЬКО для Вас.

Самый простой вариант:

Отписка что "Нет оптимального" приводит в больший ступор т.к. нет вообще никакой конкретики.

Почему же нет конкретики? Мой ответ был максимально конкретный. Ну и обижаться не стоит, вы, как никто другой, должны знать этот вопрос, судя по портфолио и промо сайту. Конечно же у меня не было желания вас как-то задеть, но меня всегда вводят в ступор подобные вопросы от SEO специалистов. Да и слово "отписка" звучит весьма странно от вас. Вам дали пару хороших ссылок, внизу темы есть похожие темы, да и в целом, вопрос с robots для InstantCMS на этом сайте был освещен очень много раз.

Fuzler, на мой взгляд ответ Дмитрия Кайдаш самый правильный и максимально ёмкий.

Учитывая что только вчера начал проявлять активность на форуме, не успел детально ознакомиться с топиками. Да. В данном случае здесь скорее индивидуальное решение для каждого проекта. Надеюсь, что мой долгострой таки выйдет в свет, тогда буду рад рассказать что и как планируется по нему осуществлять.
Всем спасибо за ответы.