Robots.txt для 2.5.1

Оптимальный robots.txt. Ваши предложения.

 
Посетитель
no avatar
Сообщений: 23
Добрый день.
Начал детально разбирать данный движок, поэтому рискну предложить свой вариант. Хотелось бы услышать предложения.

User-agent: Yandex
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Host: www.domain.com

User-agent: *
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Sitemap: http://www.domain.com/sitemap.xml
Правильное SEO всегда актуально - smoget.ru
Посетитель
small user social cms
Медаль
Сообщений: 159
Подписался на тему, так как раз актуально. Ждем комментариев аксакалов iCms 2.
Реклама
cms
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3101
Fuzler, Много лишнего..можно даже сказать все..

http://instantcms.ru/blogs/instantdev/optimalnyi-robots-txt.html
http://instantcms.ru/blogs/instantdev/optimalnyi-robots-txt-chast-2.html
Посетитель
no avatar
Сообщений: 23
Олег с клещами:
Disallow: /
Как вижу, вы абсолютно не в теме.
В экстренном случае надо закрыть от индексации весь сайт? Это скорее к теме, когда обижен и хочешь наказать заказчика.
Они это кто? Если имеется ввиду поисковые роботы, то да знают гораздо больше нашего и постоянно обучаются. Однако, не думаю, что просто так стали бы обязательными правила в robots.txt
По вашему, сайт контентом и разметкой тоже не стоит заполнять. Яша с гуглом сами придумают smile
facepalm facepalm facepalm
Редактировалось: 2 раз (Последний: 22 июля 2016 в 09:28)
Правильное SEO всегда актуально - smoget.ru
Посетитель
small user social cms
Сообщений: 37
Fuzler:

Олег с клещами:
Disallow: /
Как вижу, вы абсолютно не в теме.
В экстренном случае надо закрыть от индексации весь сайт? Это скорее к теме, когда обижен и хочешь наказать заказчика.
Они это кто? Если имеется ввиду поисковые роботы, то да знают гораздо больше нашего и постоянно обучаются. Однако, не думаю, что просто так стали бы обязательными правила в robots.txt
По вашему, сайт контентом и разметкой тоже не стоит заполнять. Яша с гуглом сами придумают smile
facepalm facepalm facepalm

Полностью согласен
Посетитель
no avatar
Сообщений: 23
Олег с клещами:
Опять в точку!
Разумеется, если смотреть сайт, что в вашей подписи, то однозначно и оптимизировать не стоит:
"<title>Студия веб-дизайна «PAL» | сео | сайты | маркетинг | видеоролики</title>
<meta name="keywords" content="websites, seo, marketing, disigne" />"
Кстати, поисковые системы, думаю что смогут поправить и написание, например disigne ( от слова "дизигн" видимо).
Без обид, но писать стоит по делу. Флуд, насколько понимаю, в другой ветке.
Правильное SEO всегда актуально - smoget.ru
Посетитель
small user social cms
Медаль
Сообщений: 304
Немного официальной информации от Яндекса .
Изменения в обработке robots.txt
10 июня, 14:27

Поисковые роботы Яндекса перестают учитывать пустую директиву Allow как запрещающий сигнал в robots.txt.

Часто индексирующий робот не может получить доступ к сайтам из-за установленного по ошибке в robots.txt запрета на посещение всех страниц. Часть этих ошибок связана с использованием пустой директивы Allow:

User-agent: *
Allow:

Ранее робот интерпретировал это правило как полностью запрещающее, что делало сайт недоступным для посещения роботов, и такие сайты не могли показываться в результатах поиска. Когда же владельцы сайтов намеренно хотели запретить посещение сайтов, они обычно четко прописывали команду запрета.

Поэтому мы решили изменить обработку роботом такой директивы - сейчас она игнорируется при обнаружении в robots.txt. Если на вашем сайте намеренно используются пустое правило Allow в robots.txt, то для того, чтобы робот корректно учитывал запрет, правило нужно изменить на директиву Disallow:

Disallow: *

Или

Disallow: /

. Рекомендуем обратить особое внимание на пустые значения для Allow - если нужно запретить индексирование, то их быть не должно.
Посетитель
no avatar
Сообщений: 23
Игорь ФИН:
Disallow: *

Или

Disallow: /
Все верно. Эти директивы закрывают весь сайт smile
Правильное SEO всегда актуально - smoget.ru
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4568
Fuzler:
поэтому рискну предложить свой вариант
Опасно так рисковать, ведь начнут верить joke Написано наобум, полностью не разбираясь в вопросе. 95% директорий (url-ов), которые описаны в первом сообщении, не существуют, либо для гостей гарантировано отдают 404.
Jestik:
Много лишнего..можно даже сказать все..
В точку.

Диктую большими буквами: НЕТ оптимального robots.txt, подходящего для всех. Поэтому, если ТС хотел блеснуть знаниями, то, увы, попал в просак.
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 2606
Bormed:
Полностью согласен
Согласен, но не полностью.
Посетитель
no avatar
Сообщений: 23
Fuze:
Диктую большими буквами: НЕТ оптимального robots.txt, подходящего для всех. Поэтому, если ТС хотел блеснуть знаниями, то, увы, попал в просак.
Отписка что "Нет оптимального" приводит в больший ступор т.к. нет вообще никакой конкретики. Если знаете, то почему не написать т.к. именно тут в топике и спрашиваю про оптимальное соотношение или как вам проще - стандартное решение для robots.txt
Блистать не собирался, лишь пытаюсь понять как и что. CMS на первый взгляд хорошая и платных компонентов куплено ни на одну сотню, не говоря про мои попытки найти адекватного исполнителя, который смог бы натянут дизайн и функционал. Вложено порядка 3к, однако воз и поныне там... Дело все в том, что на словах многие все знают и умеют а как касается, то тишина. Вот и тут с банально простым файлом именно у вас происходят отписки. Я же не прошу меня учить продвижению, т.к. вряд ли вы компетентны и знаете больше меня. Однако обсудить именно конкретный вопрос, как оказывается так же не в состоянии.
Правильное SEO всегда актуально - smoget.ru
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2077
Fuzler:
Нет оптимального
Всё верно, оптимального быть не может. У каждого свои потребности. Я, например, закрыл от индексации всё, что связано с юзерами и группами, а кто-то эти разделы продвигает и рекламирует. На моем сайте парсер работает, объявления парсит. Я и раздел объявлений закрыл в robots.txt, хотя у многих это единственный тип контента. Где-то на форуме здесь была тема о пользе и вреде тегов - почитайте, там тоже половина за теги, а половина против. Каждому своё, у каждого свой подход. Главное - укажите главное зеркало и карту сайта. А остальное - на Ваше усмотрение. ТОЛЬКО Ваш robots.txt будет оптимальным ТОЛЬКО для Вас.

Самый простой вариант:
Спойлер
Редактировалось: 3 раз (Последний: 22 июля 2016 в 15:33)
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4568
Fuzler:
Отписка что "Нет оптимального" приводит в больший ступор т.к. нет вообще никакой конкретики.
Почему же нет конкретики? Мой ответ был максимально конкретный. Ну и обижаться не стоит, вы, как никто другой, должны знать этот вопрос, судя по портфолио и промо сайту. Конечно же у меня не было желания вас как-то задеть, но меня всегда вводят в ступор подобные вопросы от SEO специалистов. Да и слово "отписка" звучит весьма странно от вас. Вам дали пару хороших ссылок, внизу темы есть похожие темы, да и в целом, вопрос с robots для InstantCMS на этом сайте был освещен очень много раз.

Fuzler, на мой взгляд ответ Дмитрия Кайдаш самый правильный и максимально ёмкий.
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
no avatar
Сообщений: 23
Учитывая что только вчера начал проявлять активность на форуме, не успел детально ознакомиться с топиками. Да. В данном случае здесь скорее индивидуальное решение для каждого проекта. Надеюсь, что мой долгострой таки выйдет в свет, тогда буду рад рассказать что и как планируется по нему осуществлять.
Всем спасибо за ответы.
Правильное SEO всегда актуально - smoget.ru
В начало страницы
Предыдущая темаСледующая тема Перейти на форум: