robots.txt для InstantCMS 2

ЕСТЬ РЕШЕНИЕ ЗАКРЫТО

Просьба о помощи по файлу robots.txt

#1 15 мая 2014 в 15:07
Люди добрые, поделитесь правильным robots.txt для двойки. Боюсь ошибиться.
#2 15 мая 2014 в 15:27
Click, под каждый отдельный проект, делается свой файл — если делать правильно, то не нужно копировать — у вас ведь могут быть свои задачи либо нюансы… Если вам ничего не нужно запрещать и нет зеркал сайта, то просто не создавайте его)
Если что то нужно запретить, то просто пропишите это в файле — правила запрета не зависят от движка.
#3 15 мая 2014 в 15:32
А поделитесь для нового, чистого сайта, а там уже подстроимся.
#4 15 мая 2014 в 15:34


Click, под каждый отдельный проект, делается свой файл — если делать правильно, то не нужно копировать — у вас ведь могут быть свои задачи либо нюансы… Если вам ничего не нужно запрещать и нет зеркал сайта, то просто не создавайте его)
Если что то нужно запретить, то просто пропишите это в файле — правила запрета не зависят от движка.

reload

Это понятно. Просто хотел увидеть примеры. И как, например, запрещается к индексации личная переписка пользователей? Или это предусмотрено уже в движке?
#5 15 мая 2014 в 15:34
Что такое файл robots.txt и как его использовать

И как, например, запрещается к индексации личная переписка пользователей?

Click
ее "не реально" проиндексировать!)
Индексировать можно то что видит любой неавторизированный пользователь! а переписку видят только авторизированные и только свою!)

ps: всегда индексируется все что видно и что не запрещено! Откройте сайт как гость (не авторизируйтесь) и посмотрите что вы видите и что из этого хотите запретить… Правила запрета см. в help.yandex
#6 15 мая 2014 в 15:44

ее "не реально" проиндексировать!)


Точно. Что-то я переволновался… Спасибо за ответ.
Если примеров роботса не последует, то тогда завтра закрою тему smile
#8 15 мая 2014 в 15:49
Я для InstantCMS 2 интересуюсь. С учётом новых названий папок в дистрибутиве.
#9 15 мая 2014 в 16:01

Я для InstantCMS 2 интересуюсь. С учётом новых названий папок в дистрибутиве.

Click
в таком случае могу пожелать только удачи) изучайте папки)
а еще лучше изучите Что такое файл robots.txt и как его использовать

ps: роботов папки в дистрибутиве не интересуют — их интересуют ссылки (страницы), хотя о чем это я, нужен же пример именно для двойки)
#10 16 мая 2014 в 11:12
Проблема решена. Спасибо.

Похожие темы

Вопрос по robots.txt

SEO & PR Создана 4 года назад 7 сообщений

robots.txt

SEO & PR Создана 4 года назад 7 сообщений

[ЗАКРЫТО] Не создаётся sitemap.xml

Компоненты Создана 2 года назад 1 сообщение

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.