Файл robots.txt для InstantCMS

Здравствуйте. Вот я создал файл robots.txt



Теперь мне нужно его загрузить в корень моего сайта?

Это robots.txt НЕ для InstantCMS второй ветки.

Теперь мне нужно его загрузить в корень моего сайта?

Да.

Нормальный robots.txt

Нормальный robots.txt

Нет. Это не нормальный robots.txt.

Я так понимаю, прочитать, что такое robots.txt и как, а главное зачем его делают, нет желания.

support.google.com/webmasters/answer/6062608?hl=ru
yandex.ru/support/webmaster/controlling-robot/robots-txt.html

Нет. Это не нормальный robots.txt.

Ну это ваше мнение, так или иначе использую именно так на нескольких сайтов и проблем с дубликатами нет.

Нормальный robots.txt

Не нормальный.

1. Регистрация в двойке по адресу /auth/register, а не /registration/
2. Символ звездочки в конце правила дописывается по-умолчанию. Чтобы отменить звездочку, пишется $.
3. Поисковики индексируют только то, что видят. Таким образом, нет смысла прописывать в robots.txt Disallow: /admin.
4. 8-10 строки — это откуда вообще?
5. Начинать надо было с этого:

support.google.com/webmasters/answer/6062608?hl=ru
yandex.ru/support/webmaster/controlling-robot/robots-txt.html

Символ звездочки в конце правила дописывается по-умолчанию

По какому умолчанию? $ не все поисковики понимают этот знак, лучше использовать традиционно звездочку.

8-10 строки — это откуда вообще?
Так или иначе это дубликаты.
Сортировка фотографий в фотоальбоме и поиск по сайту.
Вот так будет лучше.

Поиском по этому сайту на robots 100500 тем…

Вот сейчас напишу первый попавшийся, все начнут тупо ставить на сайт и удивляться почему НА ИХ САЙТАХ дубли...

Не идеал конечно, но хотябы что то реальное,
Остальное дополнять или редактировать под свой сайт...

Или может кто еще что добавит или поправит, кто лучше 2-ку знает.
Хотя… надо знать не 2-ку, а конкретный сайт, какие компоненты, типы контента и т.д...

Ну это ваше мнение, так или иначе использую именно так на нескольких сайтов и проблем с дубликатами нет.

Но это точно не из-за Вашего роботса…

Я так понимаю, прочитать, что такое robots.txt и как, а главное зачем его делают, нет желания.

support.google.com/webmasters/answer/6062608?hl=ru
yandex.ru/support/webmaster/controlling-robot/robots-txt.html

Я прочитал что такое роботсх в документации здесь, несколько раз. Я понял для чего он нужен. Но в документации не написанно как его прописать правильно именно для второй ветки движка, на примерах. А в интернете этих роботксов тысячи и каждый говорит и пишет по разному, вот и хочу что бы было более менее хорошо а не файл который поисковик даже не увидит…

Остальное дополнять или редактировать под свой сайт...

сайт про горд, городской портал, более новостная инфа — астобусы поезда справочники каталоги + новости по региону и области

Я понял для чего он нужен. Но в документации не написанно как его прописать правильно именно для второй ветки движка, на примерах.

сайт про горд, городской портал, более новостная инфа — астобусы поезда справочники каталоги + новости по региону и области

Даже не знаю что сказать...
При чем здесь про что сайт? Важно то как устроены УРЛ страницы на сайте.

За один присест роботс не сделать.

1. Надо на своем сайте определить, какие страницы и разделы робот не должен индексировать.
И прописать их в роботсе с помощью правил (по документации ссылки на которые в Яндексе, дал Fuze).

2. Надо смотреть какие страницы в панели вебмастера (яндекса например) поисковики считают дублем и добавлять
их по маске (правилам, по документации ссылки на которые в Яндексе, дал Fuze)

Сделал маску, написал в роботс, сидишь ждешь, (2-3 недели) наблюдаешь появляются или нет дубли подобные прописанному правилу.
Если нет, значит все нормально,

И т.д.
Это как составить свой ПРАВИЛЬНЫЙ роботс.

Но есть другой вариант.

Можно наобум собрать разные правила и надеяться, что методом тыка, закроешь большинство дублей.
Что и пытаются делать те кто просит "рабочий" файл роботс на 2-ку.

Но правильный вариант первый...
Больше не знаю как объяснить.

ЗЫ: Если не хочется ни в чем разбираться возьмите напишите в роботс то что я написал выше

И всё. Дальше будете исправлять по мере того, как до Вас будет доходить осознание того, что нужно именно Вашему сайту.
Вреда от этого не будет, а поправить потом никогда не поздно…

Rainbow, Благодарю.