Файл robots.txt для InstantCMS 2.X

Правильный ли файл у меня?

 
Посетитель
small user social cms
Медаль
Сообщений: 889
Здравствуйте. Вот я создал файл robots.txt

Файл robots.txt для InstantCMS

Теперь мне нужно его загрузить в корень моего сайта?
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1902
Это robots.txt НЕ для InstantCMS второй ветки.

примерный robots.txt для двойки
@Aliaksandr:
Теперь мне нужно его загрузить в корень моего сайта?
Да.
Редактировалось: 1 раз (Последний: 2 октября 2018 в 12:54)
Реклама
cms
Посетитель
small user social cms
Медаль
Сообщений: 280
Нормальный robots.txt
Спойлер
Редактировалось: 2 раз (Последний: 2 октября 2018 в 13:21)
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4363
ХурумБурум:
Нормальный robots.txt
Нет. Это не нормальный robots.txt.

Я так понимаю, прочитать, что такое robots.txt и как, а главное зачем его делают, нет желания.

https://support.google.com/webmasters/answer/6062608?hl=ru
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
Медаль
Сообщений: 280
Fuze:
Нет. Это не нормальный robots.txt.
Ну это ваше мнение, так или иначе использую именно так на нескольких сайтов и проблем с дубликатами нет.
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1902
ХурумБурум:
Нормальный robots.txt
Не нормальный.

1. Регистрация в двойке по адресу /auth/register, а не /registration/
2. Символ звездочки в конце правила дописывается по-умолчанию. Чтобы отменить звездочку, пишется $.
3. Поисковики индексируют только то, что видят. Таким образом, нет смысла прописывать в robots.txt Disallow: /admin.
4. 8-10 строки - это откуда вообще?
5. Начинать надо было с этого:

Редактировалось: 2 раз (Последний: 2 октября 2018 в 13:45)
Посетитель
small user social cms
Медаль
Сообщений: 280
шэльдэ бердэ бельдэ:
Символ звездочки в конце правила дописывается по-умолчанию
По какому умолчанию? $ не все поисковики понимают этот знак, лучше использовать традиционно звездочку.

8-10 строки - это откуда вообще?
Так или иначе это дубликаты.
Сортировка фотографий в фотоальбоме и поиск по сайту.
Вот так будет лучше.
Спойлер
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1755
facepalm
Поиском по этому сайту на robots 100500 тем...

Вот сейчас напишу первый попавшийся, все начнут тупо ставить на сайт и удивляться почему НА ИХ САЙТАХ дубли...

Код PHP:
  1.  
  2. User-agent: *
  3. Disallow: /auth*
  4. Disallow: /tags/*
  5. Disallow: /posts-*
  6. Disallow: /groups/index/*
  7. Disallow: /comments*
  8. Disallow: /rss/*
  9. Disallow: /activity*
  10. Disallow: /users/*
  11. Disallow: /*?page=*
  12. Disallow: /complain/*
  13. Disallow: /redirect?url=
  14.  
  15. sitemap: https://site.ru/sitemap.xml
  16. Host: https://site.ru
  17.  
Не идеал конечно, но хотябы что то реальное,
Остальное дополнять или редактировать под свой сайт...

Или может кто еще что добавит или поправит, кто лучше 2-ку знает.
Хотя... надо знать не 2-ку, а конкретный сайт, какие компоненты, типы контента и т.д...

ХурумБурум:
Ну это ваше мнение, так или иначе использую именно так на нескольких сайтов и проблем с дубликатами нет.

Но это точно не из-за Вашего роботса...
Редактировалось: 2 раз (Последний: 2 октября 2018 в 15:53)
Посетитель
small user social cms
Медаль
Сообщений: 889
Fuze:
Я так понимаю, прочитать, что такое robots.txt и как, а главное зачем его делают, нет желания.

https://support.google.com/webmasters/answer/6062608?hl=ru
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html

Я прочитал что такое роботсх в документации здесь, несколько раз. Я понял для чего он нужен. Но в документации не написанно как его прописать правильно именно для второй ветки движка, на примерах. А в интернете этих роботксов тысячи и каждый говорит и пишет по разному, вот и хочу что бы было более менее хорошо а не файл который поисковик даже не увидит....
Посетитель
small user social cms
Медаль
Сообщений: 889
Rainbow:
Остальное дополнять или редактировать под свой сайт...
сайт про горд, городской портал, более новостная инфа - астобусы поезда справочники каталоги + новости по региону и области
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1755
@Aliaksandr:
Я понял для чего он нужен. Но в документации не написанно как его прописать правильно именно для второй ветки движка, на примерах.
@Aliaksandr:
сайт про горд, городской портал, более новостная инфа - астобусы поезда справочники каталоги + новости по региону и области

Даже не знаю что сказать...
При чем здесь про что сайт? Важно то как устроены УРЛ страницы на сайте.

За один присест роботс не сделать.

1. Надо на своем сайте определить, какие страницы и разделы робот не должен индексировать.
И прописать их в роботсе с помощью правил (по документации ссылки на которые в Яндексе, дал Fuze).

2. Надо смотреть какие страницы в панели вебмастера (яндекса например) поисковики считают дублем и добавлять
их по маске (правилам, по документации ссылки на которые в Яндексе, дал Fuze)

Сделал маску, написал в роботс, сидишь ждешь, (2-3 недели) наблюдаешь появляются или нет дубли подобные прописанному правилу.
Если нет, значит все нормально,

И т.д.
Это как составить свой ПРАВИЛЬНЫЙ роботс.

Но есть другой вариант.

Можно наобум собрать разные правила и надеяться, что методом тыка, закроешь большинство дублей.
Что и пытаются делать те кто просит "рабочий" файл роботс на 2-ку.

Но правильный вариант первый...
Больше не знаю как объяснить.

ЗЫ: Если не хочется ни в чем разбираться возьмите напишите в роботс то что я написал выше

Спойлер
И всё. Дальше будете исправлять по мере того, как до Вас будет доходить осознание того, что нужно именно Вашему сайту.
Вреда от этого не будет, а поправить потом никогда не поздно...
Редактировалось: 1 раз (Последний: 2 октября 2018 в 22:53)
Посетитель
small user social cms
Медаль
Сообщений: 889
Rainbow, Благодарю.
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.