На сайте только блоги, всё остальное отключено.
User-agent: * Crawl-delay: 1 Host: https://site.ru Disallow: /login/ Disallow: /admin/ Disallow: /registration/ Disallow: /search/tag/ Disallow: /redirect?url=* Sitemap: https://site.ru/sitemap.xml
Указание на хост и на сайтмап.
Всё, к чему нужно ограничить доступ, ограничить другими средствами — права доступа в системе.
Если наличие каких то каталогов, разделов не очевидно при поверхностном осмотре сайта — зачем подсказывать о их расположении через роботс?)
Host: site.ru
Деректива хост больше не используется...
webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
Более того, ее наличие в robots.txt является ошибкой для поисковиков.
Host: site.ru
Деректива хост больше не используется...
webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
Уже не должны быть!
Я пока придерживаюсь правила что в роботс должно быть 2 строчки.
Указание на хост и на сайтмап.
host упразднен
а sitemap для Инстанта с версии 2.11 подставляется автоматически.
Директива Crawl-delay — тоже уже устарела.
«С 22 февраля 2018 года Яндекс перестал учитывать директиву Crawl-delay.
Чтобы задать скорость, с которой роботы будут загружать страницы сайта, используйте Скорость обхода сайта в Яндекс.Вебмастере.»