На сайте только блоги, всё остальное отключено.
#1
28 октября 2020 в 11:02
Товарищи, дорогие пример можете дать
На сайте только блоги, всё остальное отключено.
На сайте только блоги, всё остальное отключено.
#2
28 октября 2020 в 15:50
Вот простенький:
#3
28 октября 2020 в 23:40
Я пока придерживаюсь правила что в роботс должно быть 2 строчки.
Указание на хост и на сайтмап.
Всё, к чему нужно ограничить доступ, ограничить другими средствами — права доступа в системе.
Если наличие каких то каталогов, разделов не очевидно при поверхностном осмотре сайта — зачем подсказывать о их расположении через роботс?)
Указание на хост и на сайтмап.
Всё, к чему нужно ограничить доступ, ограничить другими средствами — права доступа в системе.
Если наличие каких то каталогов, разделов не очевидно при поверхностном осмотре сайта — зачем подсказывать о их расположении через роботс?)
Сегодня в 11:50
#4
29 октября 2020 в 13:29
Host: site.ru
Деректива хост больше не используется...
webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
#5
29 октября 2020 в 13:36
Более того, ее наличие в robots.txt является ошибкой для поисковиков.
Host: site.ru
Деректива хост больше не используется...
webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
#6
29 октября 2020 в 13:45
Уже не должны быть!
Я пока придерживаюсь правила что в роботс должно быть 2 строчки.
Указание на хост и на сайтмап.
host упразднен
а sitemap для Инстанта с версии 2.11 подставляется автоматически.
Директива Crawl-delay — тоже уже устарела.
«С 22 февраля 2018 года Яндекс перестал учитывать директиву Crawl-delay.
Чтобы задать скорость, с которой роботы будут загружать страницы сайта, используйте Скорость обхода сайта в Яндекс.Вебмастере.»