robots.txt

 
Посетитель
small user social cms
Сообщений: 34
Товарищи, дорогие пример можете дать facepalm
На сайте только блоги, всё остальное отключено.
Посетитель
small user social cms
Сообщений: 38
Вот простенький:

Код PHP:
  1. User-agent: *
  2. Crawl-delay: 1
  3. Host: https://site.ru
  4. Disallow: /login/
  5. Disallow: /admin/
  6. Disallow: /registration/
  7. Disallow: /search/tag/
  8. Disallow: /redirect?url=*
  9. Sitemap: https://site.ru/sitemap.xml
Дальневосточная соц сеть
Реклама
cms
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 2618
Я пока придерживаюсь правила что в роботс должно быть 2 строчки.
Указание на хост и на сайтмап.

Всё, к чему нужно ограничить доступ, ограничить другими средствами - права доступа в системе.
Если наличие каких то каталогов, разделов не очевидно при поверхностном осмотре сайта - зачем подсказывать о их расположении через роботс?)
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2162
@alekgla:

Деректива хост больше не используется...
https://webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форума
Сообщений: 2869
Rainbow:

@alekgla:

Деректива хост больше не используется...
https://webmaster.yandex.ru/blog/301-y-redirekt-polnostyu-zamenil-direktivu-host
Более того, ее наличие в robots.txt является ошибкой для поисковиков.
Мощный хостинг на NVMе дисках за копейки! Дешевые домены здесь! Автоботы для соцсетей
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форума
Сообщений: 2869
Нил™:

Я пока придерживаюсь правила что в роботс должно быть 2 строчки.
Указание на хост и на сайтмап.
Уже не должны быть!
host упразднен
а sitemap для Инстанта с версии 2.11 подставляется автоматически.
Мощный хостинг на NVMе дисках за копейки! Дешевые домены здесь! Автоботы для соцсетей
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.