User-Agent: *
Allow: /
Disallow: /*.php
Disallow: /0
Disallow: *?*
Disallow: /search/
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /forum/0
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /actions
Disallow: /templates
Disallow: /subscribe
Disallow: */subscribe/
Disallow: /blogs/0
Disallow: */blogs/*/cat-*
Disallow: /content/0
Disallow: /photos/0
Disallow: /photos/top.html
Disallow: /photos/latest.html
Disallow: /photos/100$
Disallow: /login
Disallow: /logout*
Disallow: /*/top*
Disallow: /*?iframe*
Disallow: /index.php
Disallow: /video/channel
User-Agent: Googlebot
Allow: /
Disallow: /*.php
Disallow: /0
Disallow: *?*
Disallow: /search/
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /forum/0
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /actions
Disallow: /templates
Disallow: /subscribe
Disallow: */subscribe/
Disallow: /blogs/0
Disallow: */blogs/*/cat-*
Disallow: /content/0
Disallow: /photos/0
Disallow: /photos/top.html
Disallow: /photos/latest.html
Disallow: /photos/100$
Disallow: /login
Disallow: /logout*
Disallow: /*/top*
Disallow: /*?iframe*
Disallow: /index.php
Disallow: /video/channel
User-Agent: Yandex
Allow: /
Disallow: /*.php
Disallow: /0
Disallow: *?*
Disallow: /search/
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /forum/0
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /actions
Disallow: /templates
Disallow: /subscribe
Disallow: */subscribe/
Disallow: /blogs/0
Disallow: */blogs/*/cat-*
Disallow: /content/0
Disallow: /photos/0
Disallow: /photos/top.html
Disallow: /photos/latest.html
Disallow: /photos/100$
Disallow: /login
Disallow: /logout*
Disallow: /*/top*
Disallow: /*?iframe*
Disallow: /index.php
Disallow: /video/channel
User-agent: Twitterbot
Allow: /
User-Agent:
Allow: /
Sitemap: сайт.ru/sitemap.xml
Crawl-delay: 5
Host: сайт.ru
Что тут правильно и что не правильно?
#1
4 марта 2015 в 13:03
#2
28 апреля 2015 в 01:40
Добавить бы
Disallow: /maps/compare/*
Disallow: /maps/abuse*
Disallow: /maps/embed-code/*
Disallow: /search/tag
Disallow: /comments
Disallow: /rss/
Disallow: /content
А вот эти правила я бы убрал
Disallow: /index.php
Disallow: /video/channel
Disallow: /maps/compare/*
Disallow: /maps/abuse*
Disallow: /maps/embed-code/*
Disallow: /search/tag
Disallow: /comments
Disallow: /rss/
Disallow: /content
А вот эти правила я бы убрал
Disallow: /index.php
Disallow: /video/channel
#3
28 апреля 2015 в 12:05
Зачем дублировать?User-Agent: * и есть для всех ПС.
Сегодня в 19:38
#4
28 апреля 2015 в 12:15
Зачем дублировать? User-Agent: * и есть для всех ПС.
яша собственник, он любит чтобы ему особое приглашение делали :)
Это вам так кажется, всегда использовал толькоUser-Agent: *, и все отлично.яша собственник, он любит чтобы ему особое приглашение делали :)
И роботсы читают роботы, им фиолетово на особое приглашение)
#6
28 апреля 2015 в 18:06
Еще вот это правило лишнее,надо убрать
Disallow: /templates
Если вы запрещаете шаблон для индексации, то гугл не понимает что ваш сайт адаптирован под мобильные устройства.
Ему тогда не отдаются скрипты и стили и он думает, что у вас сайт совсем без стилей и ссылки друг на друге.
Только что попробовал на адаптивном сайте это правило, сразу стал неадаптивным:)
Disallow: /templates
Если вы запрещаете шаблон для индексации, то гугл не понимает что ваш сайт адаптирован под мобильные устройства.
Ему тогда не отдаются скрипты и стили и он думает, что у вас сайт совсем без стилей и ссылки друг на друге.
Только что попробовал на адаптивном сайте это правило, сразу стал неадаптивным:)
#7
28 апреля 2015 в 19:04
видите сколько нюансов
#8
23 февраля 2016 в 17:46
У меня сейчас так:
Disallow: /admin
Disallow: /core
Disallow: /install
Disallow: /registration
Disallow: /login
Disallow: /cache
Disallow: /includes
Disallow: /go
Подскажите, что лишнее, а что следует добавить
Disallow: /admin
Disallow: /core
Disallow: /install
Disallow: /registration
Disallow: /login
Disallow: /cache
Disallow: /includes
Disallow: /go
Подскажите, что лишнее, а что следует добавить
#9
23 февраля 2016 в 18:43
Disallow: /install
/install у вас есть эта папка?
#10
23 февраля 2016 в 19:24
Нет такой папки
#11
23 февраля 2016 в 19:35
al955, так а зчем ее тогда в роботсе укзаывать?
так же как и эти:
Disallow: /admin
Disallow: /core
Disallow: /install
Disallow: /cache
Disallow: /includes
на них что где то сссылки есть?
так же как и эти:
Disallow: /admin
Disallow: /core
Disallow: /install
Disallow: /cache
Disallow: /includes
на них что где то сссылки есть?