роботс инстанта разборки

User-Agent: *
Allow: /
Disallow: /*.php
Disallow: /0
Disallow: *?*
Disallow: /search/
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /forum/0
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /actions
Disallow: /templates
Disallow: /subscribe
Disallow: */subscribe/
Disallow: /blogs/0
Disallow: */blogs/*/cat-*
Disallow: /content/0
Disallow: /photos/0
Disallow: /photos/top.html
Disallow: /photos/latest.html
Disallow: /photos/100$
Disallow: /login
Disallow: /logout*
Disallow: /*/top*
Disallow: /*?iframe*
Disallow: /index.php
Disallow: /video/channel


User-Agent: Googlebot
Allow: /
Disallow: /*.php
Disallow: /0
Disallow: *?*
Disallow: /search/
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /forum/0
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /actions
Disallow: /templates
Disallow: /subscribe
Disallow: */subscribe/
Disallow: /blogs/0
Disallow: */blogs/*/cat-*
Disallow: /content/0
Disallow: /photos/0
Disallow: /photos/top.html
Disallow: /photos/latest.html
Disallow: /photos/100$
Disallow: /login
Disallow: /logout*
Disallow: /*/top*
Disallow: /*?iframe*
Disallow: /index.php
Disallow: /video/channel

User-Agent: Yandex
Allow: /
Disallow: /*.php
Disallow: /0
Disallow: *?*
Disallow: /search/
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /forum/0
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /actions
Disallow: /templates
Disallow: /subscribe
Disallow: */subscribe/
Disallow: /blogs/0
Disallow: */blogs/*/cat-*
Disallow: /content/0
Disallow: /photos/0
Disallow: /photos/top.html
Disallow: /photos/latest.html
Disallow: /photos/100$
Disallow: /login
Disallow: /logout*
Disallow: /*/top*
Disallow: /*?iframe*
Disallow: /index.php
Disallow: /video/channel

User-agent: Twitterbot
Allow: /


User-Agent:
Allow: /
Sitemap: сайт.ru/sitemap.xml
Crawl-delay: 5
Host: сайт.ru


Что тут правильно и что не правильно?

Добавить бы
Disallow: /maps/compare/*
Disallow: /maps/abuse*
Disallow: /maps/embed-code/*
Disallow: /search/tag
Disallow: /comments
Disallow: /rss/
Disallow: /content

А вот эти правила я бы убрал
Disallow: /index.php
Disallow: /video/channel

Зачем дублировать?User-Agent: * и есть для всех ПС.

Зачем дублировать? User-Agent: * и есть для всех ПС.

яша собственник, он любит чтобы ему особое приглашение делали :)

яша собственник, он любит чтобы ему особое приглашение делали :)

Это вам так кажется, всегда использовал толькоUser-Agent: *, и все отлично.
И роботсы читают роботы, им фиолетово на особое приглашение)

Еще вот это правило лишнее,надо убрать
Disallow: /templates
Если вы запрещаете шаблон для индексации, то гугл не понимает что ваш сайт адаптирован под мобильные устройства.
Ему тогда не отдаются скрипты и стили и он думает, что у вас сайт совсем без стилей и ссылки друг на друге.
Только что попробовал на адаптивном сайте это правило, сразу стал неадаптивным:)

видите сколько нюансов

У меня сейчас так:

Disallow: /admin
Disallow: /core
Disallow: /install
Disallow: /registration
Disallow: /login
Disallow: /cache
Disallow: /includes
Disallow: /go

Подскажите, что лишнее, а что следует добавить

Disallow: /install

/install у вас есть эта папка?

Нет такой папки

al955, так а зчем ее тогда в роботсе укзаывать?

так же как и эти:
Disallow: /admin
Disallow: /core
Disallow: /install
Disallow: /cache
Disallow: /includes
на них что где то сссылки есть?