роботс инстанта разборки

 
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
User-Agent: *
Allow: /
Disallow: /*.php
Disallow: /0
Disallow: *?*
Disallow: /search/
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /forum/0
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /actions
Disallow: /templates
Disallow: /subscribe
Disallow: */subscribe/
Disallow: /blogs/0
Disallow: */blogs/*/cat-*
Disallow: /content/0
Disallow: /photos/0
Disallow: /photos/top.html
Disallow: /photos/latest.html
Disallow: /photos/100$
Disallow: /login
Disallow: /logout*
Disallow: /*/top*
Disallow: /*?iframe*
Disallow: /index.php
Disallow: /video/channel


User-Agent: Googlebot
Allow: /
Disallow: /*.php
Disallow: /0
Disallow: *?*
Disallow: /search/
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /forum/0
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /actions
Disallow: /templates
Disallow: /subscribe
Disallow: */subscribe/
Disallow: /blogs/0
Disallow: */blogs/*/cat-*
Disallow: /content/0
Disallow: /photos/0
Disallow: /photos/top.html
Disallow: /photos/latest.html
Disallow: /photos/100$
Disallow: /login
Disallow: /logout*
Disallow: /*/top*
Disallow: /*?iframe*
Disallow: /index.php
Disallow: /video/channel

User-Agent: Yandex
Allow: /
Disallow: /*.php
Disallow: /0
Disallow: *?*
Disallow: /search/
Disallow: /--kornevoi-razdel--
Disallow: /forum/thread*-1.html
Disallow: /forum/latest_*
Disallow: /forum/0
Disallow: /registration
Disallow: /passremind.html
Disallow: /go/
Disallow: /actions
Disallow: /templates
Disallow: /subscribe
Disallow: */subscribe/
Disallow: /blogs/0
Disallow: */blogs/*/cat-*
Disallow: /content/0
Disallow: /photos/0
Disallow: /photos/top.html
Disallow: /photos/latest.html
Disallow: /photos/100$
Disallow: /login
Disallow: /logout*
Disallow: /*/top*
Disallow: /*?iframe*
Disallow: /index.php
Disallow: /video/channel

User-agent: Twitterbot
Allow: /


User-Agent:
Allow: /
Sitemap: http://сайт.ru/sitemap.xml
Crawl-delay: 5
Host: сайт.ru


Что тут правильно и что не правильно?
Петрмаг
Посетитель
small user social cms
Сообщений: 53
Добавить бы
Disallow: /maps/compare/*
Disallow: /maps/abuse*
Disallow: /maps/embed-code/*
Disallow: /search/tag
Disallow: /comments
Disallow: /rss/
Disallow: /content

А вот эти правила я бы убрал
Disallow: /index.php
Disallow: /video/channel
Мгновенная индексация + приводим быстробота за ухо
Реклама
cms
Посетитель
small user social cms
Медаль
Сообщений: 239
Зачем дублировать? User-Agent: * и есть для всех ПС.
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1001
Stecc:
Зачем дублировать? User-Agent: * и есть для всех ПС.

яша собственник, он любит чтобы ему особое приглашение делали :)
Комплексный подход к Вашему онлайн-бизнесу: домены, хостинг, сайты.
Продажа качественных доменов.
Посетитель
small user social cms
Медаль
Сообщений: 239
Blackman-st:
яша собственник, он любит чтобы ему особое приглашение делали :)
Это вам так кажется, всегда использовал только User-Agent: *, и все отлично. smile
И роботсы читают роботы, им фиолетово на особое приглашение)
Редактировалось: 3 раз (Последний: 28 апреля 2015 в 15:07)
Посетитель
small user social cms
Сообщений: 53
Еще вот это правило лишнее, надо убрать
Disallow: /templates
Если вы запрещаете шаблон для индексации, то гугл не понимает что ваш сайт адаптирован под мобильные устройства.
Ему тогда не отдаются скрипты и стили и он думает, что у вас сайт совсем без стилей и ссылки друг на друге.
Только что попробовал на адаптивном сайте это правило, сразу стал неадаптивным:)
Мгновенная индексация + приводим быстробота за ухо
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
видите сколько нюансов
Петрмаг
Посетитель
small user social cms
Медаль
Сообщений: 415
У меня сейчас так:

Disallow: /admin
Disallow: /core
Disallow: /install
Disallow: /registration
Disallow: /login
Disallow: /cache
Disallow: /includes
Disallow: /go

Подскажите, что лишнее, а что следует добавить
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3089
al955:
Disallow: /install

shock

/install у вас есть эта папка?
Посетитель
small user social cms
Медаль
Сообщений: 415
Нет такой папки v
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3089
al955, так а зчем ее тогда в роботсе укзаывать?

так же как и эти:
Disallow: /admin
Disallow: /core
Disallow: /install
Disallow: /cache
Disallow: /includes
на них что где то сссылки есть?
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.