robots.txt что закрыть от индекса

 
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
Что мы закрываем от индекса?
Задумался,что и зачем закрывать от робота ненужные файлы?

User-agent:Yandex
Disallow: /admin/
Disallow:/users*
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /components/
Disallow: /includes/
Disallow: /modules/
Disallow: /core/


User-agent:Googlebot
Disallow: /admin/
Disallow:/users*
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /components/
Disallow: /includes/
Disallow: /modules/
Disallow: /core/

Sitemap: http://www.сайт.ru/sitemap.xml
Host: www.сайт.ru



Для чего закрывать поиск и теги (теги же отлично индексируются!? недопонимаю
search/tag/
search/
Петрмаг
Посетитель
small user social cms
Медаль
Сообщений: 198
Петрмаг:
Для чего закрывать поиск и теги (теги же отлично индексируются!?
Закрывают от индексации не только (и не столько) для того, чтобы избежать попадания мусора в индекс.
В первую очередь - исключить дубли из индекса.
Теги, поиск, всевозможные добавления к адресу всяких page и т.д. дают повторяющийся контент на страницах с разными адресами. Как к этому относится Яндекс, думаю, сами знаете.

А то, что закрыли Вы в примере:
Петрмаг:
Disallow: /admin/
Disallow:/users*
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /components/
Disallow: /includes/
Disallow: /modules/
Disallow: /core/
Так это вы просто показали хакерам-новичкам, где у вас на сайте можно найти некоторые ключевые вещи)))) А Яндекс сам бы никогда не обнаружил эти разделы, если конечно у Вас на сайте нет прямой ссылки на них))))
Редактировалось: 1 раз (Последний: 19 апреля 2014 в 08:46)
Реклама
cms
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
Есть ли более-менее правильное решение? что-то среднее
Петрмаг
Посетитель
small user social cms
Медаль
Сообщений: 438
Если сайт нормально индексируется порой лучше ничего не делать, чтобы не испортить
А то порой рекомендации на настройке приводят совершенно к другому.
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 2624
это понятно,просто по непонятным причинам разделы стали из поиска вылетать внезапно,пытаюсь разобраться в причинах .Возможно какая-то переоптимизация идет в статьях или где-то еще. Странное снижение трафа -вторая неделя пошла-алгоритмы новые у яши вот и задумываешься что-не так
Петрмаг
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.