robots.txt что закрыть от индекса

Что мы закрываем от индекса?
Задумался, что и зачем закрывать от робота ненужные файлы?

User-agent:Yandex
Disallow: /admin/
Disallow:/users*
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /components/
Disallow: /includes/
Disallow: /modules/
Disallow: /core/


User-agent:Googlebot
Disallow: /admin/
Disallow:/users*
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /components/
Disallow: /includes/
Disallow: /modules/
Disallow: /core/

Sitemap: www.сайт.ru/sitemap.xml
Host: www.сайт.ru



Для чего закрывать поиск и теги (теги же отлично индексируются!? недопонимаю
search/tag/
search/

Для чего закрывать поиск и теги (теги же отлично индексируются!?

Закрывают от индексации не только (и не столько) для того, чтобы избежать попадания мусора в индекс.
В первую очередь — исключить дубли из индекса.
Теги, поиск, всевозможные добавления к адресу всяких page и т.д. дают повторяющийся контент на страницах с разными адресами. Как к этому относится Яндекс, думаю, сами знаете.

А то, что закрыли Вы в примере:

Disallow: /admin/
Disallow:/users*
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /components/
Disallow: /includes/
Disallow: /modules/
Disallow: /core/

Так это вы просто показали хакерам-новичкам, где у вас на сайте можно найти некоторые ключевые вещи)))) А Яндекс сам бы никогда не обнаружил эти разделы, если конечно у Вас на сайте нет прямой ссылки на них))))

Есть ли более-менее правильное решение? что-то среднее

Если сайт нормально индексируется порой лучше ничего не делать, чтобы не испортить
А то порой рекомендации на настройке приводят совершенно к другому.

это понятно, просто по непонятным причинам разделы стали из поиска вылетать внезапно, пытаюсь разобраться в причинах.Возможно какая-то переоптимизация идет в статьях или где-то еще. Странное снижение трафа -вторая неделя пошла-алгоритмы новые у яши вот и задумываешься что-не так