Robots.txt для 2.0

Ога, есть /redirect?url
Ну тогда наверное так — Disallow: /redirect
Если кто-то знает точнее, пусть исправит

Здесь robots.txt для InstantCMS 2 подробно с пояснениями

Что за наркомания, сделать блог на инстанте? :)

позволю себе вмешаться в очередную бредотему.
Берем Xenu, сканим сайт.
Берем терпение, смотрим на результат, ищем дубли.
Берем прямые руки и моск, и закрываем дубли.
Мандруем в вебмастер, проверяем свое творение, исправляем ошибки.
Радуемся.

1. Системные папки нет смысла закрывать: гугл сам рекомендует оставлять их открытыми для лучшего понимания сайта поисковыми роботами.
2. Для каждого сайта файл составляется индивидуально. Пишите в личку наименование сайта — накидаю роботс.

Подниму вопросом.
Наборы ж тоже закрывать надо? это ж дубли походу

Ну и выложу свою наработку для 2

Disallow: /news-most_discussed*
Disallow: /news-popular_week*
Disallow: /news-popular_month*
Disallow: /search*
Disallow: /comments*
Disallow: /auth/
Disallow: /groups/*/activity$
Disallow: /groups/*/members$
Disallow: /groups/index/all$
Disallow: /groups/index/rating$
Disallow: /rss/
Disallow: /redirect?url=