Robots.txt для 2.0

Всем привет! Кто нибудь может составить robots.txt для icms 2.0? Я не разбираюсь в этом, может кто нибудь составит и кинет готовый? Думаю будет полезно всем!)

Меня за такой вопрос отправили учить первоисточники про robots…
В личку отправлю вам свой. Хотя не уверен, что он идеальный. Но пока вижу, что индексируется именно то, что мне надо. Проблем с дублями страниц не заметил.
Robots, конечно же, нужно писать именно под СВОЙ сайт.

Click, Выкладывайте свой здесь, пообсуждаем, покритикуем, вместе составим общий оптимальный роботс в который останется внести минимальные индивидуальные правки

вместе мы сила)

Думаю click не будет против. Вот предложенный вариант.

User-agent: *
Disallow: /admin
Disallow: /auth
Disallow: /cache
Disallow: /comments
Disallow: /system
Disallow: /templates
Disallow: /upload
Disallow: /wysiwyg
Host: ваш_сайт.ru
Sitemap: ваш_сайт.ru/sitemap.xml

Не подскажете как запретить к индексации ссылки редиректы? а то гугл их индексирует( Проблема в том, что в каждой новости я ставлю ссылку на источник. Мой сайт che174.ru. В гугле есть проиндексированые страницы, выводится заголовок новости но когда перехожу с гугла, нажимаю на какую нибудь новость то попадаю не на свой сайт а на те, что указаны как источник((

А зачем запрещать admin, cache, system, templates, upload, wysiwyg? Как ПС вообще смогут их проиндексировать? Это первое, и второе — зачем выставлять на всеобщее обозрение в инете системные папки своего сайта?

Вот, уже видно сразу человек разбирается) Не поможете нам robots составить?)

И еще не подскажете как исправить вот это?((

как запретить к индексации ссылки редиректы? а то гугл их индексирует( Проблема в том, что в каждой новости я ставлю ссылку на источник. Мой сайт che174.ru. В гугле есть проиндексированые страницы, выводится заголовок новости но когда перехожу с гугла, нажимаю на какую нибудь новость то попадаю не на свой сайт а на те, что указаны как источник((

Думаю click не будет против. Вот предложенный вариант.

User-agent: *
Disallow: /admin
Disallow: /auth
Disallow: /cache
Disallow: /comments
Disallow: /system
Disallow: /templates
Disallow: /upload
Disallow: /wysiwyg
Host: ваш_сайт.ru
Sitemap: ваш_сайт.ru/sitemap.xml

Не подскажете как запретить к индексации ссылки редиректы? а то гугл их индексирует( Проблема в том, что в каждой новости я ставлю ссылку на источник. Мой сайт che174.ru. В гугле есть проиндексированые страницы, выводится заголовок новости но когда перехожу с гугла, нажимаю на какую нибудь новость то попадаю не на свой сайт а на те, что указаны как источник((

Я не помню, как выглядит редирект в "двойке"…
По аналогу с первой веткой:
Disallow: /go/

По предложенному роботсу: такой набор не запрещает к индексации дубли, но отлично подсказывает всем вокруг, где у вас лежат все системные файлы. Резюме: чем скорее вы удалите ТАКОЙ роботс с сервера, тем будет лучше.

Я не помню, как выглядит редирект в "двойке"…
По аналогу с первой веткой:
Disallow: /go/

возможно так:
Disallow: */redirect?url=http:/

Вот, уже видно сразу человек разбирается) Не поможете нам robots составить?)

та нееее, я вообще мало что понимаю в вебмастеринге, это обычная логика, в роботсе можно что то запретить индексировать, что конкретно лично вам нужно защитить от индексации? Это и ставьте в Disallow. Если ничего — тогда и не надо ничего там вообще писать, и роботс этот вообще не нужен. ПС сканируют все до чего доберутся, до системных папок они никак не доберутся, потому что на них нет ссылок во первых, во вторых они закрыты.

И еще не подскажете как исправить вот это?((

Не знаю, а вообще где-то читал что ПС плевать хотели на редиректы, гугль по крайней мере. И кстати, в двойке разве где то редирект можно включить? Или вы хак используете?

Я не помню, как выглядит редирект в "двойке"…
По аналогу с первой веткой:
Disallow: /go/

Вы вообще о чем тут разговариваете? )

Я не помню, как выглядит редирект в "двойке"…
По аналогу с первой веткой:
Disallow: /go/

Вы вообще о чем тут разговариваете? )

А что, не совсем понятно?)

А что, не совсем понятно?)

не совсем понятно где вы нашли редирект в двойке

не совсем понятно где вы нашли редирект в двойке

При создании новости я в панели админа создал поле источник в виде ссылки, там есть галочка прямая ссылка или через редирект)

Kantona, ща заценим )