Robots.txt для 2.0

#1 4 июня 2014 в 12:42
Всем привет! Кто нибудь может составить robots.txt для icms 2.0? Я не разбираюсь в этом, может кто нибудь составит и кинет готовый? Думаю будет полезно всем!) scratch
#2 4 июня 2014 в 13:24
Меня за такой вопрос отправили учить первоисточники про robots…
В личку отправлю вам свой. Хотя не уверен, что он идеальный. Но пока вижу, что индексируется именно то, что мне надо. Проблем с дублями страниц не заметил.
Robots, конечно же, нужно писать именно под СВОЙ сайт.
#3 4 июня 2014 в 13:52
Click, Выкладывайте свой здесь, пообсуждаем, покритикуем, вместе составим общий оптимальный роботс в который останется внести минимальные индивидуальные правки
#4 4 июня 2014 в 14:04
вместе мы сила)
#5 4 июня 2014 в 15:51
Думаю click не будет против. Вот предложенный вариант.

User-agent: *
Disallow: /admin
Disallow: /auth
Disallow: /cache
Disallow: /comments
Disallow: /system
Disallow: /templates
Disallow: /upload
Disallow: /wysiwyg
Host: ваш_сайт.ru
Sitemap: ваш_сайт.ru/sitemap.xml

Не подскажете как запретить к индексации ссылки редиректы? а то гугл их индексирует( Проблема в том, что в каждой новости я ставлю ссылку на источник. Мой сайт che174.ru. В гугле есть проиндексированые страницы, выводится заголовок новости но когда перехожу с гугла, нажимаю на какую нибудь новость то попадаю не на свой сайт а на те, что указаны как источник((
Прикрепленный файл
robots_3di4i.txt 227 байт
#6 4 июня 2014 в 16:13
А зачем запрещать admin, cache, system, templates, upload, wysiwyg? Как ПС вообще смогут их проиндексировать? Это первое, и второе — зачем выставлять на всеобщее обозрение в инете системные папки своего сайта?
#7 4 июня 2014 в 16:48
Матроскин
Вот, уже видно сразу человек разбирается) Не поможете нам robots составить?)

И еще не подскажете как исправить вот это?((

как запретить к индексации ссылки редиректы? а то гугл их индексирует( Проблема в том, что в каждой новости я ставлю ссылку на источник. Мой сайт che174.ru. В гугле есть проиндексированые страницы, выводится заголовок новости но когда перехожу с гугла, нажимаю на какую нибудь новость то попадаю не на свой сайт а на те, что указаны как источник((

Kantona
#8 4 июня 2014 в 17:01


Думаю click не будет против. Вот предложенный вариант.

User-agent: *
Disallow: /admin
Disallow: /auth
Disallow: /cache
Disallow: /comments
Disallow: /system
Disallow: /templates
Disallow: /upload
Disallow: /wysiwyg
Host: ваш_сайт.ru
Sitemap: ваш_сайт.ru/sitemap.xml

Не подскажете как запретить к индексации ссылки редиректы? а то гугл их индексирует( Проблема в том, что в каждой новости я ставлю ссылку на источник. Мой сайт che174.ru. В гугле есть проиндексированые страницы, выводится заголовок новости но когда перехожу с гугла, нажимаю на какую нибудь новость то попадаю не на свой сайт а на те, что указаны как источник((

Kantona
Я не помню, как выглядит редирект в "двойке"…
По аналогу с первой веткой:
Disallow: /go/

По предложенному роботсу: такой набор не запрещает к индексации дубли, но отлично подсказывает всем вокруг, где у вас лежат все системные файлы. Резюме: чем скорее вы удалите ТАКОЙ роботс с сервера, тем будет лучше.
#9 4 июня 2014 в 17:05


Я не помню, как выглядит редирект в "двойке"…
По аналогу с первой веткой:
Disallow: /go/

Николаич

возможно так:
Disallow: */redirect?url=http:/
#10 4 июня 2014 в 17:34

Вот, уже видно сразу человек разбирается) Не поможете нам robots составить?)

Kantona
та нееее, я вообще мало что понимаю в вебмастеринге, это обычная логика, в роботсе можно что то запретить индексировать, что конкретно лично вам нужно защитить от индексации? Это и ставьте в Disallow. Если ничего — тогда и не надо ничего там вообще писать, и роботс этот вообще не нужен. ПС сканируют все до чего доберутся, до системных папок они никак не доберутся, потому что на них нет ссылок во первых, во вторых они закрыты.

И еще не подскажете как исправить вот это?((

Kantona
Не знаю, а вообще где-то читал что ПС плевать хотели на редиректы, гугль по крайней мере. И кстати, в двойке разве где то редирект можно включить? Или вы хак используете?
#11 4 июня 2014 в 17:36

Я не помню, как выглядит редирект в "двойке"…
По аналогу с первой веткой:
Disallow: /go/

Николаич
Вы вообще о чем тут разговариваете? )
#12 4 июня 2014 в 18:10


Я не помню, как выглядит редирект в "двойке"…
По аналогу с первой веткой:
Disallow: /go/

Николаич
Вы вообще о чем тут разговариваете? )

Матроскин
А что, не совсем понятно?)
#13 4 июня 2014 в 18:44

А что, не совсем понятно?)

Николаич
не совсем понятно где вы нашли редирект в двойке
#14 4 июня 2014 в 18:48

не совсем понятно где вы нашли редирект в двойке

Матроскин
При создании новости я в панели админа создал поле источник в виде ссылки, там есть галочка прямая ссылка или через редирект)
#15 4 июня 2014 в 19:00
Kantona, ща заценим )
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.

Похожие темы

Robots.txt для instantcms 2

SEO & PR Создана 4 года назад 19 сообщений

Компонент Sitemap и robots

Компоненты Создана 4 года назад 3 сообщения

Вопрос по robots.txt

SEO & PR Создана 4 года назад 7 сообщений

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.