robots.txt

поясните одну мелочь

#1 12 февраля 2016 в 19:21
Всем привет. Народ, подскажите, директива

Disallow: /go/

запрещает для индексации все ссылки на сайте или только исходящие на внешние сайты? имеется ввиду внутренняя перелинковка теряет смысл для поисковиков, он не видит ссылки перелинковки?
#2 12 февраля 2016 в 19:41
На сайте перелинковка организована через /go ?)

Если да, то странный подход, если нет, то вопрос странный!)
#3 12 февраля 2016 в 19:52
YMaverik, Для внешних ссылок, внутренние через go не идут.
#4 13 февраля 2016 в 12:48


YMaverik, Для внешних ссылок, внутренние через go не идут.

Rainbow

Спасибо, а это можно как то проверить? В инете я не нашел литературы и описаний по этому вопросу, может искал не там?
#5 13 февраля 2016 в 12:52


На сайте перелинковка организована через /go ?)

Если да, то странный подход, если нет, то вопрос странный!)

reload

На сайте обычная перелинковка, в роботс стоит дизалоу гоу. Я даже не знаю как организовать перелинковку через гоу. Я просто имел ввиду, что ПС индексируют ссылки, вес страниц отчасти перетекает на страницу, на которую ссылаются и т.п. Вот меня и заинтересовал вопрос, если гоу закрывает внешние ссылки, он внутренние тоже закрывает или нет, ничего в вопросе странного не вижу, может он задан не совсем корректно, этого я не отрицаю)
#6 13 февраля 2016 в 13:59

Спасибо, а это можно как то проверить?

YMaverik
В проверке робос в панеле яндекс-вебмастера. Вводите урл для проверки и получаете результат, запрещен или нет правилом.

Вот меня и заинтересовал вопрос, если гоу закрывает внешние ссылки, он внутренние тоже закрывает или нет,

YMaverik
Не закрывает, все опять же можете проверить как выше написал.
#7 13 февраля 2016 в 14:05

гоу закрывает внешние ссылки

YMaverik

Да, закрывает именно внешние ссылки!
К внутренним не имеет никакого отношения...

ничего в вопросе странного не вижу

YMaverik
… это не есть хорошо, лучше бы видели)
#8 13 февраля 2016 в 14:43

Disallow: /go/

YMaverik

Сделайте так для внешних, это более правильно

  1. Disallow: /redirect?url=*
внутренние вообще не надо закрывать
#9 13 февраля 2016 в 15:29

это более правильно

Андрей

Более для чего?))

/go — первая ветка
/redirect — вторая

Для каждой ветки свои правила!
#10 13 февраля 2016 в 17:27

Для каждой ветки свои правила!

reload

у меня вторая
#11 13 февраля 2016 в 18:45

у меня вторая

Андрей

А у меня в квартире газ! hoho
#12 13 февраля 2016 в 20:43
а у меня первая) и газ тоже есть) подскажите еще, если я пишу

disallow: /go/
и
disallow: /go

в чем разница? на что влияет последний слешь? и можно как то запретить индексацию ссылок с определенного раздела сайта, например только для форума? и закрывать ли от индексации ленту активности disallow: /actions?
#13 13 февраля 2016 в 21:47
YMaverik,
1. пишите так disallow: /go/ — слешь как и буквы уточняет директорию
2. запрещать можно любой раздел который явно определяется в адресе — смотрите на ссылку и думаете что хотите закрыть. В случае с разделом форума — закрыть можно только сам раздел, что бы закрыть ссылки в robotsе нужно в этом разделе придумать свою обработку ссылок или обрабатывать их через уже имеющийся /go
3. disallow: /actions на свое усмотрение (ябзакрыл)
#14 13 февраля 2016 в 22:50


2. запрещать можно любой раздел который явно определяется в адресе — смотрите на ссылку и думаете что хотите закрыть. В случае с разделом форума — закрыть можно только сам раздел, что бы закрыть ссылки в robotsе нужно в этом разделе придумать свою обработку ссылок или обрабатывать их через уже имеющийся /go

reload

Спасибо за развернутый ответ. Я хотел еще уточнить, т.е. если я напишу disallow: /go/blogs, я запрещу индексацию ссылок только в разделе блоги, а остальные внешние ссылки с других разделов сайта буду индексироваться? или я не правильно понял?
#15 13 февраля 2016 в 23:49

если я напишу disallow: /go/blogs

YMaverik

Нет у вас таких ссылок на сайте!

Для примера, что бы понимали:

Сейчас мы находимся на странице с адресом: instantcms.ru/forum/thread23857-1.html

Мы можем закрыть только одну эту страницу

disallow: /forum/thread23857-1.html

Можем закрыть весь форум:

disallow: /forum/

Далее смотрим какие еще ссылки есть на этой странице?

У меня в подписи стоит ссылочка: instantcms.ru/redirect?url=https://goo.gl/KEOQ5s

собственно все что после /go/ мы тоже уже закрыли

Блоги?

Вот возьмем пост с ссылками: instantcms.ru/blogs/esli-dolgo-muchitsja/obnovlenie-shablonov-dlja-vtoroi-vetki-do-versi-2-4-0.html

адрес без домена: /blogs/esli-dolgo-muchitsja/obnovlenie-shablonov-dlja-vtoroi-vetki-do-versi-2-4-0.html

Из этой ссылки видно что можем закрыть либо весь пост, либо раздел блога, либо весь блог

disallow: /blogs/esli-dolgo-muchitsja/obnovlenie-shablonov-dlja-vtoroi-vetki-do-versi-2-4-0.html
disallow: /blogs/esli-dolgo-muchitsja/
disallow: /blogs/

Далее смотрим какие еще ссылки есть на этой странице?

вот такая есть instantcms.ru/redirect?url=http://instantcms.ru/addons/show-more.html

Все что после /go/ мы уже закрыли...

----------------------------------------------------------------------------------------------------

Это типа на пальцах, но разные правила и разные способы записи.

Вам лучше почитать что то об этом перед тем как задавать вопросы:

robotstxt.org.ru/

yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.

Похожие темы

Robots.txt для instantcms 2

SEO & PR Создана 4 года назад 19 сообщений

Вопрос по robots.txt

SEO & PR Создана 4 года назад 7 сообщений

robots.txt

SEO & PR Создана 3 года назад 7 сообщений

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.