поясните одну мелочь
Disallow: /go/
запрещает для индексации все ссылки на сайте или только исходящие на внешние сайты? имеется ввиду внутренняя перелинковка теряет смысл для поисковиков, он не видит ссылки перелинковки?
Если да, то странный подход, если нет, то вопрос странный!)
YMaverik, Для внешних ссылок, внутренние через go не идут.
Спасибо, а это можно как то проверить? В инете я не нашел литературы и описаний по этому вопросу, может искал не там?
На сайте перелинковка организована через /go ?)
Если да, то странный подход, если нет, то вопрос странный!)
На сайте обычная перелинковка, в роботс стоит дизалоу гоу. Я даже не знаю как организовать перелинковку через гоу. Я просто имел ввиду, что ПС индексируют ссылки, вес страниц отчасти перетекает на страницу, на которую ссылаются и т.п. Вот меня и заинтересовал вопрос, если гоу закрывает внешние ссылки, он внутренние тоже закрывает или нет, ничего в вопросе странного не вижу, может он задан не совсем корректно, этого я не отрицаю)
В проверке робос в панеле яндекс-вебмастера. Вводите урл для проверки и получаете результат, запрещен или нет правилом.Спасибо, а это можно как то проверить?
Не закрывает, все опять же можете проверить как выше написал.Вот меня и заинтересовал вопрос, если гоу закрывает внешние ссылки, он внутренние тоже закрывает или нет,
гоу закрывает внешние ссылки
Да, закрывает именно внешние ссылки!
К внутренним не имеет никакого отношения...
… это не есть хорошо, лучше бы видели)ничего в вопросе странного не вижу
Disallow: /go/
Сделайте так для внешних, это более правильно
Disallow: /redirect?url=*
это более правильно
Более для чего?))
/go — первая ветка
/redirect — вторая
Для каждой ветки свои правила!
Для каждой ветки свои правила!
у меня вторая
у меня вторая
А у меня в квартире газ!
disallow: /go/
и
disallow: /go
в чем разница? на что влияет последний слешь? и можно как то запретить индексацию ссылок с определенного раздела сайта, например только для форума? и закрывать ли от индексации ленту активности disallow: /actions?
1. пишите так disallow: /go/ — слешь как и буквы уточняет директорию
2. запрещать можно любой раздел который явно определяется в адресе — смотрите на ссылку и думаете что хотите закрыть. В случае с разделом форума — закрыть можно только сам раздел, что бы закрыть ссылки в robotsе нужно в этом разделе придумать свою обработку ссылок или обрабатывать их через уже имеющийся /go
3. disallow: /actions на свое усмотрение (ябзакрыл)
2. запрещать можно любой раздел который явно определяется в адресе — смотрите на ссылку и думаете что хотите закрыть. В случае с разделом форума — закрыть можно только сам раздел, что бы закрыть ссылки в robotsе нужно в этом разделе придумать свою обработку ссылок или обрабатывать их через уже имеющийся /go
Спасибо за развернутый ответ. Я хотел еще уточнить, т.е. если я напишу disallow: /go/blogs, я запрещу индексацию ссылок только в разделе блоги, а остальные внешние ссылки с других разделов сайта буду индексироваться? или я не правильно понял?
если я напишу disallow: /go/blogs
Нет у вас таких ссылок на сайте!
Для примера, что бы понимали:
Сейчас мы находимся на странице с адресом: instantcms.ru/forum/thread23857-1.html
Мы можем закрыть только одну эту страницу
disallow: /forum/thread23857-1.html
Можем закрыть весь форум:
disallow: /forum/
Далее смотрим какие еще ссылки есть на этой странице?
У меня в подписи стоит ссылочка: instantcms.ru/redirect?url=https://goo.gl/KEOQ5s
собственно все что после /go/ мы тоже уже закрыли
Блоги?
Вот возьмем пост с ссылками: instantcms.ru/blogs/esli-dolgo-muchitsja/obnovlenie-shablonov-dlja-vtoroi-vetki-do-versi-2-4-0.html
адрес без домена: /blogs/esli-dolgo-muchitsja/obnovlenie-shablonov-dlja-vtoroi-vetki-do-versi-2-4-0.html
Из этой ссылки видно что можем закрыть либо весь пост, либо раздел блога, либо весь блог
disallow: /blogs/esli-dolgo-muchitsja/obnovlenie-shablonov-dlja-vtoroi-vetki-do-versi-2-4-0.html
disallow: /blogs/esli-dolgo-muchitsja/
disallow: /blogs/
Далее смотрим какие еще ссылки есть на этой странице?
вот такая есть instantcms.ru/redirect?url=http://instantcms.ru/addons/show-more.html
Все что после /go/ мы уже закрыли...
----------------------------------------------------------------------------------------------------
Это типа на пальцах, но разные правила и разные способы записи.
Вам лучше почитать что то об этом перед тем как задавать вопросы:
robotstxt.org.ru/
yandex.ru/support/webmaster/controlling-robot/robots-txt.xml