robots.txt

поясните одну мелочь

 
Посетитель
small user social cms
Медаль
Сообщений: 87
Всем привет. Народ, подскажите, директива

Disallow: /go/

запрещает для индексации все ссылки на сайте или только исходящие на внешние сайты? имеется ввиду внутренняя перелинковка теряет смысл для поисковиков, он не видит ссылки перелинковки?
Шилопопик - сайт для родителей. Все о детях для мам и пап.
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2928
На сайте перелинковка организована через /go ?)

Если да, то странный подход, если нет, то вопрос странный!)
Реклама
cms
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 1714
YMaverik, Для внешних ссылок, внутренние через go не идут.
Посетитель
small user social cms
Медаль
Сообщений: 87
Rainbow:

YMaverik, Для внешних ссылок, внутренние через go не идут.

Спасибо, а это можно как то проверить? В инете я не нашел литературы и описаний по этому вопросу, может искал не там?
Редактировалось: 1 раз (Последний: 13 февраля 2016 в 12:53)
Шилопопик - сайт для родителей. Все о детях для мам и пап.
Посетитель
small user social cms
Медаль
Сообщений: 87
reload:

На сайте перелинковка организована через /go ?)

Если да, то странный подход, если нет, то вопрос странный!)

На сайте обычная перелинковка, в роботс стоит дизалоу гоу. Я даже не знаю как организовать перелинковку через гоу. Я просто имел ввиду, что ПС индексируют ссылки, вес страниц отчасти перетекает на страницу, на которую ссылаются и т.п. Вот меня и заинтересовал вопрос, если гоу закрывает внешние ссылки, он внутренние тоже закрывает или нет, ничего в вопросе странного не вижу, может он задан не совсем корректно, этого я не отрицаю)
Редактировалось: 1 раз (Последний: 13 февраля 2016 в 12:52)
Шилопопик - сайт для родителей. Все о детях для мам и пап.
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
YMaverik:
Спасибо, а это можно как то проверить?
В проверке робос в панеле яндекс-вебмастера. Вводите урл для проверки и получаете результат, запрещен или нет правилом.
YMaverik:
Вот меня и заинтересовал вопрос, если гоу закрывает внешние ссылки, он внутренние тоже закрывает или нет,
Не закрывает, все опять же можете проверить как выше написал.
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2928
YMaverik:
гоу закрывает внешние ссылки

Да, закрывает именно внешние ссылки!
К внутренним не имеет никакого отношения...

YMaverik:
ничего в вопросе странного не вижу
..это не есть хорошо, лучше бы видели)
Посетитель
small user social cms
Медаль
Сообщений: 993
YMaverik:
Disallow: /go/

Сделайте так для внешних, это более правильно

Код PHP:
  1. Disallow: /redirect?url=*
внутренние вообще не надо закрывать
Редактировалось: 1 раз (Последний: 13 февраля 2016 в 15:01)
Самые дешевые и быстрые VPS | Выгодный перенос доменов
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2928
Андрей:
это более правильно

Более для чего?))

/go - первая ветка
/redirect - вторая

Для каждой ветки свои правила!
Посетитель
small user social cms
Медаль
Сообщений: 993
reload:
Для каждой ветки свои правила!

у меня вторая
Самые дешевые и быстрые VPS | Выгодный перенос доменов
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2928
Андрей:
у меня вторая

А у меня в квартире газ! hoho
Посетитель
small user social cms
Медаль
Сообщений: 87
а у меня первая) и газ тоже есть) подскажите еще, если я пишу

disallow: /go/
и
disallow: /go

в чем разница? на что влияет последний слешь? и можно как то запретить индексацию ссылок с определенного раздела сайта, например только для форума? и закрывать ли от индексации ленту активности disallow: /actions?
Редактировалось: 3 раз (Последний: 13 февраля 2016 в 21:02)
Шилопопик - сайт для родителей. Все о детях для мам и пап.
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2928
YMaverik,
1. пишите так disallow: /go/ - слешь как и буквы уточняет директорию
2. запрещать можно любой раздел который явно определяется в адресе - смотрите на ссылку и думаете что хотите закрыть. В случае с разделом форума - закрыть можно только сам раздел, что бы закрыть ссылки в robotsе нужно в этом разделе придумать свою обработку ссылок или обрабатывать их через уже имеющийся /go
3. disallow: /actions на свое усмотрение (ябзакрыл)
Посетитель
small user social cms
Медаль
Сообщений: 87
reload:

2. запрещать можно любой раздел который явно определяется в адресе - смотрите на ссылку и думаете что хотите закрыть. В случае с разделом форума - закрыть можно только сам раздел, что бы закрыть ссылки в robotsе нужно в этом разделе придумать свою обработку ссылок или обрабатывать их через уже имеющийся /go

Спасибо за развернутый ответ. Я хотел еще уточнить, т.е. если я напишу disallow: /go/blogs, я запрещу индексацию ссылок только в разделе блоги, а остальные внешние ссылки с других разделов сайта буду индексироваться? или я не правильно понял?
Редактировалось: 1 раз (Последний: 13 февраля 2016 в 22:50)
Шилопопик - сайт для родителей. Все о детях для мам и пап.
Посетитель
small user social cms
МедальАвторитет форумаКубок зрительских симпатийПочетный донор проекта
Сообщений: 2928
YMaverik:
если я напишу disallow: /go/blogs

Нет у вас таких ссылок на сайте!

Для примера, что бы понимали:

Сейчас мы находимся на странице с адресом: http://instantcms.ru/forum/thread23857-1.html

Мы можем закрыть только одну эту страницу

disallow: /forum/thread23857-1.html

Можем закрыть весь форум:

disallow: /forum/

Далее смотрим какие еще ссылки есть на этой странице?

У меня в подписи стоит ссылочка: http://instantcms.ru/go/url=https://goo.gl/KEOQ5s

собственно все что после /go/ мы тоже уже закрыли

Блоги?

Вот возьмем пост с ссылками: http://instantcms.ru/blogs/esli-dolgo-muchitsja/obnovlenie-shablonov-dlja-vtoroi-vetki-do-versi-2-4-0.html

адрес без домена: /blogs/esli-dolgo-muchitsja/obnovlenie-shablonov-dlja-vtoroi-vetki-do-versi-2-4-0.html

Из этой ссылки видно что можем закрыть либо весь пост, либо раздел блога, либо весь блог

disallow: /blogs/esli-dolgo-muchitsja/obnovlenie-shablonov-dlja-vtoroi-vetki-do-versi-2-4-0.html
disallow: /blogs/esli-dolgo-muchitsja/
disallow: /blogs/

Далее смотрим какие еще ссылки есть на этой странице?

вот такая есть http://instantcms.ru/go/url=http://addons.instantcms.ru/addons/show-more.html

Все что после /go/ мы уже закрыли...

----------------------------------------------------------------------------------------------------

Это типа на пальцах, но разные правила и разные способы записи.

Вам лучше почитать что то об этом перед тем как задавать вопросы:

http://robotstxt.org.ru/

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.