
YMaverik
Это типа на пальцах, но разные правила и разные способы записи.
Вам лучше почитать что то об этом перед тем как задавать вопросы:
robotstxt.org.ru/
yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
Огромное спасибо Вам! Обязательно прочитаю информацию по Вашим ссылочкам.
2. запрещать можно любой раздел который явно определяется в адресе — смотрите на ссылку и думаете что хотите закрыть. В случае с разделом форума — закрыть можно только сам раздел, что бы закрыть ссылки в robotsе нужно в этом разделе придумать свою обработку ссылок или обрабатывать их через уже имеющийся /go
Спасибо за развернутый ответ. Я хотел еще уточнить, т.е. если я напишу disallow: /go/blogs, я запрещу индексацию ссылок только в разделе блоги, а остальные внешние ссылки с других разделов сайта буду индексироваться? или я не правильно понял?
disallow: /go/
и
disallow: /go
в чем разница? на что влияет последний слешь? и можно как то запретить индексацию ссылок с определенного раздела сайта, например только для форума? и закрывать ли от индексации ленту активности disallow: /actions?
На сайте перелинковка организована через /go ?)
Если да, то странный подход, если нет, то вопрос странный!)
На сайте обычная перелинковка, в роботс стоит дизалоу гоу. Я даже не знаю как организовать перелинковку через гоу. Я просто имел ввиду, что ПС индексируют ссылки, вес страниц отчасти перетекает на страницу, на которую ссылаются и т.п. Вот меня и заинтересовал вопрос, если гоу закрывает внешние ссылки, он внутренние тоже закрывает или нет, ничего в вопросе странного не вижу, может он задан не совсем корректно, этого я не отрицаю)
YMaverik, Для внешних ссылок, внутренние через go не идут.
Спасибо, а это можно как то проверить? В инете я не нашел литературы и описаний по этому вопросу, может искал не там?
Disallow: /go/
запрещает для индексации все ссылки на сайте или только исходящие на внешние сайты? имеется ввиду внутренняя перелинковка теряет смысл для поисковиков, он не видит ссылки перелинковки?
YMaverik, Вот мой htaccess файл
Спасибо большое, проблема решена, Ваш файл мне помог, я выстроил структуру по Вашему файлу, последовательность блоков, и все заработало. чудеса какие то)
RewriteRule ^(.*)$ /index.php [L]
с ней все работает, но с внутряков редиректит на главную, как исправить ума не приложу
сейчас написано вот что:
RewriteRule ^(.*)$ /index.php [L]
RewriteCond %{HTTP_HOST} ^shilopopick\.ru$ [NC]
RewriteRule ^(.*)$ www.shilopopick.ru/$1 [R=301,L]
что нужно изменить чтобы было правильно?
Кто-нить пробовал подобное творение или не стоит игра свеч?