Robots.txt и индексация (видео)

 
Посетитель
small user social cms
Медаль
Сообщений: 187
Наткнулся случайно на видео по индексации,(само видео здесьвнизу страницы)ну и призадумался,как решить данную проблемму.
Возможно ли запретить в robots.txt все папки и все пункты меню,оставив только /sitemap ?

.htaccess
Код PHP:
  1. RewriteCond %{REQUEST_FILENAME} !-f
  2. RewriteCond %{REQUEST_URI} !(.*)/$
  3. RewriteRule ^(.*)$ /$1/ [R=301,L]
Первая строка отвечает за то, чтобы слеш не приписывался к запросам файлов. Вторая строка как раз и занимается определением, со слешем ли адрес или нет. Если адрес не содержит слеш в конце, то в действие вступает заключительная часть кода, делающая 301-й редирект на тот же самый адрес, но со слешем в конце.
Код PHP:
  1. RewriteCond %{HTTP_HOST} ^www\.(.+)$ [NC]
  2. RewriteRule ^(.*) http://%1/$1 [L,R=301]
Сливание адресов происходит опять таки посредством 301-го редиректа. В первой строке и происходит тест на наличие в URL www-шного варианта написания адреса.
Непонятно,будут ли эти переадресации создавать дополнительную нагрузку на сервер.
Адреса вида www.site.ru/blogs и т.п. переадресовываются на site.ru/index.php,что тоже не есть хорошо.
Вобщем,кто понимает,помогите плз разобраться.
robots.txt
Хотелось бы услышать мнения по этому поводу.
Редактировалось: 8 раз (Последний: 23 июля 2011 в 23:11)
Посетитель
small user social cms
Медаль
Сообщений: 187
Сам спросил,сам и отвечаю,может кому пригодится.Тему не закрываю,возможно кто-то пожелает что-нить добавить.
Итак,по результатам тестов абсолютно одинаковых сайтов на одном хостинге получили следующее:
нагрузка на сервер значительно возросла,сайт стал грузиться в 4 раза дольше.Следовательно от идеи с .htaccess отказался безоговорочно.
Касаемо robots.txt ,понимаю,что,php бот не читает,но оставил закрытыми папки движка,дабы не нагружать лишний раз ботов и сайт))
В теме с www и без вообще не вижу смысла,поскольку при добавлении сайта в гугл мы указываем главный домен и зеркало,в яше наверное автоматом то же происходит.Да и в индексе не встречал страниц с www своих сайтов.
Реклама
cms
Посетитель
small user social cms
Сообщений: 52
Ты уж извини, но на счет блокирования всех пунктов меню в robots.txt - это у тебя паранойя после случившегося с Мегафоном?

Блокируешь админку, и все что рядом касаемо такого плана. Users в принципе можно. А зачем весь сайт почти?
Закрыл - а индексировать материалы и прочее - то кто будет? или ты отчет будешь им в письменном варианте отсылать?
Сайт единоразово теряет смысл. Ты его приватным автоматически делаешь shock

Смысл с сайтмапа, если переход по ссылке запрещен, который находится в сайт мапе? То ли я ошибаюсь сам в себе уже. %)
Посетитель
small user social cms
МедальПочетный донор проектаКубок зрительских симпатийАвторитет форумаПочетный донор проекта
Сообщений: 2817
Lover:

Ты уж извини, но на счет блокирования всех пунктов меню в robots.txt - это у тебя паранойя после случившегося с Мегафоном?

Блокируешь админку, и все что рядом касаемо такого плана. Users в принципе можно. А зачем весь сайт почти?
Закрыл - а индексировать материалы и прочее - то кто будет? или ты отчет будешь им в письменном варианте отсылать?
Сайт единоразово теряет смысл. Ты его приватным автоматически делаешь shock

Смысл с сайтмапа, если переход по ссылке запрещен, который находится в сайт мапе? То ли я ошибаюсь сам в себе уже. %)
Мне кажется, что надо однозначно закрывать:
Код PHP:
  1. Disallow: /admin/
  2. Disallow: /backups/
  3. Disallow: /cache/
  4. Disallow: /core/
  5. Disallow: /templates/
Вообще, хотелось бы мнение админов услышать.
Спасибо!
Редактировалось: 1 раз (Последний: 16 августа 2011 в 15:37)
Украинский для инстант
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4385
Олег Васильевич я:
Мне кажется, что надо однозначно закрывать:
ПС о этих (и других описанных здесь) директориях ничего не знает - вывод: пишите глупость - раз, второе - сами же раскрываете злоумышленникам вашу структуру папок smile
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
МедальПочетный донор проектаКубок зрительских симпатийАвторитет форумаПочетный донор проекта
Сообщений: 2817
Fuze:

Олег Васильевич я:
Мне кажется, что надо однозначно закрывать:
ПС о этих (и других описанных здесь) директориях ничего не знает - вывод: пишите глупость - раз, второе - сами же раскрываете злоумышленникам вашу структуру папок smile
1. "ПС" - Вы о поисковых роботах?
2. "пишите глупость" - три четверти Ваших сообщений (из тех что мне посчастливилось прочитать) касаются уважительного отношения к форумчанам
3. А страшны ли нам злоумышленники, для которых структура папок InstantCMS нераскрываемый секрет?
Можно ж и просто написать что закрывать от индексации а что нет.
Редактировалось: 3 раз (Последний: 17 августа 2011 в 00:01)
Украинский для инстант
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4385
Олег Васильевич я:
1. "ПС" - Вы о поисковых роботах?
да
Олег Васильевич я:
2. "пишите глупость" - три четверти Ваших сообщений (из тех что мне посчастливилось прочитать) касаются уважительного отношения к форумчанам
я вас чем-то оскорбил? или "пишите глупость" - считается неуважительным отношением к форумчанам?
Олег Васильевич я:
Можно ж и просто написать что закрывать от индексации а что нет.
я вам просто и написал, но по всей видимости сами вы принять решение не можете.
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
МедальПочетный донор проектаКубок зрительских симпатийАвторитет форумаПочетный донор проекта
Сообщений: 2817
1 - спасибо!
2 - снимаю zst
3 - ничего не закрываем?
Спасибо!
Украинский для инстант
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4385
Олег Васильевич я:
3 - ничего не закрываем?
закрываем только то, что нужно конкретно, например ВОЗМОЖНО ВАМ не нужно /search/tag/ - значит прописываем, кому нужно НЕ прописываем.
системные папки закрывать НЕТ смысла. Ссылок на них НЕТ. Найдите ссылку на /core или /cache или /backups или другие системные папки... Просто нужно немного подумать а не просто копировать друг у друга.
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
Медаль
Сообщений: 225
robots.txt нужен любая SEO книга об этом начинается. Гугл и Яндекс советуют их использовать. Злоумышленникам? Кому мы нужны smile Не смешите))))
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.