составленных robots.txt, при обработке которых директива Host

#16 4 февраля 2010 в 22:28

В темке за 300 постов, так что всё там перетёрто.

garry

Что за темка? Может я не то читал? Адрес в студию!
#17 4 февраля 2010 в 23:20
lezginka.ru, Привет, на самом деле озорение ночью smile
А если серьезно, то анализ своих идей и чужих больших проектов, на предмет отчленения у большого проекта какой-то части имеющей востребованность но не раскрытой. В больших проектах всё не охватишь и не сделаешь функционал подо все. Пришла идея — гугли.
Либо действительно выкупать, например на серче запостится ( там так и делают). Но тут уже бюджет не детский.
Как то так...

Что за темка? Может я не то читал? Адрес в студию!

Олег
Зачем вам ссылка на обсуждение файла для SMF тут?
Хотя вот темка на оф русском, думаю на буржуйский нет смысла давать www.simplemachines.ru/index.php?topic=5089.0
#18 5 февраля 2010 в 07:42


lezginka.ru, Привет, на самом деле озорение ночью smile
А если серьезно, то анализ своих идей и чужих больших проектов, на предмет отчленения у большого проекта какой-то части имеющей востребованность но не раскрытой. В больших проектах всё не охватишь и не сделаешь функционал подо все. Пришла идея — гугли.
Либо действительно выкупать, например на серче запостится ( там так и делают). Но тут уже бюджет не детский.
Как то так...

Что за темка? Может я не то читал? Адрес в студию!

Олег
Зачем вам ссылка на обсуждение файла для SMF тут?
Хотя вот темка на оф русском, думаю на буржуйский нет смысла давать www.simplemachines.ru/index.php?topic=5089.0

garry

garry, на серче как их выкупают есть сервис?
#19 3 июля 2010 в 21:43
При анализе сгенерированной sitemap увидел, что индексируются каталоги, которых нет у меня на сайте.
Правильно ли я сделал, что включил их в robots.txt с дериктивой disallow
Вот так:


Disallow: /photos/
Disallow: /search/
Disallow: /registration/


И еще на счет

Disallow: /rss/

Верно ли будет?
#20 28 января 2011 в 13:57
Здравствуйте, хочу уточнить кто нибудь выработал нормальный конечный вариант robots.txt?
#21 28 января 2011 в 14:21
zipungora, я использоваль совет garry и больше не возвращался к теме.
Админ сказал, что особого смысла в роботсе нет, т.к. все не положено индексировать роботу и так закрыто.
Но тут решать нужно индивидуально.
garry спец. по сео, обратись к нему
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.