составленных robots.txt, при обработке которых директива Host

В темке за 300 постов, так что всё там перетёрто.

Что за темка? Может я не то читал? Адрес в студию!

lezginka.ru, Привет, на самом деле озорение ночью
А если серьезно, то анализ своих идей и чужих больших проектов, на предмет отчленения у большого проекта какой-то части имеющей востребованность но не раскрытой. В больших проектах всё не охватишь и не сделаешь функционал подо все. Пришла идея — гугли.
Либо действительно выкупать, например на серче запостится ( там так и делают). Но тут уже бюджет не детский.
Как то так...

Что за темка? Может я не то читал? Адрес в студию!

Зачем вам ссылка на обсуждение файла для SMF тут?
Хотя вот темка на оф русском, думаю на буржуйский нет смысла давать www.simplemachines.ru/index.php?topic=5089.0

lezginka.ru, Привет, на самом деле озорение ночью
А если серьезно, то анализ своих идей и чужих больших проектов, на предмет отчленения у большого проекта какой-то части имеющей востребованность но не раскрытой. В больших проектах всё не охватишь и не сделаешь функционал подо все. Пришла идея — гугли.
Либо действительно выкупать, например на серче запостится ( там так и делают). Но тут уже бюджет не детский.
Как то так...

Что за темка? Может я не то читал? Адрес в студию!

Зачем вам ссылка на обсуждение файла для SMF тут?
Хотя вот темка на оф русском, думаю на буржуйский нет смысла давать www.simplemachines.ru/index.php?topic=5089.0

garry, на серче как их выкупают есть сервис?

При анализе сгенерированной sitemap увидел, что индексируются каталоги, которых нет у меня на сайте.
Правильно ли я сделал, что включил их в robots.txt с дериктивой disallow
Вот так:

Disallow: /photos/
Disallow: /search/
Disallow: /registration/

И еще на счет

Disallow: /rss/

Верно ли будет?

Здравствуйте, хочу уточнить кто нибудь выработал нормальный конечный вариант robots.txt?

zipungora, я использоваль совет garry и больше не возвращался к теме.
Админ сказал, что особого смысла в роботсе нет, т.к. все не положено индексировать роботу и так закрыто.
Но тут решать нужно индивидуально.
garry спец. по сео, обратись к нему