soxom

Здесь полностью согласен с пикабу... Ваш роботс практически бесполезен для сайта. Он не будет мешать развитию сайта, но и не поможет

Не будет трагедией если хост будет прописан перед картой сайта, но существует такая возможность, что Яндекс все будет видеть и использовать, а Гугл нет. Об этом писал Пикабу выше... Это конечно скорее всего миф, но лучше все-таки подстраховаться и поставить хост в робтсе последним

Отличная работа! Все сделано правильно, мой программист точно такое же соорудил )))

Добавьте данную строчку в ваш роботс и считайте что закрыли поиск ))) И он нисколько не помешает индексации игр...

Disallow: /index.php

Хороший совет! +

Это реально без особой разницы. Если закрыли, хуже не будет, но и бонусы не получите

Так разрешите allow ))) Я не заню что это за игры, если дадите ссылку, помогу открыть для индексации

1) Думаю, что если бы вы сами не написали, про пути к дампам базы и системных каталогам, их никто бы и не додумался написать )))
2) Про профили... Ну это пусть уж сам вебмастер решает.
3) Гнать вес на Логин и регистрацию - это извращение
4) Про то, зачем закрывать поиск, тэги и индексный файл:
http://www.google.ru/search?q=site:http://instantcms.ru/search&hl=ru&lr=&newwindow=1&prmd=imvns&ei=HbAiT__ZBKeB4gSc_NW8CA&start=110&sa=N&biw=1280&bih=909

instantcms.ru%2Findex.php&hl=ru&newwindow=1&biw=1280&bih=909&num=10&lr=&ft=i&cr=&safe=images" target="_blank">http://www.google.ru/search?q=site%3Ahttp%3A%2F%2Finstantcms.ru%2Findex.php&hl=ru&newwindow=1&biw=1280&bih=909&num=10&lr=&ft=i&cr=&safe=images

Disallow: /search - Страница поиска. Эта строка говорит поисковым роботам, что искать в результатах поиска не нужно. Однако если у вас нет ссылок на результат поиска - можно не закрывать эту страницу. Disallow: /search/tag - Теги следует закрывать от индексации. Какими они не были бы красивыми но по ним отдается дублированный контент. Хотя есть случаи когда теги используют для группировки контента и оставляют открытыми.

Второй, глупо вписывать, если вы вписали первый ))) /search/tag итак запрещен, если вы запретили /search

А причем тут бесплатно или платно??? У вас понос словесный или наболело?

Интересный хак... Сегодня-завтра обязательно попробуем его в работе