Возможно ли запретить в robots.txt все папки и все пункты меню, оставив только /sitemap ?
AddDefaultCharset windows-1251
RewriteEngine On
RewriteBase /
RewriteRule ^.htaccess$ — [F]
RewriteCond %{REQUEST_URI} !\.(jpg|jpeg|ico|gif|png|css|xml|js|pl|txt)$ [NC]
RewriteCond %{REQUEST_FILENAME} !^/admin
RewriteCond %{REQUEST_FILENAME} !^/migrate
RewriteCond %{REQUEST_FILENAME} !^/install
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ /index.php [L]
RewriteCond %{HTTP_HOST} ^www\.(.+)$ [NC]
RewriteRule ^(.*) %1/$1 [L,R=301]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_URI} !(.*)/$
RewriteRule ^(.*)$ /$1/ [R=301,L]
Первая строка отвечает за то, чтобы слеш не приписывался к запросам файлов. Вторая строка как раз и занимается определением, со слешем ли адрес или нет. Если адрес не содержит слеш в конце, то в действие вступает заключительная часть кода, делающая 301-й редирект на тот же самый адрес, но со слешем в конце.
Непонятно, будут ли эти переадресации создавать дополнительную нагрузку на сервер.Сливание адресов происходит опять таки посредством 301-го редиректа. В первой строке и происходит тест на наличие в URL www-шного варианта написания адреса.
Адреса вида www.site.ru/blogs и т.п. переадресовываются на site.ru/index.php, что тоже не есть хорошо.
Вобщем, кто понимает, помогите плз разобраться.
User-Agent: Googlebot
Allow: /
Sitemap: site.com/sitemap.xml
User-agent: Yandex
Allow: /
User-Agent: *
Allow: /
Disallow: /search/tag/
Disallow: /phpinfo.php/
Disallow: /subdomains/
Disallow: /admin/
Disallow: /backups/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /components/
Disallow: /core/
Disallow: /filters/
Disallow: /highslide/
Disallow: /images/
Disallow: /imgnotes/
Disallow: /includes/
Disallow: /languages/
Disallow: /modules/
Disallow: /plugins/
Disallow: /share42/
Disallow: /templates/
Disallow: /upload/
Disallow: /novosti/
Disallow: /review/
Disallow: /stati/
Disallow: /blogs/
Disallow: /clubs/
Disallow: /catalog/
Disallow: /board/
Disallow: /faq/
Disallow: /users/
Disallow: /photos/
Disallow: /video/
Disallow: /chat/
Disallow: /forum/
Disallow: /arhive/
Disallow: /work/
Disallow: /content/
Disallow: /rss/
Disallow: /
Host: site.com
