файл robots.txt, заблудился в 3 соснах.

ЕСТЬ РЕШЕНИЕ ЗАКРЫТО
#1 2 июля 2009 в 03:12
не могу разобраться файлом robots.txt, заблудился в 3 соснах.
кто знает.
--------------------
инструкция по Яще, гласит:
*****************************************
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту
***********************************************
означает ли это что "Disallow: /" ЗАПРЕТ на индексацию сайта или я что-то путаю ?

строка "Allow: /" — РАЗРЕШАЕТ индексацию сайта .
--------------------------------------------------
покажите мне пример для нашего движка,
что запрещают и что разрешают и какой командой?
#2 3 июля 2009 в 00:12
дайте какой-нибудь файл для нашего движка, с типиными параметрами allow и Disallow.
какой должен быть файл robotstxt
#3 19 ноября 2012 в 20:25
User-agent: *
Disallow: /search
Disallow: /users*
Disallow: /forum/thread*-1.html
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /comments
Sitemap: site.ru/sitemap.xml
Host: site.ru

Для создания использовался генератор webmasta.org/tools/robotsgenerator/
#4 19 ноября 2012 в 23:33


не могу разобраться файлом robots.txt, заблудился в 3 соснах.

lezginka.ru
Скиньте сайт в личку, сделаю адеватный роботс, так как для каждого проекта в зависимости от ситуации лучше писать собственные правила для ботов.
#5 20 ноября 2012 в 00:13
MiroMind, учту рекомендации.
Tempest, спасибо.
я позже закину, пока проблема решена(но не до конца)
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.