не могу разобраться файлом robots.txt, заблудился в 3 соснах.
кто знает.
--------------------
инструкция по Яще, гласит:
*****************************************
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту
***********************************************
означает ли это что "Disallow: /" ЗАПРЕТ на индексацию сайта или я что-то путаю ?
строка "Allow: /" — РАЗРЕШАЕТ индексацию сайта .
--------------------------------------------------
покажите мне пример для нашего движка,
что запрещают и что разрешают и какой командой?
файл robots.txt, заблудился в 3 соснах.
ЕСТЬ РЕШЕНИЕ
ЗАКРЫТО
#1
2 июля 2009 в 03:12
#2
3 июля 2009 в 00:12
дайте какой-нибудь файл для нашего движка, с типиными параметрами allow и Disallow.
какой должен быть файл robotstxt
какой должен быть файл robotstxt
#3
19 ноября 2012 в 20:25
User-agent: *
Disallow: /search
Disallow: /users*
Disallow: /forum/thread*-1.html
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /comments
Sitemap: site.ru/sitemap.xml
Host: site.ru
Для создания использовался генератор webmasta.org/tools/robotsgenerator/
Disallow: /search
Disallow: /users*
Disallow: /forum/thread*-1.html
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /comments
Sitemap: site.ru/sitemap.xml
Host: site.ru
Для создания использовался генератор webmasta.org/tools/robotsgenerator/
Сегодня в 14:06
#4
19 ноября 2012 в 23:33
Скиньте сайт в личку, сделаю адеватный роботс, так как для каждого проекта в зависимости от ситуации лучше писать собственные правила для ботов.
не могу разобраться файлом robots.txt, заблудился в 3 соснах.
#5
20 ноября 2012 в 00:13
MiroMind, учту рекомендации.
Tempest, спасибо.
я позже закину, пока проблема решена(но не до конца)
Tempest, спасибо.
я позже закину, пока проблема решена(но не до конца)