файл robots.txt, заблудился в 3 соснах.

 
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 4297
не могу разобраться файлом robots.txt , заблудился в 3 соснах.
кто знает.
--------------------
инструкция по Яще, гласит:
*****************************************
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту
***********************************************
означает ли это что "Disallow: /" ЗАПРЕТ на индексацию сайта или я что-то путаю ?

строка "Allow: /" - РАЗРЕШАЕТ индексацию сайта .
--------------------------------------------------
покажите мне пример для нашего движка,
что запрещают и что разрешают и какой командой ?
Sometime CMS Community
Посетитель
no avatar
Медаль
Сообщений: 101
http://robotstxt.org.ru/
http://ru.wikipedia.org/wiki/Robots.txt
Редактировалось: 1 раз (Последний: 2 июля 2009 в 05:05)
Реклама
cms
Sometime CMS Community
Посетитель
no avatar
Медаль
Сообщений: 148
Disallow: / # блокирует доступ ко всему сайту
Ставьте эту функцию для тех разделов, которые не хотите индексировать. А allow это не обязательно ставить.
А также будет полезно прописать функцию HOST для яндекса.
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 4297
дайте какой-нибудь файл для нашего движка, с типиными параметрами allow и Disallow.
какой должен быть файл robotstxt
Посетитель
no avatar
Медаль
Сообщений: 232
User-agent: *
Disallow: /search
Disallow: /users*
Disallow: /forum/thread*-1.html
Disallow: /registration
Disallow: /login
Disallow: /templates
Disallow: /comments
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Для создания использовался генератор http://webmasta.org/tools/robotsgenerator/
Посетитель
small user social cms
Медаль
Сообщений: 163
lezginka.ru:

не могу разобраться файлом robots.txt , заблудился в 3 соснах.
Скиньте сайт в личку, сделаю адеватный роботс, так как для каждого проекта в зависимости от ситуации лучше писать собственные правила для ботов.
Канал Telegram про SEO: https://telegram.me/seopraktika Только практические материалы, отобранные вручную.
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форумаКубок зрительских симпатий
Сообщений: 4297
MiroMind,учту рекомендации.
Tempest, спасибо.
я позже закину, пока проблема решена(но не до конца)
В начало страницы
Предыдущая темаСледующая тема Перейти на форум: