robots.txt

Как в robots.txt, запретить индексацию определенной статьи

#1 17 апреля 2012 в 18:06
Здравствуйте!
Подскажите, как в robots.txt, запретить индексацию определенной статьи, ну, например:
maydomen.ru/obratnaja-svjaz.html (Обратная связь).
#2 17 апреля 2012 в 21:54
Disallow: /obratnaja-svjaz.html
#3 8 июня 2016 в 13:42
Привет всем!
Подскажите пожалуйста правильно ли я закрыл категорию от индексации:

Disallow: /articles/buhgalterija-i-ekonomika/arendnye-otnoshenija — ?
#4 8 июня 2016 в 14:27

Подскажите пожалуйста правильно ли я закрыл категорию от индексации:

skewes
А вы зайдите в панель веб мастера яндекса или гугла и в разделе проверки robots.txt, вставьте урл который у вас должен быть закрыт и проверьте. Плюс проверьте, не запретили ли вы все нужное своим правилом.
Для конкретной категории или любой конкретики в директиве, в конце правила ставится $
#5 8 июня 2016 в 15:15
garry, спасибо!
Зашел, посмотрел, пишет результат: запрещен правилом /articles/buhgalterija-i-ekonomika/oborudovanie
А если так, то разрешен: /articles/buhgalterija-i-ekonomika, но закрывать полностью категорию не надо.
Что то читаю читаю и не понимаю… scratch
А кто сталкивался с закрытием категории вложенности второго уровня на сайте?
#6 8 июня 2016 в 15:29
garry, вот смотрите, есть категория — /articles/obrazovanie-i-obuchenie — пишу ее, он почему то запрещает ее правилом.
Убираю один символ — правилом разрешен пишет.
Аналогичная категория и не только она — /articles/buhgalterija-i-ekonomika — правилом разрешена.
При этом в той, что запрещена нет ни одной статьи, я хочу ее закрыть а он мне ЗАПРЕЩЕНО !!!
А в других хоть одна, но все же есть статейка и разрешено… Не понятно… shockscratch
#7 8 июня 2016 в 15:59

При этом в той, что запрещена нет ни одной статьи, я хочу ее закрыть а он мне ЗАПРЕЩЕНО !!!

skewes
Я вообще ничего не понял, что вы делаете. Но то что запрещено вам пишет, это и есть закрыто от индексации.
#8 8 июня 2016 в 16:25
Ааааа stukкурья моя голова!!! Понятно))) спасибо! А я взял удалил обратно все категории. Эх… Заново придётся делать)
#9 9 июня 2016 в 07:22

Я вообще ничего не понял, что вы делаете. Но то что запрещено вам пишет, это и есть закрыто от индексации.

garry

Захожу в вебмастер яндекса — Настройка индексирования — Анализ robot.txt.
Там под самим робот.тиксти нажимаюСписок URLдобавить
Ввожу — /articles/buhgalterija-i-ekonomika/arendnye-otnoshenija
Результат — запрещен правилом /articles/buhgalterija-i-ekonomika/arendnye-otnoshenija

Так эта категория закрытая получается?
#10 9 июня 2016 в 09:06

Так эта категория закрытая получается?

skewes
да, вы проверьте любой урл из этой категории(статью) и если он запрещен, значит все нормально.
#11 9 июня 2016 в 11:04
Спасибо, garry, только дело в том, что:

вы проверьте любой урл из этой категории(статью) и если он запрещен, значит все нормально.

в этих категориях нет статей вот я и решил их закрыть от индексации, пока статей нет. smile
Потому как начитался, где пишут что хорошо, когда в поиске страниц много, даже пустых, а где пишут, что не надо этого делать.
И так как посещаемость сайта не возросла от наличия пустых страниц в результатах поиска, поэтому и пришел к выводу, что зачем они там нужны.
#12 9 июня 2016 в 11:36

Потому как начитался, где пишут что хорошо, когда в поиске страниц много, даже пустых, а где пишут, что не надо этого делать.

skewes
Меньше читайте всякие бложики
Насчет нет статей, но проверить то надо, а вдруг вы не правильно закрыли или варианты, не там или выше еще есть дерективы разрешающие.
В общем можно просто придумать любой урл в этой категории статей и вставить в проверку и если закрыт, тогда все ок.
#13 12 июля 2017 в 11:55
Здравия. Подскажите верно ли составлен файл robots.txt для сайта pravdu.ru ?

User-agent: Yandex
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /users/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Host: pravdu.ru

User-agent: *
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /users/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Sitemap: pravdu.ru/sitemap.xml
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.

Похожие темы

Robots.txt для instantcms 2

SEO & PR Создана 4 года назад 19 сообщений

Вопрос по robots.txt

SEO & PR Создана 4 года назад 7 сообщений

robots.txt

SEO & PR Создана 3 года назад 7 сообщений

Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.