Как в robots.txt, запретить индексацию определенной статьи
Подскажите, как в robots.txt, запретить индексацию определенной статьи, ну, например:
maydomen.ru/obratnaja-svjaz.html (Обратная связь).
Подскажите пожалуйста правильно ли я закрыл категорию от индексации:
Disallow: /articles/buhgalterija-i-ekonomika/arendnye-otnoshenija — ?
А вы зайдите в панель веб мастера яндекса или гугла и в разделе проверки robots.txt, вставьте урл который у вас должен быть закрыт и проверьте. Плюс проверьте, не запретили ли вы все нужное своим правилом.Подскажите пожалуйста правильно ли я закрыл категорию от индексации:
Для конкретной категории или любой конкретики в директиве, в конце правила ставится $
Зашел, посмотрел, пишет результат: запрещен правилом /articles/buhgalterija-i-ekonomika/oborudovanie
А если так, то разрешен: /articles/buhgalterija-i-ekonomika, но закрывать полностью категорию не надо.
Что то читаю читаю и не понимаю…
А кто сталкивался с закрытием категории вложенности второго уровня на сайте?
Убираю один символ — правилом разрешен пишет.
Аналогичная категория и не только она — /articles/buhgalterija-i-ekonomika — правилом разрешена.
При этом в той, что запрещена нет ни одной статьи, я хочу ее закрыть а он мне ЗАПРЕЩЕНО !!!
А в других хоть одна, но все же есть статейка и разрешено… Не понятно…
Я вообще ничего не понял, что вы делаете. Но то что запрещено вам пишет, это и есть закрыто от индексации.При этом в той, что запрещена нет ни одной статьи, я хочу ее закрыть а он мне ЗАПРЕЩЕНО !!!
Я вообще ничего не понял, что вы делаете. Но то что запрещено вам пишет, это и есть закрыто от индексации.
Захожу в вебмастер яндекса — Настройка индексирования — Анализ robot.txt.
Там под самим робот.тиксти нажимаюСписок URLдобавить
Ввожу — /articles/buhgalterija-i-ekonomika/arendnye-otnoshenija
Результат — запрещен правилом /articles/buhgalterija-i-ekonomika/arendnye-otnoshenija
Так эта категория закрытая получается?
да, вы проверьте любой урл из этой категории(статью) и если он запрещен, значит все нормально.Так эта категория закрытая получается?
в этих категориях нет статей вот я и решил их закрыть от индексации, пока статей нет.вы проверьте любой урл из этой категории(статью) и если он запрещен, значит все нормально.
Потому как начитался, где пишут что хорошо, когда в поиске страниц много, даже пустых, а где пишут, что не надо этого делать.
И так как посещаемость сайта не возросла от наличия пустых страниц в результатах поиска, поэтому и пришел к выводу, что зачем они там нужны.
Меньше читайте всякие бложикиПотому как начитался, где пишут что хорошо, когда в поиске страниц много, даже пустых, а где пишут, что не надо этого делать.
Насчет нет статей, но проверить то надо, а вдруг вы не правильно закрыли или варианты, не там или выше еще есть дерективы разрешающие.
В общем можно просто придумать любой урл в этой категории статей и вставить в проверку и если закрыт, тогда все ок.
User-agent: Yandex
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /users/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Host: pravdu.ru
User-agent: *
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /users/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Sitemap: pravdu.ru/sitemap.xml