robots.txt

Как в robots.txt, запретить индексацию определенной статьи

 
Посетитель
small user social cms
Сообщений: 38
Здравствуйте!
Подскажите, как в robots.txt, запретить индексацию определенной статьи, ну, например:
maydomen.ru/obratnaja-svjaz.html (Обратная связь).
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
Disallow: /obratnaja-svjaz.html
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Реклама
cms
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 643
Привет всем!
Подскажите пожалуйста правильно ли я закрыл категорию от индексации:

Disallow: /articles/buhgalterija-i-ekonomika/arendnye-otnoshenija - ?
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
skewes:
Подскажите пожалуйста правильно ли я закрыл категорию от индексации:
А вы зайдите в панель веб мастера яндекса или гугла и в разделе проверки robots.txt, вставьте урл который у вас должен быть закрыт и проверьте. Плюс проверьте, не запретили ли вы все нужное своим правилом.
Для конкретной категории или любой конкретики в директиве, в конце правила ставится $
Редактировалось: 3 раз (Последний: 8 июня 2016 в 14:30)
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 643
garry, спасибо!
Зашел, посмотрел, пишет результат: запрещен правилом /articles/buhgalterija-i-ekonomika/oborudovanie
А если так, то разрешен: /articles/buhgalterija-i-ekonomika, но закрывать полностью категорию не надо.
Что то читаю читаю и не понимаю... scratch
А кто сталкивался с закрытием категории вложенности второго уровня на сайте?
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 643
garry, вот смотрите, есть категория - /articles/obrazovanie-i-obuchenie - пишу ее, он почему то запрещает ее правилом.
Убираю один символ - правилом разрешен пишет.
Аналогичная категория и не только она - /articles/buhgalterija-i-ekonomika - правилом разрешена.
При этом в той, что запрещена нет ни одной статьи, я хочу ее закрыть а он мне ЗАПРЕЩЕНО !!!
А в других хоть одна, но все же есть статейка и разрешено... Не понятно... shock scratch
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
skewes:
При этом в той, что запрещена нет ни одной статьи, я хочу ее закрыть а он мне ЗАПРЕЩЕНО !!!
Я вообще ничего не понял, что вы делаете. Но то что запрещено вам пишет, это и есть закрыто от индексации.
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 643
Ааааа stuk курья моя голова!!! Понятно))) спасибо! А я взял удалил обратно все категории. Эх... Заново придётся делать)
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 643
garry:
Я вообще ничего не понял, что вы делаете. Но то что запрещено вам пишет, это и есть закрыто от индексации.

Захожу в вебмастер яндекса - Настройка индексирования - Анализ robot.txt.
Там под самим робот.тиксти нажимаю Список URLдобавить
Ввожу - /articles/buhgalterija-i-ekonomika/arendnye-otnoshenija
Результат - запрещен правилом /articles/buhgalterija-i-ekonomika/arendnye-otnoshenija

Так эта категория закрытая получается?
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
skewes:
Так эта категория закрытая получается?
да, вы проверьте любой урл из этой категории(статью) и если он запрещен, значит все нормально.
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 643
Спасибо, garry, только дело в том, что:
вы проверьте любой урл из этой категории(статью) и если он запрещен, значит все нормально.
в этих категориях нет статей вот я и решил их закрыть от индексации, пока статей нет. smile
Потому как начитался, где пишут что хорошо, когда в поиске страниц много, даже пустых, а где пишут, что не надо этого делать.
И так как посещаемость сайта не возросла от наличия пустых страниц в результатах поиска, поэтому и пришел к выводу, что зачем они там нужны.
Посетитель
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1897
skewes:
Потому как начитался, где пишут что хорошо, когда в поиске страниц много, даже пустых, а где пишут, что не надо этого делать.
Меньше читайте всякие бложики
Насчет нет статей, но проверить то надо, а вдруг вы не правильно закрыли или варианты, не там или выше еще есть дерективы разрешающие.
В общем можно просто придумать любой урл в этой категории статей и вставить в проверку и если закрыт, тогда все ок.
Редактировалось: 1 раз (Последний: 9 июня 2016 в 11:37)
Контент для ваших проектов. Копирайт всех видов от профессионалов. Создание и продвижение сайтов, реклама.
Посетитель
small user social cms
Сообщений: 2
Здравия. Подскажите верно ли составлен файл robots.txt для сайта https://pravdu.ru ?

User-agent: Yandex
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /users/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Host: https://pravdu.ru

User-agent: *
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /users/
Disallow: /core/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Sitemap: https://pravdu.ru/sitemap.xml
Как начать бизнес с нуля?
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.