Недавно у меня появился сайт (городской), наполняю потихоньку, что-то делаю, но рабочим его называть еще рано.
Сейчас дошел до того, что нужно сделать роботс. Но, будучи человеком далеким от интерента, сео и всех технических моментов, я не понимаю что конкретно нужно там запрещать/разрешать.
Читал здесь ветки на эту тему, но так и не понял, что нужно именно мне с моим сайтом и как это прописывается.
Мне нужно чтобы индексировались основные страницы, новости, объявления, каталог, форум, а вот что там с пагинацией и прочими вещами я не знаю.
Прошу подсказки знатоков по этому вопросу.
P.S.
У одного знакомого тоже есть портал, но не городской, как у меня. Вот его роботс.
User-Agent: *
Disallow: /app
Disallow: /apanel
Disallow: /modules
Disallow: /board/search/*
Disallow: /user/*
Disallow: /*?
Disallow: /*?*
Disallow: /votes/vote/*
Disallow: /yandex-search.html
Host: site.ru
Sitemap: site.ru/sitemap.xml
Можно ли позаимствовать у него?)
Заранее спасибо за помощь.
Robots.txt
ЕСТЬ РЕШЕНИЕ
ЗАКРЫТО
Что именно закрывать?
#1
9 апреля 2016 в 16:28
#2
9 апреля 2016 в 16:42
P.S.
У одного знакомого тоже есть портал, но не городской, как у меня. Вот его роботс.
User-Agent: *
Disallow: /app
Позвони знакомому, принеси ему пива разливного двушешку с сухариками .Можно ли позаимствовать у него?)
И слушай что он там будет рассказывать.
#3
9 апреля 2016 в 17:09
Можно ли позаимствовать у него?)
нет
instantcms.ru/blogs/instantdev/optimalnyi-robots-txt-chast-2.html
instantcms.ru/blogs/instantdev/optimalnyi-robots-txt.html
instantcms.ru/forum/thread18396.html
Читаем и еще раз читаем, ибо каждый случай уникальный и чужого тут точно брать не надо
Сегодня в 16:33
#4
10 апреля 2016 в 09:08
Ребята, подскажите пожалуйста.
Если на главной выводится лента активности, то как ее можно скрыть?
Disallow: /activity — ?
И "Случайную запись"
Disallow: /random — ?
Если на главной выводится лента активности, то как ее можно скрыть?
Disallow: /activity — ?
И "Случайную запись"
Disallow: /random — ?
#5
10 апреля 2016 в 21:45
Можно ли позаимствовать у него?)
нет
instantcms.ru/blogs/instantdev/optimalnyi-robots-txt-chast-2.html
instantcms.ru/blogs/instantdev/optimalnyi-robots-txt.html
instantcms.ru/forum/thread18396.html
Читаем и еще раз читаем, ибо каждый случай уникальный и чужого тут точно брать не надо
Спасибо, буду перечитывать. Надеюсь, что до меня дойдет все-таки)
#6
10 апреля 2016 в 21:46
P.S.
У одного знакомого тоже есть портал, но не городской, как у меня. Вот его роботс.
User-Agent: *
Disallow: /appПозвони знакомому, принеси ему пива разливного двушешку с сухариками .Можно ли позаимствовать у него?)
И слушай что он там будет рассказывать .
Не совсем понял иронии
Сейчас я дам Вам роботс, выдерите что нибудь для себя.
User-agent: Yandex
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /templates*
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /catalog*
Disallow: /languages/
Disallow: /users/
Disallow: /users
Disallow: /core/
Disallow: /install/
Disallow: /video/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /forum/memberlist.php*
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Disallow: /passremind.html
Disallow: /photos/
Disallow: /photos
Disallow: /plugins/
Disallow: /clubs/
Disallow: /clubs
Disallow: /actions/
Disallow: /actions
Disallow: /backphone/
Disallow: /backphone
User-agent: *
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /templates*
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /forum/memberlist.php*
Disallow: /users/
Disallow: /users
Disallow: /catalog*
Disallow: /core/
Disallow: /install/
Disallow: /video/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Disallow: /passremind.html
Disallow: /photos/
Disallow: /photos
Disallow: /plugins/
Disallow: /clubs/
Disallow: /clubs
Disallow: /actions/
Disallow: /actions
Disallow: /backphone/
Disallow: /backphone
Host: Ваш сайт
User-agent: Yandex
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /templates*
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /catalog*
Disallow: /languages/
Disallow: /users/
Disallow: /users
Disallow: /core/
Disallow: /install/
Disallow: /video/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /forum/memberlist.php*
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Disallow: /passremind.html
Disallow: /photos/
Disallow: /photos
Disallow: /plugins/
Disallow: /clubs/
Disallow: /clubs
Disallow: /actions/
Disallow: /actions
Disallow: /backphone/
Disallow: /backphone
User-agent: *
Disallow: /backup*
Disallow: /board/
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /templates*
Disallow: /modules/
Disallow: /filters/
Disallow: /languages/
Disallow: /forum/memberlist.php*
Disallow: /users/
Disallow: /users
Disallow: /catalog*
Disallow: /core/
Disallow: /install/
Disallow: /video/
Disallow: /login/
Disallow: /admin/
Disallow: /registration/
Disallow: /tag/
Disallow: /search/
Disallow: /rss/
Disallow: /*search
Disallow: /*comments
Disallow: /*login
Disallow: /*admin
Disallow: /*registration
Disallow: /index.php$
Disallow: /passremind.html
Disallow: /photos/
Disallow: /photos
Disallow: /plugins/
Disallow: /clubs/
Disallow: /clubs
Disallow: /actions/
Disallow: /actions
Disallow: /backphone/
Disallow: /backphone
Host: Ваш сайт
#8
11 апреля 2016 в 17:55
Disallow: /install/
У меня нет слов)
У меня их давно нет в вопросах, касаемых файла robots)У меня нет слов)
Что проще ведь, посмотреть документацию по этому файлу и подумать. Но это для слабаков видимо, лучше пальцем в небо потыкать и написать абсурд)
Поисковики эти пути никогда не увидят. никогда. А для "исследователей" вы любезно раскрываете свое дерево директорий. Да и судя по набору запретов у вас вообще смешаны две ветки InstantCMS — т.е. некоторых запрещенных директорий (или путей url) у вас вообще нет.Disallow: /backup*
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /admin/
Disallow: /languages/
Зачем запрещать индексировать в том числе и изображения шаблона? Но в данном случае это конечно дело ваше и в этой строке хотя бы есть смысл.Disallow: /templates*
Файл robots.txt составляется исключительно под конкретный сайт и под конкретные задачи и его нет смысла копировать с любого другого сайта. Да, есть некий базовый набор правил, но обычно он заключается в указании основного хоста и пути к сайтмапу.
p.s. polet, прячьте, пожалуйста, портянки под спойлер.
#10
11 апреля 2016 в 20:00
У меня их давно нет в вопросах, касаемых файла robots)У меня нет слов)
Что проще ведь, посмотреть документацию по этому файлу и подумать. Но это для слабаков видимо, лучше пальцем в небо потыкать и написать абсурд)
Поисковики эти пути никогда не увидят. никогда. А для "исследователей" вы любезно раскрываете свое дерево директорий. Да и судя по набору запретов у вас вообще смешаны две ветки InstantCMS — т.е. некоторых запрещенных директорий (или путей url) у вас вообще нет.Disallow: /backup*
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /admin/
Disallow: /languages/
Зачем запрещать индексировать в том числе и изображения шаблона? Но в данном случае это конечно дело ваше и в этой строке хотя бы есть смысл.Disallow: /templates*
Файл robots.txt составляется исключительно под конкретный сайт и под конкретные задачи и его нет смысла копировать с любого другого сайта. Да, есть некий базовый набор правил, но обычно он заключается в указании основного хоста и пути к сайтмапу.
p.s. polet, прячьте, пожалуйста, портянки под спойлер.
Спасибо за комментарий, буду исправлять))
#11
11 апреля 2016 в 21:39
Задам вопрос, который наверное уже тысячу раз звучал. А если вообще забить на этот роботс и не заморачивать себе голову? наверняка ведь тысячи и тысячи вполне успешных сайтов живут без него и не парятся
#12
12 апреля 2016 в 12:00
У меня их давно нет в вопросах, касаемых файла robots)У меня нет слов)
Что проще ведь, посмотреть документацию по этому файлу и подумать. Но это для слабаков видимо, лучше пальцем в небо потыкать и написать абсурд)
Поисковики эти пути никогда не увидят. никогда. А для "исследователей" вы любезно раскрываете свое дерево директорий. Да и судя по набору запретов у вас вообще смешаны две ветки InstantCMS — т.е. некоторых запрещенных директорий (или путей url) у вас вообще нет.Disallow: /backup*
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /admin/
Disallow: /languages/
Зачем запрещать индексировать в том числе и изображения шаблона? Но в данном случае это конечно дело ваше и в этой строке хотя бы есть смысл.Disallow: /templates*
Файл robots.txt составляется исключительно под конкретный сайт и под конкретные задачи и его нет смысла копировать с любого другого сайта. Да, есть некий базовый набор правил, но обычно он заключается в указании основного хоста и пути к сайтмапу.
p.s. polet, прячьте, пожалуйста, портянки под спойлер.
Спасибо за комментарий, буду исправлять))
Скажите пожалуйста, Disallow: /templates* отвечает за какие изображения? За изображения которые находятся в статьях, или же фотоальбомы? Если они в статьях, и я запрещаю индексацию, то статьи будут индексироваться без фото?
#13
13 апреля 2016 в 22:50
Всем спасибо за ответы, закрываю тему.