Robots.txt

Что именно закрывать?

 
Посетитель
small user social cms
Сообщений: 75
Недавно у меня появился сайт (городской), наполняю потихоньку, что-то делаю, но рабочим его называть еще рано.
Сейчас дошел до того, что нужно сделать роботс. Но, будучи человеком далеким от интерента, сео и всех технических моментов, я не понимаю что конкретно нужно там запрещать/разрешать.

Читал здесь ветки на эту тему, но так и не понял, что нужно именно мне с моим сайтом и как это прописывается.

Мне нужно чтобы индексировались основные страницы,новости, объявления, каталог, форум, а вот что там с пагинацией и прочими вещами я не знаю.
Прошу подсказки знатоков по этому вопросу.

P.S.
У одного знакомого тоже есть портал, но не городской, как у меня. Вот его роботс.
User-Agent: *
Disallow: /app
Disallow: /apanel
Disallow: /modules
Disallow: /board/search/*
Disallow: /user/*
Disallow: /*?
Disallow: /*?*
Disallow: /votes/vote/*
Disallow: /yandex-search.html

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Можно ли позаимствовать у него?)

Заранее спасибо за помощь.
Посетитель
small user social cms
Медаль
Сообщений: 352
today:
P.S.
У одного знакомого тоже есть портал, но не городской, как у меня. Вот его роботс.
User-Agent: *
Disallow: /app
Можно ли позаимствовать у него?)
Позвони знакомому, принеси ему пива разливного двушешку с сухариками .
И слушай что он там будет рассказывать .
Реклама
cms
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3102
today:
Можно ли позаимствовать у него?)

нет


http://instantcms.ru/blogs/instantdev/optimalnyi-robots-txt-chast-2.html

http://instantcms.ru/blogs/instantdev/optimalnyi-robots-txt.html

http://instantcms.ru/forum/thread18396.html

Читаем и еще раз читаем, ибо каждый случай уникальный и чужого тут точно брать не надо
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 653
Ребята, подскажите пожалуйста.
Если на главной выводится лента активности, то как ее можно скрыть?
Disallow: /activity - ?
И " Случайную запись"
Disallow: /random - ?
Посетитель
small user social cms
Сообщений: 75
Jestik:

today:
Можно ли позаимствовать у него?)

нет


http://instantcms.ru/blogs/instantdev/optimalnyi-robots-txt-chast-2.html

http://instantcms.ru/blogs/instantdev/optimalnyi-robots-txt.html

http://instantcms.ru/forum/thread18396.html

Читаем и еще раз читаем, ибо каждый случай уникальный и чужого тут точно брать не надо

Спасибо, буду перечитывать. Надеюсь, что до меня дойдет все-таки)
Посетитель
small user social cms
Сообщений: 75
Геннадий Иванович:

today:
P.S.
У одного знакомого тоже есть портал, но не городской, как у меня. Вот его роботс.
User-Agent: *
Disallow: /app
Можно ли позаимствовать у него?)
Позвони знакомому, принеси ему пива разливного двушешку с сухариками .
И слушай что он там будет рассказывать .

Не совсем понял иронии
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 861
Сейчас я дам Вам роботс, выдерите что нибудь для себя.
Показать
Редактировалось: 1 раз (Последний: 11 апреля 2016 в 18:26)
Посетитель
small user social cms
МедальАвторитет форумаПочетный донор проектаКубок зрительских симпатий
Сообщений: 3102
polet:
Disallow: /install/

stuk
laugh

У меня нет слов)
InstantCMS Team
small user social cms
МедальАвторитет форумаКубок зрительских симпатий
Сообщений: 4576
Jestik:
У меня нет слов)
У меня их давно нет в вопросах, касаемых файла robots)
Что проще ведь, посмотреть документацию по этому файлу и подумать. Но это для слабаков видимо, лучше пальцем в небо потыкать и написать абсурд)

polet:
Disallow: /backup*
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /admin/
Disallow: /languages/
Поисковики эти пути никогда не увидят. никогда. А для "исследователей" вы любезно раскрываете свое дерево директорий. Да и судя по набору запретов у вас вообще смешаны две ветки InstantCMS - т.е. некоторых запрещенных директорий (или путей url) у вас вообще нет.

polet:
Disallow: /templates*
Зачем запрещать индексировать в том числе и изображения шаблона? Но в данном случае это конечно дело ваше и в этой строке хотя бы есть смысл.

Файл robots.txt составляется исключительно под конкретный сайт и под конкретные задачи и его нет смысла копировать с любого другого сайта. Да, есть некий базовый набор правил, но обычно он заключается в указании основного хоста и пути к сайтмапу.

p.s. polet, прячьте, пожалуйста, портянки под спойлер.
Редактировалось: 2 раз (Последний: 11 апреля 2016 в 18:35)
Видео каталог для InstantCMS | Аудио каталог для InstantCMS | Мы Вконтакте | Предложение для спонсоров
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 861
Fuze:

Jestik:
У меня нет слов)
У меня их давно нет в вопросах, касаемых файла robots)
Что проще ведь, посмотреть документацию по этому файлу и подумать. Но это для слабаков видимо, лучше пальцем в небо потыкать и написать абсурд)

polet:
Disallow: /backup*
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /admin/
Disallow: /languages/
Поисковики эти пути никогда не увидят. никогда. А для "исследователей" вы любезно раскрываете свое дерево директорий. Да и судя по набору запретов у вас вообще смешаны две ветки InstantCMS - т.е. некоторых запрещенных директорий (или путей url) у вас вообще нет.

polet:
Disallow: /templates*
Зачем запрещать индексировать в том числе и изображения шаблона? Но в данном случае это конечно дело ваше и в этой строке хотя бы есть смысл.

Файл robots.txt составляется исключительно под конкретный сайт и под конкретные задачи и его нет смысла копировать с любого другого сайта. Да, есть некий базовый набор правил, но обычно он заключается в указании основного хоста и пути к сайтмапу.

p.s. polet, прячьте, пожалуйста, портянки под спойлер.

Спасибо за комментарий, буду исправлять))
Посетитель
small user social cms
Медаль
Сообщений: 415
Задам вопрос, который наверное уже тысячу раз звучал. А если вообще забить на этот роботс и не заморачивать себе голову? наверняка ведь тысячи и тысячи вполне успешных сайтов живут без него и не парятся
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 861
polet:

Fuze:

Jestik:
У меня нет слов)
У меня их давно нет в вопросах, касаемых файла robots)
Что проще ведь, посмотреть документацию по этому файлу и подумать. Но это для слабаков видимо, лучше пальцем в небо потыкать и написать абсурд)

polet:
Disallow: /backup*
Disallow: /components/
Disallow: /wysiwyg/
Disallow: /includes/
Disallow: /modules/
Disallow: /filters/
Disallow: /admin/
Disallow: /languages/
Поисковики эти пути никогда не увидят. никогда. А для "исследователей" вы любезно раскрываете свое дерево директорий. Да и судя по набору запретов у вас вообще смешаны две ветки InstantCMS - т.е. некоторых запрещенных директорий (или путей url) у вас вообще нет.

polet:
Disallow: /templates*
Зачем запрещать индексировать в том числе и изображения шаблона? Но в данном случае это конечно дело ваше и в этой строке хотя бы есть смысл.

Файл robots.txt составляется исключительно под конкретный сайт и под конкретные задачи и его нет смысла копировать с любого другого сайта. Да, есть некий базовый набор правил, но обычно он заключается в указании основного хоста и пути к сайтмапу.

p.s. polet, прячьте, пожалуйста, портянки под спойлер.

Спасибо за комментарий, буду исправлять))

Скажите пожалуйста, Disallow: /templates* отвечает за какие изображения? За изображения которые находятся в статьях, или же фотоальбомы? Если они в статьях, и я запрещаю индексацию, то статьи будут индексироваться без фото?
Посетитель
small user social cms
Сообщений: 75
Всем спасибо за ответы, закрываю тему.
В начало страницы
Предыдущая темаСледующая тема Перейти на форум: