Опять robots.txt, яндекс

А в чем проблема то, ну не закрывайте.
Но, как говорится и палка раз в год стреляет. Это все "суеверный" страх)))
От этого запрета в роботс, для сайта никаких проблем. У некоторых по таким мелочам база клиентов с номерами утекает и тд.

Яша проиндексирует сайт за неделю-две. За день-два такие вещи не происходят(касается Яндекса)

Да уж, это точно, если заявку на внесение в каталог рассматривают 3 месяца то может они там сначала все распечатывают, заверяют подписями и рассматривают в 10 департаментах.

Если помочь индексации, то будет все гораздо быстрее. Твиттер, фейсбук и тд и тп.

garry, интересен момент
Disallow: /search # так не будет работать
Disallow: /*search # так будет
Это на чем основано?
у меня закрыты теги как в первом варианте и только что проверил в webmaster.yandex все пучком и яндекс пишет что я намеренно запретил теги. а вы пишете что не должно работать
зачем звездочки после слеша?
также интересует зачем прописывать два варианта
Disallow: /admin/
Disallow: /*admin
как понимаю вторая запись может закрыть еще и профиль админа но смысл не могу понять...
Если объясните на примере *search буду благодарен.

Два варианта прописал, просто не помню какие, так по памяти и по быстрому, зато наверняка)))
Disallow: /search # так мы закрываем конкретно только все что после search, ссылки такого вида instantcms.ru/search&query=%F1%E0%E9%F2
Disallow: /*search # так закрываем абсолютно все до и после search, то есть и поиск закрыли, который выдает
ссылки вида instantcms.ru/index.php?view=search&query=%F1%E0%E9%F2 и тд, собственно введите что нить в поиск и проверьте потом ссылку результата. Плюс еще таких моментов хватает.
Проверьте свой вариант и мой в панели вебмастера. Поиск боты так же индексируют и куча мусора будет в индексе.
А то что я привел выше, легко подправить под любой сайт, можно добавить нужных условий или сократить используя доступный функционал правил.

Disallow: /*search # так закрываем абсолютно все до и после search, то есть и поиск закрыли, который выдает
ссылки вида instantcms.ru/index.php?view=search&query=%F1%E0%E9%F2 и тд

ага понял)
не мог сообразить где можно найти ссылки такого вида (робот их 100пудово сам не проиндексирует)
И есть один минус, если это слово попадется в названии блога, клуба, статьи, видео или имени юзера, то тоже попадет под запрет!

Disallow: /search # так мы закрываем конкретно только все что после search,

неа)
Disallow: /search/ # так только все что после
Disallow: /search # а так все что после и сам поиск (хотя это вы и имели ввиду) но учитывая вопрос от lezginka.ru

и какая разница между
Disallow: /rss/
и
Disallow: /rss

на всякий случай уточнил чтоб люди не путали)

В принципе понял но не до конца — не совсем правильно закрывать то что робот сам не увидит, вообще звездочки и незакрытые слешем разделы немного неосмотрительно закрывать, так, как написал выше, могут под запрет попасть и другие страницы.

Ничего нужного под запрет не попадет, тут конкретизируется путь.
Но если нужно что то отурыть даже в закрытом пути, существует деректива Allow:, так что сконструировать под себя можно отличный файлик и будет и индексация отличная без санкций и управляемость.
А попадает поиск в индекс на раз, яндекс бар, ссылочки пользователя и куча других моментов.
Но и не плохой пример иллюстрирующий работу запрета для других вариантов ссылок.

Ничего нужного под запрет не попадет, тут конкретизируется путь.

если прописать это:
Disallow: /*admin
то мы закроем возможные статью, блог/раздел блога, клуб
сайт/статья/функции панели admin
или юзера
сайт/юзер/мега admin колян
зы: я о том что предусмотреть все не просто, поэтому нужно прописывать более конкретно...
но это мелочи так как это всего возможные варианты как и возможная индексация)

По этому и написал, что есть некий макет, а подстроить под себя, уже не составит труда.
И это уже мелочи)))

Ребята, вы тут столько всего понаписали! Не стоит такого городить в роботсе, этот документ нужен всего лишь для запрета основных разделов сайта и страниц которые не нужно индексировать по тем или иным причинам. Причем вес со ссылок которые будут вести на запрещенные страницы все равно будет уходить и всегда есть шанс что робот может проигнорировать те или иные пункты в роботсе (особенно Гугль такое любит)… Поэтому делаем рекомендательный роботс и не более

Исправил robots.txt 1-го числа. Сейчас яндекс вебмастер не ругается. Робот последний раз был 11 числа. Сегодня 13. В индексе по прежнему только главная страница :(

С первого числа был только один АП у Яндекса за конец февраля… Так что ничего страшного, еще один-два Апа подождите

soxom, а почему видео нужно закрывать роботсом ?

Disallow: /rss/
это закрыл, чтобы не воровали или для чего ?

и какая разница между
Disallow: /rss/
и
Disallow: /rss

Видео я не закрывал, а закрыл каналы пользователей )))
Что касается rss, то мне не нужно чтобы робот ходил по ленте, причин масса, хотя бы то же самое дублирование контента

Во первых не стоит забывать о правилах файла, по этому стоит серьезно отнестись к этому. Один из важнейших файлов, можно такого наколбасить… Это не упрек, всего знать нельзя.

Disallow: /search # так не будет работать
Disallow: /*search # так будет
Disallow: /index.php # закроет все что с него начинается и не исполнит задачу убрать дубль
Disallow: /index.php$ # так сработает как и задумано.

Не вижу необходимости в ваших правках… Мало того, для некоторых сайтов может быть опасна ваша система запретов. Ведь при вашем роботсе любая страничка в урле которой содержится допустим search не будет проиндексирована. То есть статья в блоге с названием допустим "используем функцию Search", не будет проиндексирована! Поэтому не усложняем себе жизнь ))) Работать будут оба варианта, но первый вариант запрещает индексирование раздела, а второй вариант запрещает к индексации все… Кому нужные такие сложности?

На самом деле закрыть стоит все от индексации, что не должно быть в индексе. всякое бывает и можно где то накосячить и потом будет мучительно больно...

Не стоит пытаться закрыть все. Главное закрыть мусор, а это делается реально с помощью всего трех запретов )))

Два варианта прописал, просто не помню какие, так по памяти и по быстрому, зато наверняка)))
Disallow: /search # так мы закрываем конкретно только все что после search, ссылки такого вида instantcms.ru/search&query=%F1%E0%E9%F2
Disallow: /*search # так закрываем абсолютно все до и после search, то есть и поиск закрыли, который выдает
ссылки вида instantcms.ru/index.php?view=search&query=%F1%E0%E9%F2 и тд, собственно введите что нить в поиск и проверьте потом ссылку результата. Плюс еще таких моментов хватает.

А если у нас в роботсе стоит запрет на index.php и на search, то эти ссылки итак не проиндексируются… Так зачем изобретать велосипед?

soxom, Уважаемый, поверьте мне на слово, чем качественней составлен этот файл тем удачнее и без без проблемно все проходит.
Если вы прочитали бы более подробно а не эмоциями, то увидели бы что это набросок дающий понятие и существуют различные правила включая Allow:, о чем и написал.
Соответственно все то количество буковок что вы написали сводится к оставляйте кривой роботс и пусть все будет не управляемо.

Мало того, для некоторых сайтов может быть опасна ваша система запретов.
Ведь при вашем роботсе любая страничка в урле которой содержится допустим search не будет проиндексирована.

Читать выше о запретах и разрешениях. Это не второстепенный файл, с которым можно играться как угодно. Один раз составить правильно и универсально, потом только регулировать останется. И проблем будет в разы меньше. Запрещая одно, легко разрешить все что угодно или запретить по условию и тд.

Не стоит пытаться закрыть все. Главное закрыть мусор, а это делается реально с помощью всего трех запретов

Вы это серьезно?

А если у нас в роботсе стоит запрет на index.php и на search, то эти ссылки итак не проиндексируются… Так зачем изобретать велосипед?

А если правильно сделать то и не будет косяков. Опять же выше к разрешениям и условиям. Можно и из пушки по воробьям палить)))

Уважаемый, я знаю что говорю, по крайней мере последние лет пять при изначально составленном правильно файле ни один сайтик клиентов не получил тормозов из за всяких случайностей со стороны клиента или других. Плюс вывод из под фильтров без грамотного файлика, как? И еще примеров масса...
Тут все просто, один раз составил, ввел максимум возможного, потом просто регулируешь, пополняешь и тд.
Займет время минимум, поможет избежать массу проблем.
И о чем мы спорим, или вы оспариваете вообще необходимость этого файла и стоит "всего три строчки" или оставить любой кривой и все будет ок.
Собственно это не вопрос, просто мысли и отвечать не надо ибо тема превратится холивар или просто в воду.

Решение каждого иметь что то на что можно опереться или кривое, а потом когда уже индекс перекосит парится.

Не один проект на инстант был с перекошенным индексом и приходится и приходилось это дело задним числом исправлять, время, деньги, нервы владельцев.

По этому вопрос тут не в нас и пикирование между нами, с мереньем письками, а главное дать представление пользователям о правильном использовании тех или иных функций, которые помогут им продвигать свои проекты!!!

PS

не совсем правильно закрывать то что робот сам не увидит

Кстати вот пример как бот может увидеть поиск.
Любимая фраза админов и модераторов " Поиском пользоваться научитесь, все давно описано" и ссылка на поиск или на уже готовые результаты поиска. В итоге имеем в индексе кучу хлама )))

И вариантов кроме поиска масса.

Уважаемый, я знаю что говорю, по крайней мере последние лет пять при изначально составленном правильно файле ни один сайтик клиентов не получил тормозов из за всяких случайностей со стороны клиента или других. Плюс вывод из под фильтров без грамотного файлика, как? И еще примеров масса...

Ну так и делайте роботсы так как считаете правильно. Наблюдая за аудиторией Инстанта, я могу со стопроцентной уверенностью сказать что сейчас 20-30% участников стали переделывать свои роботсы потому что вы написали что тот вариант не работает. И представляю сколько будет ошибок… А ведь работает и старый вариант, причем я не сказал бы что он хуже, наоборот. Хотя я не отрицаю что ваш также рабочий, но смысла в нем не вижу, так как все мусорные разделы мы отрезаем:
Disallow: /index.php
Disallow: /search
Disallow: /rss

То есть поставив эти строчки мы уже запретили все что только можно запретить из ненужного. Далее можно запретить тот или иной раздел, профили и тому подобное, то что нам не нужно, но и это запрещается просто и легко. И не нужно усложнять и придумывать какие-то схемы бешеные. Поставили и забыли

soxom, Уважаемый, поверьте мне на слово, чем качественней составлен этот файл тем удачнее и без без проблемно все проходит.

Я редко кому верю на слово и всегда проверяю все варианты.

Если вы прочитали бы более подробно а не эмоциями, то увидели бы что это набросок дающий понятие и существуют различные правила включая Allow:, о чем и написал.

Я не усомнился в том что ваш роботс работает, я просто написал что ваши настройки нужны только вам и никому больше. Не стоит усложнять жизнь ни себе ни окружающим.
Что касается Allow, то об этом уже писал пивуа… Я вообще считаю, что данная директива в большей мере анахронизм, которую стоит использовать в крайне редких случаях. Одним словом, для 99% сайтов на Инстанте эта директива и не нужна.

Любимая фраза админов и модераторов " Поиском пользоваться научитесь, все давно описано" и ссылка на поиск или на уже готовые результаты поиска. В итоге имеем в индексе кучу хлама )))

А у нас итак поиск в роботсе закрыт — Disallow: /search и Disallow: /index.php так что враг не пройдет фэйсконтроль, он не знает пролетарский пароль )))

Уважаемые пользователи Инстанта, не усложняйте себе жизнь. Занимайтесь своими проектами и не увлекайтесь теми или иными схемами с построением роботсов (все роботсы и обсуждения почему и зачем можно найти и на форуме и в блогах, там есть все что нужно). Продумали один раз что нужно закрыть, закрыли, проверили на всякий случай в Яндексе и забыли. Лучше потратить это время на свой проект, чем искать тайную схему попадания в ТОП с помощью роботса.

P.S.: А вообще, лучший способ, просмотреть как сделано на самом Яндексе — www.yandex.ru/robots.txt я там звездочек к своему удивлению не заметил...

P.P.S.: И тут не нашел www.marketgid.com/robots.txt и тута нет lenta.ru/robots.txt… Наверное на ленте, маркетгиде и яндексе просто плохие вебмастера сидят.

Тема не для спора, думаю каждый решит для себя то что ему нужно.
Но факт остается фактом, это важный файл и удобное средство регулирования.

P.S.: А вообще, лучший способ, просмотреть как сделано на самом Яндексе — www.yandex.ru/robots.txt я там звездочек к своему удивлению не заметил...

Вот вы опять приводите не подумав, что структура сайта имеет свои особенности и файл делается именно к сайту а не на показ. Маны того же яндекса почитайте на досуге.(опять не упрек)
Allow анахронизм? . Только не надо отвечать )))

Мною приведенные варианты это всего лишь шаблон, по которому легко сделать для себя. Время будет выложу что нить универсальное со всякими приблудами.
Собственно спор бесполезен и тупиковый. Я написал все что хотел.

Мелочей в продвижении и тем паче успешном продвижении не бывает, комплекс работ позволит быть на коне!!!

Мне столько оповещений об ответах в почту пришло!😊Спасибо всем откликнувшимся. В принципе предполагал, что нужно еще подождать. В общем пока тему не закрываю. Отпишусь, как страницы попадут в индекс.
З.Ы. В твиттер ссылки добавлял недавно. Sitemap есть.

В твиттер ссылки добавлял недавно. Sitemap есть.

Лучше настроить трансляцию сразу в твиттер, фейсбук…