Опять robots.txt, яндекс

Вот довольно интересный ролик www.megaindex.tv/programs/events/seo_parallelnyy_mir/ И верите или нет, в нем действительно большая доля истины про роботс )))

Вот вы опять приводите не подумав, что структура сайта имеет свои особенности и файл делается именно к сайту а не на показ. Маны того же яндекса почитайте на досуге.(опять не упрек)

Просто в Яндексе не усложняют себе жизнь. И ваша звездочка бывает нужна, но далеко не во всех случаях… Для примера, я рассмотрю ваш роботс и прокомментирую его

User-agent: *
Disallow: /backups/ — зачем? Вы думаете робот дойдет сюда?
Disallow: /backup/ — тоже самое. Пример — instantcms.ru/backups/
Disallow: /board/ — а доску объявлений зачем закрыли? Если не используете, то удалите вообще или напишите что запрещаем только если не используем доску
Disallow: /components/ — блин…
Disallow: /wysiwyg/ — тоже самое
Disallow: /includes/ — ух ты
Disallow: /modules/ — и?
Disallow: /filters/ — круто!
Disallow: /languages/ — супер!
Disallow: /users/ — тут промолчу, нужно закрываем, не нужно не закрываем
Disallow: /core/ — мдаааа...
Disallow: /login/ — по старой привычке обычно закрываю, но в целом, на любителя
Disallow: /admin/ — аналогично
Disallow: /registration/ — тоже самое
Disallow: /tag/ — сомневаюсь на счет этой директивы, так как если не ошибаюсь, все тэги идут через search
Disallow: /search/ — ну вот мы и закрыли самый мусор
Disallow: /rss/ — избавляемся от дублей
Disallow: /*search — зачем? Мы закрыли раздел поиска от индексации, а такая диретива ничем не ограниченная способна закрыть многие страницы на сайте
Disallow: /*comments — зачем?
Disallow: /*login — вот этот вариант возможен, но я предпочитаю 301 редиректом на основную гнать
Disallow: /*admin — промолчу, хотя мы уже закрыли все админовское, вы предлагаете пойти другим путем
Disallow: /*registration — вот блин...
Disallow: /index.php$ — что поставили вы знак доллара (продолжение), что не поставили, правило итак запрещает к индексации данный раздел. Можете проверить — webmaster.yandex.ru/robots.xml
Sitemap: домен/sitemaps.xml
Host: главное зеркало

Так что совершенно не понятно что вы тут доказываете )))

Я еще раз напишу, если вы все таки не прочитали. Нет тут готового файла. Это просто набор правил, как шаблон!!!
И исходя из того что там представлено легко (по примеру) сделать под свой проект.
Иногда лучше читать)))

Дальше будем мерится письками или работать?

мерится письками

это уже на сайт известного журнала :))


а если серьезно, было интересно

Нет тут набора правил (( Читаю всегда все и вся
Что касается писек, то не собираюсь даже, у меня все равно больше ))) Вы указали ошибочно что не работает директивы стандартного роботса, я вас подправил что работает и тот и другой вариант, а вот как раз ваш вариант спорный… Лучше в следующий раз просто попробуйте объяснить что вы хотели написать, а не предлагайте готовый роботс, в котором ошибка на ошибке. Ок?

Я в панике, где там готовый я указал)))
И где там ошибки.
Все, с вами разговор ни о чем прекращаю, просто не конструктивно.
Будет время выложу тут готовый и отточенный, боле менее универсальный.
Далее уважаемый soxom, вы уж сами с собой обсуждайте и тд. А прочитать вы так и не смогли.

На самом деле я не хотел задеть ваши амбиции, в любом случаи нужно быть по сдержаннее и тогда все встанет на свои места и прочитается как надо и не будет казаться что вас хотят задеть или скомпрометировать.
Не обязательно постоянно доказывать свою компетентность во всех вопросах)))

Надеюсь на этом конец и дальше будет уже все по теме, без доказательств профпригодности.

Причем тут амбиции? Причем тут сдержанность? Вы написали что именно такой роботс должен быть, вам несколько человек возразило… В том числе и я )))

Не обязательно постоянно доказывать свою компетентность во всех вопросах)))

Если вы про письку, то когда я говорил о размерах, имел ввиду отнюдь не компетентность…
Что касается профессионализма, то поверьте, все ошибаются и один человек не может быть прав во всех областях. Именно поэтому я не лезу в программную часть, так как не мое это… Но уж писать про то что в роботсе нужно ставить звездочки чтобы исключить попадание в индекс, увольте. Данное правило чаще всего применяется как раз в директории Allow, да даже там указывается и начало и конец документа… Вот роботс Гугла — www.google.ru/robots.txt тут используется звездочка, но (!) только после определенного раздела (чтобы не запретить лишнего), что позволяет исключить точечно странички, но никак не все как в вашем варианте.

Да что вы постоянно приводите файлы с готовых сайтов. Там составлено из условий и необходимости готовых проектов.
Да блин что я тут пишу, вы не читаете, не вникаете и не понимаете.
Попробуйте расслабится и подумать, на крайняк откройте маны яндекса и гугла по поводу составления роботс, правил, контента который нужно закрывать и как. Составьте разок боле мене вменяемое правило и проверьте потом индексацию и продвиньте что нить.
Ссылки на маны дать или знаете?
Давайте уже делом заниматься, а не лить воду.
Я просто в шоке, приводить роботс от готового проекта как пример в данном контексте

Все читаю ))) Просто вы пишите не то… Сайтов на продвижении у меня хватает, поверьте, поэтому что такое роботс знаю и считаю что не стоит так трепетно подбирать схемы, тем более что эти схемы с дырами. В этих "готовых примерах" как вы высказались Ленты, Яндекса, Гугла и Маркетгида, даже если и используются звездочки, то они относятся к тому или иному разделу, но никак не ставятся Disallow: /*admin что автоматом подразумевает запрет индексации всех страниц в урлах которых встречается admin… То есть статья об админе, профиль админа и т.д. автоматом запрещены ))) Именно поэтому считаю это дырой в вашем роботсе и не вижу смысла доказывать обратное.

Для того и правила есть, дабы составить тот что будет работать, проверив его в панелях. И потом легко регулировать.
Думаю на этом черта подведена)))

И вы считаете что приведенный вам пример роботса без дыр? А если вы согласны что дыры есть, то чего тогда выставили как единственно правильный и написали что ваш работает, а остальное нет? Я ей-богу не понимаю
Вот вы ведь сами написали:

Disallow: /search # так не будет работать
Disallow: /*search # так будет
Disallow: /index.php # закроет все что с него начинается и не исполнит задачу убрать дубль
Disallow: /index.php$ # так сработает как и задумано.

Почему одни будут работать другие нет? Вы написали как эксперт! К вам прислушиваются, а вы дурь пишете и многие уже поставили ваш роботс не удосужившись понять что да как.

И потом пишите что это всего лишь

Это просто набор правил, как шаблон!!!

Что-то не вяжется с тем категоричным "не будет работать" ваш набор правил…

Вы очень утомительный человек.
Не надо вырывать из контекста, я привел ссылки какие будут работать а какие нет, тут вы вырвали часть
У вас комплекс, да?
Не отвечайте ради бога, давайте уже закончим писать тут всякую хрень и займемся делом.
Просто почитайте тему и мануалы ПС, покурите серч и другие уважаемые места в инете.
Хватит уже бессмыслицы и доказательств вашей профпригодности.
Либо уж пишите не отрывая от контекста, но пожалуйста основывайтесь не на вашем представлении, а на установленные правила и тд.

Ну так покажите ваши правила ))) Докажите если вы такой умный.
Что касается примера, привел его, потому что опытный человек который пишет "так работать не будет" на нормальном роботсе, навевает на мысли о своем не профессионализме. Могли бы написать что есть другой вариант и расписать что и да как, но никак не писать что "не будет работать", причем без объяснений — это не правильно

Кстати, нашел еще ошибку )))

Disallow: /index.php # закроет все что с него начинается и не исполнит задачу убрать дубль

Вообще-то, по тем же правилам, он закроет и дубль и все остальные страницы ))))

Там кстати спрашивали про rss, так вот там ошибка, нужно все-таки — Disallow: /rss так как если после поставим слэш, то разрешим к индексированию версию без слэша… Это упущение, сейчас на своих проектах править буду

Слабо пост №21 прочитать?
Вот вам конкретно на ман яндекса к досаждающей и вызывающей у вас аллергию звездочке help.yandex.ru/webmaster/?id=996567#996572 Для пользы дела прочитайте все правила и если мало, то и комменты в блоге яндекса и тд.

И еще у меня к вам предложение, давайте я вам подкину проект на продвижение или на анализ, да собственно есть любые.
С нормальным бюджетом или с небольшим, но с бюджетом. В текущих которые в очереди, таких хватает у нас.
Вам будет чем заняться и заодно посмотрите правила написания того же роботс. Применительно к работе в конкурентных тематиках с очень не простыми запросами.
Увидите, что этим файликом можно интересных вещей добиться, конечно в комплексе.

Слабо мои посты перечитать? Вы пишите ахинею… Не потому что так нельзя, а потому что глупо...
Что касается работы… Может мне ее вам подкинуть? Раз вы роботсом сайты в ТОП выводите… Готов з\п поставить вдвое больше

P.S.: Что за привычка у нас в России? Напишем глупость, но упорно и тщательно потом будем ее защищать и переводить темы лишь бы никто не подумал что мы ошиблись

Я где то написал про вывод сайтов в топ роботсом?
Надеюсь у вас все хорошо, а то складывается странное впечатление.
Займитесь делом, нежели постить всякую чушь, выдергивая из контекста фразы.
Так поступают не совсем порядочные люди.
Либо цитировать как есть, либо не цитировать и постить свою мысль.
Видимо у вас действительно практики маловато. И не надо за Россию что то говорить, тут не трибуна и совсем другие вопросы.

Ну есть у вас свое мнение и прекрасно, кто вам мешает с ним и остаться. Возможно поработав немного больше в сео области, что то у вас изменится с пониманием вопросов.

Давайте уже закончим этот ни кому не нужный спор, есть у вас заказы и отлично. Я только за и буду искренне рад вашим успехам и тд.
Но никогда не стоит отметать сходу то что не до конца понимаешь, это не упрек, просто так оно проще.
Не бывает в сео абсолютного, все идет от конкретного проекта. Но иметь под рукой инструменты облегчающие жизнь, не плохо.
Маленький пример.
Закрыли как представили вы допустим Disallow: /index.php ( только пример без конкретного урла)
Через какое то время заказчику потребовалось ввести новый модуль, форму, страницу и тд и тп. Она открывается по пути
instantcms.ru/index.php?viewбла0 бла1 бла2. Бац, а оно закрыто в роботс.
А вот так все будет в индексе Disallow: /index.php$
Дальше мы можем отрегулировать показ определенных страниц по нужной нам ссылке, то есть имея ссылку вида
/index.php?viewбла0 бла1 бла2, можно разрешить или запретить бла0, бла1, бла2.
И то же самое относиться к *
Так же не забываем о директиве Clean-param, которой можно составить замечательные правила, но работаь они будут только если правильно до неё стоят правила.

Как то так, надеюсь понятно.