soxom

Итак, повторяю предложение.
Готов купить социальную сеть сделанную для Краснодара. Дизайн и посещаемость не важны, готов рассмотреть все варианты!!! Неужели никто не делал под этот город? Готов заплатить нормальные деньги

Так что какнить пивка попьем и оттянемся.)))

Обязательно… В Санчо готов всегда встретиться, а то давно уже с коллегами не общался

Да что вы, какой это срач

Это дискуссия… Причем как всегда правы оба, но каждый боится признать правоту второго

Не скромничайте всегда приятно почитать свежие глупости от людей с многозначительными подписями ;)

Ну глупости глупостями, зато куча народа сделало выводы и возможно кому-нибудь это пригодиться

soxom, а гарри то прав в чем то) о чем вы пишите? это ведь действительно меряво)

На самом деле я просто не хочу чтобы все стали копировать данный роботс и считать его самым правильным. Роботс от гарри настраивается только индивидуально! Вот об этом я и пишу ))

Я выложу в этот топик готовую конструкцию, когда время позволит. Вот тогда велком, по обсуждаем, по холиварим и попьем пивка с раками.

Вот это уже другой разговор… Зачем спорить на пустом месте? Только не пишите насчет работает — не работает, это сбивает с толку многих неоптимизаторов. Пишите что существуют варианты и ваш вариант позволит настроить индексацию страниц более детально, но настраивать нужно сугубо индивидуально и общий роботс такого типа скорее всего сделать не удастся, так как будет слишком много тонкостей… Ну а так, я ведь и не спорю и тоже пиво люблю жаль только что вы из города в котором я учился (1999-2004)… а теперь живу на Юге )))

Я и не против закончить… Хотя я не спорю, а просто показываю несостоятельность ваших примеров
Что касается примера с урлом, то думаю если заказчику сделали по вашей схеме, то значит сделают криво скорее всего… Ну, а даже если сделают криво как в вашем примере, есть замечательная директива Allow которая откроет все что нам нужно. А ваша директива Disallow: /index.php$ закроет только дубль, не более, а оставит кучу мусора

Тогда извините )) Если предложит возможно куплю, хотя думаю не обратиться он ))

Летсгоу, вы не на рынке… Это тема — предложение и устраивать из нее балаган не желаю. Надеюсь на понимание, в следующий раз начну минусовать

Слабо мои посты перечитать? Вы пишите ахинею… Не потому что так нельзя, а потому что глупо...
Что касается работы… Может мне ее вам подкинуть? Раз вы роботсом сайты в ТОП выводите… Готов з\п поставить вдвое больше

P.S.: Что за привычка у нас в России? Напишем глупость, но упорно и тщательно потом будем ее защищать и переводить темы лишь бы никто не подумал что мы ошиблись

Ну так покажите ваши правила ))) Докажите если вы такой умный.
Что касается примера, привел его, потому что опытный человек который пишет "так работать не будет" на нормальном роботсе, навевает на мысли о своем не профессионализме. Могли бы написать что есть другой вариант и расписать что и да как, но никак не писать что "не будет работать", причем без объяснений — это не правильно

Кстати, нашел еще ошибку )))

Disallow: /index.php # закроет все что с него начинается и не исполнит задачу убрать дубль

Вообще-то, по тем же правилам, он закроет и дубль и все остальные страницы ))))

Там кстати спрашивали про rss, так вот там ошибка, нужно все-таки — Disallow: /rss так как если после поставим слэш, то разрешим к индексированию версию без слэша… Это упущение, сейчас на своих проектах править буду

И вы считаете что приведенный вам пример роботса без дыр? А если вы согласны что дыры есть, то чего тогда выставили как единственно правильный и написали что ваш работает, а остальное нет? Я ей-богу не понимаю
Вот вы ведь сами написали:

Disallow: /search # так не будет работать
Disallow: /*search # так будет
Disallow: /index.php # закроет все что с него начинается и не исполнит задачу убрать дубль
Disallow: /index.php$ # так сработает как и задумано.

Почему одни будут работать другие нет? Вы написали как эксперт! К вам прислушиваются, а вы дурь пишете и многие уже поставили ваш роботс не удосужившись понять что да как.

И потом пишите что это всего лишь

Это просто набор правил, как шаблон!!!

Что-то не вяжется с тем категоричным "не будет работать" ваш набор правил…

Все читаю ))) Просто вы пишите не то… Сайтов на продвижении у меня хватает, поверьте, поэтому что такое роботс знаю и считаю что не стоит так трепетно подбирать схемы, тем более что эти схемы с дырами. В этих "готовых примерах" как вы высказались Ленты, Яндекса, Гугла и Маркетгида, даже если и используются звездочки, то они относятся к тому или иному разделу, но никак не ставятся Disallow: /*admin что автоматом подразумевает запрет индексации всех страниц в урлах которых встречается admin… То есть статья об админе, профиль админа и т.д. автоматом запрещены ))) Именно поэтому считаю это дырой в вашем роботсе и не вижу смысла доказывать обратное.

Причем тут амбиции? Причем тут сдержанность? Вы написали что именно такой роботс должен быть, вам несколько человек возразило… В том числе и я )))

Не обязательно постоянно доказывать свою компетентность во всех вопросах)))

Если вы про письку, то когда я говорил о размерах, имел ввиду отнюдь не компетентность…
Что касается профессионализма, то поверьте, все ошибаются и один человек не может быть прав во всех областях. Именно поэтому я не лезу в программную часть, так как не мое это… Но уж писать про то что в роботсе нужно ставить звездочки чтобы исключить попадание в индекс, увольте. Данное правило чаще всего применяется как раз в директории Allow, да даже там указывается и начало и конец документа… Вот роботс Гугла — www.google.ru/robots.txt тут используется звездочка, но (!) только после определенного раздела (чтобы не запретить лишнего), что позволяет исключить точечно странички, но никак не все как в вашем варианте.

Нет тут набора правил (( Читаю всегда все и вся
Что касается писек, то не собираюсь даже, у меня все равно больше ))) Вы указали ошибочно что не работает директивы стандартного роботса, я вас подправил что работает и тот и другой вариант, а вот как раз ваш вариант спорный… Лучше в следующий раз просто попробуйте объяснить что вы хотели написать, а не предлагайте готовый роботс, в котором ошибка на ошибке. Ок?

Вот довольно интересный ролик www.megaindex.tv/programs/events/seo_parallelnyy_mir/ И верите или нет, в нем действительно большая доля истины про роботс )))

Вот вы опять приводите не подумав, что структура сайта имеет свои особенности и файл делается именно к сайту а не на показ. Маны того же яндекса почитайте на досуге.(опять не упрек)

Просто в Яндексе не усложняют себе жизнь. И ваша звездочка бывает нужна, но далеко не во всех случаях… Для примера, я рассмотрю ваш роботс и прокомментирую его

User-agent: *
Disallow: /backups/ — зачем? Вы думаете робот дойдет сюда?
Disallow: /backup/ — тоже самое. Пример — instantcms.ru/backups/
Disallow: /board/ — а доску объявлений зачем закрыли? Если не используете, то удалите вообще или напишите что запрещаем только если не используем доску
Disallow: /components/ — блин…
Disallow: /wysiwyg/ — тоже самое
Disallow: /includes/ — ух ты
Disallow: /modules/ — и?
Disallow: /filters/ — круто!
Disallow: /languages/ — супер!
Disallow: /users/ — тут промолчу, нужно закрываем, не нужно не закрываем
Disallow: /core/ — мдаааа...
Disallow: /login/ — по старой привычке обычно закрываю, но в целом, на любителя
Disallow: /admin/ — аналогично
Disallow: /registration/ — тоже самое
Disallow: /tag/ — сомневаюсь на счет этой директивы, так как если не ошибаюсь, все тэги идут через search
Disallow: /search/ — ну вот мы и закрыли самый мусор
Disallow: /rss/ — избавляемся от дублей
Disallow: /*search — зачем? Мы закрыли раздел поиска от индексации, а такая диретива ничем не ограниченная способна закрыть многие страницы на сайте
Disallow: /*comments — зачем?
Disallow: /*login — вот этот вариант возможен, но я предпочитаю 301 редиректом на основную гнать
Disallow: /*admin — промолчу, хотя мы уже закрыли все админовское, вы предлагаете пойти другим путем
Disallow: /*registration — вот блин...
Disallow: /index.php$ — что поставили вы знак доллара (продолжение), что не поставили, правило итак запрещает к индексации данный раздел. Можете проверить — webmaster.yandex.ru/robots.xml
Sitemap: домен/sitemaps.xml
Host: главное зеркало

Так что совершенно не понятно что вы тут доказываете )))

Уважаемый, я знаю что говорю, по крайней мере последние лет пять при изначально составленном правильно файле ни один сайтик клиентов не получил тормозов из за всяких случайностей со стороны клиента или других. Плюс вывод из под фильтров без грамотного файлика, как? И еще примеров масса...

Ну так и делайте роботсы так как считаете правильно. Наблюдая за аудиторией Инстанта, я могу со стопроцентной уверенностью сказать что сейчас 20-30% участников стали переделывать свои роботсы потому что вы написали что тот вариант не работает. И представляю сколько будет ошибок… А ведь работает и старый вариант, причем я не сказал бы что он хуже, наоборот. Хотя я не отрицаю что ваш также рабочий, но смысла в нем не вижу, так как все мусорные разделы мы отрезаем:
Disallow: /index.php
Disallow: /search
Disallow: /rss

То есть поставив эти строчки мы уже запретили все что только можно запретить из ненужного. Далее можно запретить тот или иной раздел, профили и тому подобное, то что нам не нужно, но и это запрещается просто и легко. И не нужно усложнять и придумывать какие-то схемы бешеные. Поставили и забыли

soxom, Уважаемый, поверьте мне на слово, чем качественней составлен этот файл тем удачнее и без без проблемно все проходит.

Я редко кому верю на слово и всегда проверяю все варианты.

Если вы прочитали бы более подробно а не эмоциями, то увидели бы что это набросок дающий понятие и существуют различные правила включая Allow:, о чем и написал.

Я не усомнился в том что ваш роботс работает, я просто написал что ваши настройки нужны только вам и никому больше. Не стоит усложнять жизнь ни себе ни окружающим.
Что касается Allow, то об этом уже писал пивуа… Я вообще считаю, что данная директива в большей мере анахронизм, которую стоит использовать в крайне редких случаях. Одним словом, для 99% сайтов на Инстанте эта директива и не нужна.

Любимая фраза админов и модераторов " Поиском пользоваться научитесь, все давно описано" и ссылка на поиск или на уже готовые результаты поиска. В итоге имеем в индексе кучу хлама )))

А у нас итак поиск в роботсе закрыт — Disallow: /search и Disallow: /index.php так что враг не пройдет фэйсконтроль, он не знает пролетарский пароль )))

Уважаемые пользователи Инстанта, не усложняйте себе жизнь. Занимайтесь своими проектами и не увлекайтесь теми или иными схемами с построением роботсов (все роботсы и обсуждения почему и зачем можно найти и на форуме и в блогах, там есть все что нужно). Продумали один раз что нужно закрыть, закрыли, проверили на всякий случай в Яндексе и забыли. Лучше потратить это время на свой проект, чем искать тайную схему попадания в ТОП с помощью роботса.

P.S.: А вообще, лучший способ, просмотреть как сделано на самом Яндексе — www.yandex.ru/robots.txt я там звездочек к своему удивлению не заметил...

P.P.S.: И тут не нашел www.marketgid.com/robots.txt и тута нет lenta.ru/robots.txt… Наверное на ленте, маркетгиде и яндексе просто плохие вебмастера сидят.