А нужен ли роботс?!

Народ, давайте дружно возопием к "Администратору", чтобы он пояснил про этот злосчастный robots.txt!
А то это обсуждается во многих постах и мнения разные. Администратор почему то вообще убрал его. Наверняка он знает, что делает.

стоит прислушиваться к словам garry, он профи в сео, хотя рекомендации Админа нам точно не помешает.

Имхо robots.txt нужен хотя бы для того, чтобы запретить роботу сканировать некоторы папки, например админку, и файлы на прямую. А так же, чтобы указать путь к файлу sitemap.xml. И снять нагрузку на сервер, указывая ботам, как часто приходить на сайт.

Имхо robots.txt нужен хотя бы для того, чтобы запретить роботу сканировать некоторы папки, например админку, и файлы на прямую. А так же, чтобы указать путь к файлу sitemap.xml. И снять нагрузку на сервер, указывая ботам, как часто приходить на сайт.

С этим согласен, однако мне очень кажется, что Админ лучше всех нас в этом разбирается, и однако удалил нафиг этот роботс. Вот в чем квэсчен!

1. InstantCMS — Авторизация
www.starsv.ru/admin/
сохраненная копия еще с сайта...
это из поиска в яндексе. Зачем нужно индексировать админку?
Никто не запрещает написать robots.txt самому.

Простой обзор сайтов на инстанте показал, что у подавляющего большинства ТИЦ 0-10 у единиц максимум 60. Это что? Инстант чего-то не даёт или СЕОшники такие?

Простой обзор сайтов на инстанте показал, что у подавляющего большинства ТИЦ 0-10 у единиц максимум 60. Это что? Инстант чего-то не даёт или СЕОшники такие?

это от того, что тиц сейчас получить гораздо труднее, чем было раньше
на большинстве сайтов размещён не уникальный контент
основная часть пользователей начинающие (разряд любителей, а не профи)
ну и ещё не малый ряд причин…

Народ, давайте дружно возопием к "Администратору", чтобы он пояснил про этот злосчастный robots.txt!

неужели трудно спросить у яндекса?
yandex.ru/yandsearch?text=%D0%B4%D0%BB%D1%8F+%D1%87%D0%B5%D0%B3%D0%BE+%D0%BD%D1%83%D0%B6%D0%B5%D0%BD+robots.txt!&lr=213

Администратор почему то вообще убрал его. Наверняка он знает, что делает.

думаю, что скорее всего по той причине, что каждому вебмастеру виднее, что должен содержать этот файл, да и то что подходит одному сайту, совсем не подходит другому…

неужели трудно спросить у яндекса?

Это понятно, однако Админ однажды сказал загадочно "чего не надо и так не проиндексируется" вот я и думаю, может зря мы с етим роботсом мучаемся, может в инстанте както всё уже настроено?

однако Админ однажды сказал загадочно "чего не надо и так не проиндексируется" вот я и думаю, может зря мы с етим роботсом мучаемся, может в инстанте както всё уже настроено?

нет не зря
хотя если сайт сделан просто так, ради удовольствия, то можно и не заморачиваться )))

Простой обзор сайтов на инстанте показал, что у подавляющего большинства ТИЦ 0-10 у единиц максимум 60. Это что? Инстант чего-то не даёт или СЕОшники такие?

ТИЦ набирать если только продавать с этого сайта ссылки потом подороже, а если так моё мнение он не нужен у меня несколько корпоративных сайтов (на которых свой товар и без всякой левой рекламы) в топе и без тица хорошо сидят.
Один правда выпал на 44 место после встряски яндекса которая началась примерно с 20 января, у которого кстати:
Яндекс тИЦ — 230
Яндекс Rank — 4/6 bar

Без файла robots.txt обойтись не удастся. По любому нужен инструмент управления ботами. Либо индекс будет кривой и ролевентные и нужные страницы будут мигать, выпадать. Подменяться всяческими дублями и тд.
Не выполнение рекомендация ПС влечёт санкции, поверьте на слово так и есть и так и происходит у многих проектов тут представленных.
Гугл и яндекс настоятельно рекомендует закрыть в роботс технические страницы, акки, карты, принты, контакт, различные топы (плодящие дубли превью), все дубли страниц, страницы с ограниченным входом.

К вопросу этого сайта. На оф сайте можно убрать роботс, можно наплодить дублей, поразвешивать любые исходящие и тд. ТИЦ и PR принесут пользователи системы, посещаемость не упадёт по той же причине, уникальный контент от туда же. Мелькать в выдаче будет, да и бог с ним, совершенно другие задачи у этого проекта. Он всегда будет находится по нужным запросам и будет индексироватся так же. Так и должно быть и это правильно.

А за своим проектом нужно смотреть самому, индексация должна быть правильная, без различных трабл. Иначе будет по 1-5 процентов в выдаче.

На месте админов я бы всё таки позакрывал в роботс кучу бяки. Например сейчас в индексе этого сайта масса технической инфы. Не говоря о всяких дублях, акках, но и присутсвуют sql файлики, текстовые и тд.

На месте админов я бы всё таки позакрывал в роботс кучу бяки. Например сейчас в индексе этого сайта масса технической инфы. Не говоря о всяких дублях, акках, но и присутсвуют sql файлики, текстовые и тд.

Гарри! я думаю всё будет со временем, кстати у тебя как профи хотел пообщаться на тему яндекса… сейчас они поменяли алгоритм думаю может объеденить силы по выявлению правильной тактики, я уже успел добиться неких результатов ВЧ, готов поделиться. все сайты по понятной причине в личку если интересно.

mihalich, С удовольствием, в конце недели(надеюсь) у меня будут новые результаты по нескольким коллективным теориям ( к сожалению новая выдача внесла опять корректировки, которые могут оказаться глюком). Включая насущных нарезок портянок, "заспамленности" текста. Всегда рад сотрудничеству.
Что то стали мучить сомнения, а не откатит ли яндекс. Моё мнение, сомнительно что он оставит нам возможность вгонять "ВЧ" на скорость, да и все эти странные штуки с вхождением.
Но с другой стороны может просто соблюдает экономическую оправданность своей выдачи и поднимает ставки в директе.

mihalich, С удовольствием, в конце недели(надеюсь) у меня будут новые результаты по нескольким коллективным теориям ( к сожалению новая выдача внесла опять корректировки, которые могут оказаться глюком). Включая насущных нарезок портянок, "заспамленности" текста. Всегда рад сотрудничеству.
Что то стали мучить сомнения, а не откатит ли яндекс. Моё мнение, сомнительно что он оставит нам возможность вгонять "ВЧ" на скорость, да и все эти странные штуки с вхождением.
Но с другой стороны может просто соблюдает экономическую оправданность своей выдачи и поднимает ставки в директе.

У меня уже тоже мысли есть по поводу директа… пару сайтов буду вгонять наверное уже скоро(заказчик просит), в целом пока сказать могу что мои сайты притерпели не большой встряски, весь контенкт уником, обидно что некоторые сайты, которые были на 400 месте выпрыгнули на топ 10 правда страницы у них тип "Контакты" а мои ссылаются на главную и судя по конкуренции выпали в минус переоптемизированные сайты, что мне пока на руку