reload

и еще вопрос) есть ли смысл закрывать от индексации страницы которые являются 100% ым дублем?
или все же выгодней их клеить?
Просто ссылок, якобы много на эту страницу может быть, а мы ее закроем и вес она не получит. Я думаю что правильней 100% ые дубли редиректить, хотя могу и ошибаться)

не совсем уверен, но не закроет ли эта запись:

Disallow: /forum/thread*1.html #закрываем дубль первой страницы темы на форуме

также страницы:
thread-11.html
thread-21.html
и т.д.
?

◦ Ӎɑƙҫиӎ ◦ Ᵽɑɗиớӊớβ, спасибо конечно)
Ребят давайте писать именно по закрытию дублей!!!)

.htaccess велик и могуч и писать про него можно много) А вот тема была создана именно для обсуждения закрытия дублей с применением 301 редиректа и именно для инстанта!!!

в общем вопрос пока остался:

нет ни у кого идей как обрезать адреса такого вида?: .../forum/thread119-17.html?utm_source=twitterfeed&utm_medium=twitter

Я решил но через задницу - если идей ни укого не будет - тогда выложу)

Запись человека, которому есть что сказать. Спасибо! pivua) , поучитесь

Это ты к чему???

забыл)

2.Всё же страницы со слешем и без оного - это дублию...

Нет их в инстанте!!!

1.С чего вы взяли, что я говорю о сайте на InstantCMS?

наверное с того, что мы находимся на оф сайте именно инстанта, а не другого движка)
да и обсуждаем .htaccess для инстанта, а у каждого движка свои нюансы!)

Большой брат Google выдаёт в поиске главную вот так: www.kurs.cv.ua/

мне как то все равно что он там выдает если у меня все будет склеено 301 редиректом)

нет ни у кого идей как обрезать адреса такого вида?:
.../forum/thread119-17.html?utm_source=twitterfeed&utm_medium=twitter
я что не придумаю, оно как то странно работает) проверяю, закидываю на хос, все отлично, перепроверяю везде, иду обкурить это дело, возвращаюсь, проверяю - не пашет)))
уже 3 раза так)))

указанные выше правила, клеят страницы со слешем и без?

в инстанте вроде нет страниц со слешем (1.9) они уже склеены

Вот мне, похоже, надо чтоб слеш присутствовал.

зачем? или вы сами не знаете?

Главное чтобы страницы были уникальны и не было дублей! все остальное предрассудки, имхо)

Вообще имеет значение "с www" "без www" или важен только клей? Если имеет, то в каких случаях надо "с www" а в каких "без www"?

На этот вопрос не отвечу, да и реально ответов он не имеет) просто нужно чтоб не было дублей, а там сами смотрите какой домен на данный момент имеет большую индексацию ну или какой больше нравится)
Мне не нравится с www так как по логике это домен следующего уровня) поэтому с самого начала отбрасываю www.
Хотя яша и гоша решили что им уютней с www) а вот контакт решил без)
В общем выбирать вам!

редирек правильно, хотя может и не правильно) но работает)

Роботс и топ не совсем взаимосвязаны.
просто с правильным роботсом вы показываете что именно важно для индексирования и что индексировать не нужно
этим вы как минимум уменьшите нагрузку на сервер при постоянных сканированиях вашего сайта.
Попадание в топ зависит по большей степени от правильного написания статей ну и поведенчиского фактора и часто от частоты добавляемого материала + конечно внутренняя и внешняя оптимизация - здесь роботс играет не значитильную роль)
В роботсе нет смысла вначале открывать полный доступ гоше, потом яше а потом вообще всем после чего скрывать не нужные разделы - достаточно указать какие разделы вы закрываете для всех роботов через директиву User-agent: *
все остальное разрешено по умолчанию.
Если робот в директиве находит свое имя - остальные правила он игнорирует!!!
От сюда вывод - у вас сайт не имеет скрытых от индексации разделов для яши и гоши!!! все остальные роботы подчиняются условиям общей директивы!!!
Яша директиву Host: понимает в любом месте, но возможно ее непонимание другими робатами - поэтому другие дойдя до Host: и не прочитав ее просто проигнорируют все остальные правила!!! так что Host: лучьше писать последним иначе вашу карту не все роботы увидят (если конечно вы сами не скармливали ее))

вот как то так)

Сейчас в примерах, временно, с переадресацией на html будут проблемы
пытаюсь уюрать знак вопроса ))
кто пользуется твитером знает зачем это, пытаюсь склеить ссылки которые генерирует твитер подставляя в адрес свои значения - тоже ведь дубли которые создаются не движком зато индексируются быстрее настоящих адресов...
У кого есть идеи подсказывайте - не поддается гадина и пишут что в htaccess не обработать знак вопроса, но думаю выход должен быть)

С каких пор появилась директива "Allow"?

из yandex.ru/webmaster:
Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'.
Директивы Allow-Disallow без параметров:
User-agent: Yandex
Disallow:
# то же, что и Allow: /

User-agent: Yandex
Allow:
# то же, что и Disallow: /

Вот еще интересная штука.
Disallow: /search/tag/
У меня на одном сайте теги закрыты с самого запуска и гугл их не индексирует
а вот яша мало того что индексирует так еще и в выдаче выдает
может яша имел наши роботсы?

Я у себя вообще закрываю всегда *.php

picaboo, случайно не подскажешь, возможно ли одной строкой скрыть все *.php
или так и писать
Disallow: *.php
нужны для каждой директории слеши?
сенкс.

Да не бонусы ведь хотел получить)
а скрыть возможно "конфиденциальную" информацию от попадания в массы)

а что скажите о:
Disallow: /upload/userfiles/
на это ссылки есть?
просто заметил когда-то в выдаче файлы пользователей)
решил закрыть - правильно ли решил, или без разницы?)

Интересный и полезный хак +
tarzan, а демки нет случайно?)

Отличная работа, спасибо +
Но по безопасности, действительно хочется услышать мнение разработчиков instantcms!
Если кто знает возможные лазейки с этим редактором и способы их сокрытия, отпишитесь)

спасибо - полезно +

tarzan:

не пускают в разработчики.. в исходники залить не могу

Что бы добавили то, что вы считаете необходимым, достаточно написать/описать проблему в трекере, или как он там зовется)
Возможно и добавят если решение действительно хорошее и правильное.
Вы представьте если всем начнут давать возможность изменять релиз по своему усмотрению)
зы:Создайте свой мод, закиньте на свой сервер и укажите ссылку для скачивания, если вам уж сильно охота это делать. Правда сомневаюсь что пользоваться такими сборками будут) сами наверное понимаете почему.

deltas:

Модуль платный, так как мне придется помогать с установкой каждому

Эт без помощи в установке бесплатно получается?)
Можно мне тогда десяточек модулей))
зы: как написали, так и шутим)
Ну а в общем +