Зашел в вебмастер посмотреть как дела, внешние ссылки, о-ооо поприбавилось . А это что за не понятные домены ссылаются? Перехожу. Буржуйский сайт про кулинарию , под статьей комментарии, в одном из них ссылка на мой сайт. Перехожу по ссылке, попадаю на свой сайт на страницу компонента Редирект и скачивание, таймер отработал, и я попадаю на другой буржуйский сайт.
Смотрю исходный страницы на которой размещена ссылка, ссылка вида: мой сайт/redirect?url=http://сайт на который происходит редирект
Вопросы к сообществу:
Как так получилось и как с этим бороться?
Как поисковики могут отреагировать на подобные ссылки — редиректы?
У меня закрыто так: Disallow: /go/Во первых
Не прокатит? Именно
?Disallow: /redirect?url=
В вебмастере в отчете "Исключенные страницы" ссылки вида /redirect?url= находятся в "Документ запрещен в файле robots.txt"
Но со сторонних сайтов "яша" их видит и ещё и индексирует
ПопробуюБольше никто ничего не подскажет?
Многие забывают о том, что прописанные правила в robots.txt это не запрет, а рекомендации для поисковых систем. Безусловно они им следуют внутри сайта и тут проблем практически не бывает, ну возможны у очень молодых сайтов.
Но вот если идет обход как бы внутреннего правила внешними средствами, тут уже подхватить может ссылочку и дубли и тд, цветное seo в общем.
По этому нужно или можно поставить запрет уже реальный, который будет работать, дать такой запрет может .htaccess
Только как пример и вариант (надо проверять, точнее это просто направление)!!!:
SetEnvIfNoCase User-Agent "^Googlebot" search_bot SetEnvIfNoCase User-Agent "^Yandex" search_bot SetEnvIfNoCase User-Agent "^Yahoo" search_bot <FilesMatch "^.*/go/"> Order Allow,Deny Allow from all Deny from env=search_bot </FilesMatch>
Такое можно найти на серче лет так еще 10 назад )))Яше не долго осталось,
, а чего проверять, правило есть правило, запрещаем доступ к /go/ выше обозначенным ботам.надо проверять
Одно печалит, что домен наверное попал в дженах базы
Наверно это будет самый оптимальный вариант.
Если просто отключить компонент редирект то ссылки остаются в прежнем виде и не работают.
По поводу Яндекса не уверен, но Гугл точно отлично индексирует эти ссылки через редирект, еще и как то странно выводит, указано урл вашего сайта а при клике на ссылку идет переход на сайт по ссылке. Риски связанные со спам атакой по моему больше чем полезные свойства редиректа в нынешнем виде.