Больше никто ничего не подскажет?
Попробую
Многие забывают о том, что прописанные правила в robots.txt это не запрет, а рекомендации для поисковых систем. Безусловно они им следуют внутри сайта и тут проблем практически не бывает, ну возможны у очень молодых сайтов.
Но вот если идет обход как бы внутреннего правила внешними средствами, тут уже подхватить может ссылочку и дубли и тд, цветное seo в общем.
По этому нужно или можно поставить запрет уже реальный, который будет работать, дать такой запрет может .htaccess
Только как пример и вариант (надо проверять, точнее это просто направление)!!!:
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
<FilesMatch "^.*/go/">
Order Allow,Deny
Allow from all
Deny from env=search_bot
</FilesMatch>
Яше не долго осталось,
Такое можно найти на серче лет так еще 10 назад )))