Tempest

Разница в характере ссылки… как минимум отсутствие в близи Вашей ссылки еще блока внешних ссылок, а второе ссылка появляется в индексе вместе с новым материалом. Есть еще масса причин и доводов.

сапой нормально не разобрались

Как раз хватает с ней опыта, чтобы понять, что с этой ссылочной иглы надо слезать потихоньку😉Там есть неплохие ссылки, но их оооочень мало осталось. Покупать ссылки с г… на нет смысла. Сапа не панацея и вариантов набора внешней ссылочной есть масса.

Ссылочное работает

Я и не говорю о том, что оно не работает! Еще как работает, только вот биржевые ссылки в меньшей степени. Лучше уж ссылочный бюджет на ссылки со статей тратить.

Почитайте про PHP функцию file_get_contents oна как раз для Вас ;)

В sape закупался — это есть.

Я снял вообще все покупные ссылки 3 месяца назад, позиции только в плюс. А вообще сейчас можно "отключать" спам ссылки в гугле если такие имеются www.google.com/webmasters/tools/disavow-links-main

Просто интересно чем не устроила существующая структура URL?

И желательно читателей не ботов, а еще массфоловвинг может хреновенько повлиять.

ни одна из их

Выдачу посмотрите… Примеров можно массу найти. Я не говорю про высоконкурентные коммерческие запросы.

Какая страница из двух с одинаковыми тайтлами попадет в индекс? ))

Наиболее релевантная по мнению поискового робота. А вообще пагинацию надо либо закрывать, оставляя для индексации только ссылки
либо оптимизировать!

Каждая страница должна быть доступна по единственному и постоянному адресу. Элементарные правила от Yandex goo.gl/K43Pd

Если сайт — это просто флудилка, то и с дублями заморачиваться не надо, а если нужны целевые-посадочные страницы, которые являются максимально релевантными для запросов, то без чистки индекса не обойтись. Все зависит от задачи и для каждого отдельного сайта эта задача решается по-своему. Важно следить за количеством загруженных страниц в панели вебмастера и фактическим количеством страниц в индексе если разница большая, то стоит задуматься! А еще проверяйте количество весомых страниц в гугле.

Вот, что потом делать не пойму?

Убирайте все говнотизеры с сайта.

Для начала Вы должны определить, что именно дублируется, а уже потом работать над robots.txt
Сразу могу сказать, что закрывать надо:
1. результаты поиска (противоречит лицензии Yandex)
2. технические разделы (регистрация, восстановление и тд)
3. страницы пользователей
4. возможность создания не ограниченного количества дублей страниц, отдающих 200 заголовок
5. Добавочную фильтрацию группы элементов в URL
6. Проблемные параметры в URL — сессии
7. Пагинацию с одинаковыми title
Проверьте какая структура у Вашего сайта через панель вебмастеров Yandex, проверьте какие страницы считаются Не весомыми по версии google и на основе этих данных стройте инструкцию для поисковых роботов (для основных юзер-агентов).

Если ссылка с рекламы идет на зараженный сайт, то ваш сайт тоже могут блокировать браузеры, а еще можно легко получить ссанкции и вылететь из поискового индекса. Если дело не в рекламе, то проверьте содержание htaccess нет ли там новых записей с редиректами, а еще файл Index.php надо бы посмотреть на факт изменений. А поисковики не видят до поры, до времени! Скиньте адрес сайта в личку.

Я с 500 000 страницами не работал! В основном работаю с коммерческими проектами — max 18000 реальных страниц-товаров, но и то редкость. Уходим от темы… Автору посоветую хорошо подумать над более глобальными проблемами нежели над картой сайта! Массово загоняя плагиат в индекс можно фильтр получить от ПС… развиваться надо естественно!