Делаю на заказ сайты, одна из самых дорогих тематик Adsense

А каким образом Вы их доставали? Есть вариант один, возможно получится больше))

Во первых там есть карта сайта, но выведено туда не все
Далее пропарсил все категории ~1600кк (вместе с пагинацией), ну и в итоге получил ~800к карточек адвокатов.

донор/attorneys/id.html, где id — это число

Это не правильный подход по моему, объекты и удаляются из бд тоже ведь, соответственно из первого десятка к примеру есть живых всего пару id
И в итоге тебе придется проходиться по 5кк страницам чтоб получить только те что "живые"

придется проходиться по 5кк страницам чтоб получить только те что "живые"

Я просто предложил вариант)) Тем более, с Вашей скоростью парсинга за пару дней можно все страницы обойти))) А у меня вообще подход другой.

Тем более, с Вашей скоростью парсинга за пару дней можно все страницы обойти)))

я и обошел все, но листинги, более 1'600'000 страниц прошел чтоб собрать все 800'000 карточек которые есть на сайте :)