Есть ли парсер Сберздоровье?

InstantCMS 2.X
#1 28 ноября 2021 в 10:34

Видел различные парсеры на нашей системе, но какой из них может подойти, чтобы либо массово, либо адресно парсить врачей со Сберздоровье docdoc.ru/doctor/allergolog  и отзывы о врачах с указанием первоисточника?

#2 28 ноября 2021 в 11:35

Можно пробовать решить 2 способами:

— через какой-то имеющийся парсер (например, dwd),

— написать свой с импортом в csv файл.

Чтобы посмотреть, что можно получить с этого сайта средствами php выполните

  1. <?php
  2. $url = "https://docdoc.ru/doctor/allergolog/page/2";
  3. $page = file_get_contents($url);
  4. echo $page;

Вы увидите там данные в формате json, с которыми можно, я думаю, сразу работать — получать, что надо. Как устроены отзывы не смотрел. 

За 2-й способ могу взяться.

#3 28 ноября 2021 в 16:57

Когда-то, года 4 назад, делал это с помощью flowcrawler, правда, без отзывов. За столько лет там, конечно, всё уже изменилось, но это не важно. Сути это не меняет.

Но и отзывы можно было бы добавить при желании, просто проект будет немного сложнее. Был у меня тогда еще один проект, американских адвокатов так парсил вместе с отзывами. Из минусов — публиковаться будет всё очень медленно. Но если не срочно, то можно потихоньку сделать.

#4 28 ноября 2021 в 17:09

Когда-то, года 4 назад, делал это с помощью flowcrawler, правда, без отзывов.

Нифигаccе о-го-гошеньки

Сегодня это ещё возможно с помощью данного инструмента или он заброшен?

Из минусов — публиковаться будет всё очень медленно. Но если не срочно, то можно потихоньку сделать.

Нифигаccе о-го-гошеньки

Какая примерно скорость?

п.с.

Доступ запрещён
Эта страница недоступна для просмотра в вашей стране

#5 28 ноября 2021 в 17:28

Доступ запрещён
Эта страница недоступна для просмотра в вашей стране

Василич

Да, было такое, баловался с настройками)) Теперь должно быть доступно.

Сегодня это ещё возможно с помощью данного инструмента или он заброшен?

Василич

Возможно, почему бы и нет. С тех пор ничего не изменилось. Прога как работала, так и работает. Другое дело, что может docdoc.ru какие-нибудь препятствия чинить. Надо проверять.

Какая примерно скорость?

Василич

Примерно чуть быстрее, чем делать всё руками. Можно в несколько потоков, конечно, запустить. Но у меня с ними как-то не срослось))

#6 29 ноября 2021 в 11:45

Когда-то, года 4 назад, делал это с помощью flowcrawler, правда, без отзывов. За столько лет там, конечно, всё уже изменилось, но это не важно. Сути это не меняет.

Но и отзывы можно было бы добавить при желании, просто проект будет немного сложнее. Был у меня тогда еще один проект, американских адвокатов так парсил вместе с отзывами. Из минусов — публиковаться будет всё очень медленно. Но если не срочно, то можно потихоньку сделать.

Нифигаccе о-го-гошеньки

у меня есть этот софт. Может у вас есть подготовленный проект для загрузки в данную программу?

Добавлено спустя 1 минуту

Возможно, почему бы и нет. С тех пор ничего не изменилось. Прога как работала, так и работает. Другое дело, что может docdoc.ru какие-нибудь препятствия чинить. Надо проверять.

Нифигаccе о-го-гошеньки

куча сервисов с врачами от них парсят информацию) проверил)

#7 29 ноября 2021 в 15:26

flowcrawler

Нифигаccе о-го-гошеньки

Раз уж про него речь зашла, есть у кого-нибудь готовый проект по созданию записей на сайт 2ки?

Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.