Модуль парсинга и постинга для InstantMaps (презентация)

3823
Отвлекся немного от верстки шаблона и написал сервис для наполнения компонента InstantMaps.

Что умеет:

1. Парсить организации из Яндекс каталога организаций по рубрике или ключевому слову.
2. Добавлять по клику конкретную организацию из найденных по запросу.
3. Массово импортировать найденные организации.
4. Корректно работает с добавлением нового адреса и раскидыванием одной организации по N рубрикам.
5. Заполняются все возможные поля в базе адресов компонента.
6. Высокая скорость работы - добавить 1000 организация на автомате (заполнив только два поля - Город и "поисковый запрос") займет около 1 минуты.
7. UPDATE. При импорте объектов создаются все недостающие рубрики.
""
Изображение уменьшено. Щелкните, чтобы увидеть оригинал.


Посмотреть в работе можно тут - справа кнопка "Открыть парсинг". Сейчас там заполнены организации по Ижевску.
Можно под гостем, можно авторизоваться (user1 123123).

Модуль будет в двух вариантах:

бесплатная версия, с ограничением по количеству результатов.
и платная - без ограничений на количество результатов. Стоимость 1500руб. Что именно в нее будет входить - какие гарантии по работоспособности и обновления, напишу позже. В нее уже будет заложена техподдержка и гарантия на возврат в случае поломки парсера и моей невозможности его починить (Яндекс непредсказуем).

Как посмотреть в работе:

1. зайти на страницу
2. Кликнуть на кнопку "Открыть парсинг".
3. Прочитать короткую инструкцию и заполнить поля Город и "Рубрику для поиска". Можно не заполнять, а кликнуть на ссылки в инструкции - они сами заполнят все поля.
4. Запустить парсинг. Если поставить флаг "Сразу импортируем", то результаты поиска сразу будут вноситься в базу данных сайта.
5. Посмотреть результаты, если нужно - добавить организацию.

Кому будет интересно - на следующей неделе выложу бесплатную версию с полной функциональностью, но с ограничением по количеству данных в результатах запроса.
Если будут разумные пожелания, доработаю сервис.

PS Переписка, регистрация, юлогин скоро появятся под версию 1.10.3, не забываю про них.
Адаптивный шаблон городского типа "Ижевск" на Bootstrap3 (анонс) | Парсинг и постинг для компонента InstantMaps 1.0 (бесплатная и платная версии)
Комментарии (48)
Петрмаг 19 октября 2013 в 21:56 +4
Нужная вещь бесспорно,но вот сразу вопросец,а яндекс не забанит за это сайт целиком?
eoleg 19 октября 2013 в 22:23 0
Яндекс сам отовсюду парсит smile
SJen 20 октября 2013 в 10:56 0
Если вы про сам факт парсинга - то за это не банят. Если же про наполнение каталога - то, конечно, для большего эффекта нужно уникализировать страницы, добавлять описание к каждому объекту. Парсинг и постинг лишь облегчают задача начального наполнения, кнопка "Бабло" в функционал не входит, к сожалению..
Андрей 19 октября 2013 в 22:06 0
оч. интересно
готов приобрести полноценную платную версию
Дмитрий 19 октября 2013 в 22:12 0
Цена?
SJen 20 октября 2013 в 11:13 0
добавил в пост информацию по цене.
В любом случае будет бесплатная версия, которую сначала можно будет установить и обкатать у себя. И решить нужна "безлимитка" или нет.
Су-27 19 октября 2013 в 22:14 0
Очень интересно - если цена незаоблачная тоже готов приобрести полный функционал. hoho
Алексей Тимофеев 19 октября 2013 в 22:22 -2
SJen Большой

+

Dost 19 октября 2013 в 22:53 0
Нужная разработка! Пробовал Украину парсить - не работает что то. Россия отлично.
PolarOne 19 октября 2013 в 23:14 0
Киев попробовал - все отлично работает!
SJen 20 октября 2013 в 10:58 0
Добавил поддержку различных стран и народной карты. Потестил на Киеве, Минске.

Даже Китай->Пекин и Францию->Париж парсит
SE7EN 19 октября 2013 в 23:10 0
Попробовал:
Павлодар - Рынки нашёл почему-то всё Российское, а вот что сам Яндекс показал по такому же запросу http://maps.yandex.ru/?text=%D0%A0%D1%8B%D0%BD%D0%BA%D0%B8&sll=76.93880899999999%2C52.27645299999964&sspn=0.3776550292968608%2C0.14215013933888088&z=13&results=20&ll=76.967052%2C52.298103&spn=0.188828%2C0.071040&l=map
По казахстану не работает, жаль, купил бы (((
SJen 20 октября 2013 в 10:59 0
Все верно, добавил поддержку Казахстана - проверил выборочные запросы по Павлодару и Караганде.
Олег с клещами 19 октября 2013 в 23:19 0
Не плохая вешь. Однако:
Набираю город, пишу рубрику "санатории" (которой изначально нет в категориях на сайте), жму кнопель - всё парсится отлично и объекты типа появляются, можно посмотреть по прямой ссылке. Но, где потом юзеру найти эти объекты? Ведь новые категории не появляются.
Олег с клещами 20 октября 2013 в 07:38 0
Ведь новые категории не появляются.
Ну, так как же с этим? Вопрос важнейший.
SJen 20 октября 2013 в 11:01 0
Да, упустил этот момент в описании. Рубрики СОЗДАЮТСЯ)

При добавлении объектов на нулевом шаге проверяется наличие необходимых рубрик - если чего-то не хватает, оно создается. При добавлении объекта он прописывается уже в существующих рубриках. Это можно заметить на демо сайте - изначально рубрик там не было, все создались при импорте.

Минус в том, что иерархия рубрик не строится - для этого просто нет информации. То есть по-хорошему потом нужно будет руками раскидать рубрики, построить дерево.
Олег с клещами 20 октября 2013 в 11:28 0
Отлично! Буду брать однозначно.
tokarev 19 октября 2013 в 23:27 0
Ввожу город Караганда, рубрику "кафе" - выдает Московские, новосибские и т.д. кафе ))) будет работать для Казахстана - куплю
SJen 20 октября 2013 в 11:01 0
сделал
omarov 20 октября 2013 в 01:36 0
Данная разработка будет работать на 1.10.1?
SJen 20 октября 2013 в 11:04 +1
Какой-то зависимости от версии Инстанта нет, так что будет работать на всей линейке 1.10.*. Могу и для 1.9 сделать если это кому-то нужно.
Сам тестирую на 1.10.2 и последней версии InstantMaps (версии карт для 1.10.3 вроде еще нет)
cvetkoff 20 октября 2013 в 01:42 0
Беларусь не парсится. куплю если будет
tokarev 20 октября 2013 в 03:41 +2
офтоп
SJen 20 октября 2013 в 11:04 0
сделал
Endroid 20 октября 2013 в 07:13 0
Отлично! Записался в очередь, куплю за разумную цену, конечно joke
RIM5 20 октября 2013 в 11:20 0
Отличная штуковина - то, что нужно smile
Тоже куплю, как будет в продаже smile
Mademaster 20 октября 2013 в 12:33 0
кто последний??? записываюсь на платную
AndroS 20 октября 2013 в 12:58 0
Когда будет готов модуль? Готов приобрести! Реквизиты тоже бы неплохо в теме повешать
SJen 20 октября 2013 в 18:17 0
После сегодняшней публикации выявилось довольно много недочетов, которые уже все исправлены.
Клиентская часть готова. Приведу в порядок админку и потестирую еще день-два.
SE7EN 20 октября 2013 в 16:02 0
Прверил в работе (касательно Казастанских городов)
Казахстан
Аксу
Кафе

ПОчему-то смешивает подтягивает кафе из Аксу и кафе из Павлодара? По ходу он на область орентируется? Или как?
SJen 20 октября 2013 в 16:29 0
По введенному городу определяется точка X, вокруг которой в определенном радиусе ищутся все объекты согласно поисковому запросу. Добавлю флаг, чтобы не показывать объекты НЕ из введенного города.
Дмитрий 21 октября 2013 в 11:38 0
Супер, когда будет релиз уже?
SJen 21 октября 2013 в 11:59 0
сегодня вечером (в понедельник).
в случае форс мажора - завтра.
AndroS 21 октября 2013 в 14:51 0
Смотрю на демо - дублируются категории, некоторые прям много раз... Нельзя ли как-то сделать настройку, чтобы парсер импортировал в заданную ранее админом категорию, начхамши на рубрики яндекса? Либо чтобы скрипт сравнивал рубрики сайта и рубрики яндекса, и соответственно их привязывал друг к другу при парсинге. К примеру, у нас рубрика "магазины", а у яндекса "шопы". Скрипт предлагает админу парсить в нашу рубрику или создать по аналогии с яшей. Если админ добавляет в нашу, то скрипт запоминает id рубрики яндекса с привязкой к нашему id нашей рубрики и в дальнейшей из "шопов" автоматом добавляет объекты в "магазины".
В любом случае, скрипт брать буду. Ведь там же можно удалять созданные им категории и переносить объекты в свои?
SJen 21 октября 2013 в 16:18 +1
Про задвоение рубрик проверю - сейчас этого не должно быть (не должно быть рубрик с одинаковым наименованием). Но в процессе тестирования такие могли появляться.

Нельзя ли как-то сделать настройку, чтобы парсер импортировал в заданную ранее админом категорию, начхамши на рубрики яндекса?

Реализовал выбор рубрики для постинга, вот скрин админки
""
Изображение уменьшено. Щелкните, чтобы увидеть оригинал.


Если админ добавляет в нашу, то скрипт запоминает id рубрики яндекса с привязкой к нашему id нашей рубрики и в дальнейшей из "шопов" автоматом добавляет объекты в "магазины".
Над этим подумаю, но есть много нюансов.. Есть еще народные карты, там вообще рубрики свои. Но это позже, в первую версию это не буду добавлять - иначе я так могу и до Нового года добавлять фишки и оптимизировать код)
AndroS 21 октября 2013 в 21:11 0
В любом случае, мегаплюс!!! Беру! Куда слать денюжку?
SJen 21 октября 2013 в 21:44 0
настоятельно советую поставить сначала ограниченную бесплатную версию и проверить работоспособность у себя на сайте)

Готовлю файлы, в самое ближайшее время выложу
AndroS 21 октября 2013 в 21:51 0
Ок, ждем-с! :)
fotpod 22 октября 2013 в 00:14 0
SJen, приветствую тебя, мне тоже интересен парсер, есть 2 вопроса:
- сколько позиций будет выводиться в ограниченной версии?
- для постоянных покупателей будет скидка?
SJen 22 октября 2013 в 05:12 0
опубликовал новый пост, там про позиции все подробно - в ограниченной вывод 10 позиций.
Про скидку для постоянных добавляю инфу - 10% для всех, кто ранее покупал что-либо из моих разработок - регистрацию или переписку.
Promo 22 октября 2013 в 06:59 0
Везде по Казахстану (в описании объектов) цена указывается в рублях а не в тенге, то-есть цена теньговая(5000тенге) а пишет рубли(5000рублей) (Казахстан, Алматы, рестораны), тестил разные сферы разные города, Будет исправлено или придётся вносить коррективы по каждому объекту?
SJen 22 октября 2013 в 07:21 -1
НАсчет везде - не подтверждаю. Может быть сами организации коряво выгрузили свои цены в Яндекс?


Ресторан Coliseum
Адрес: Караганда,проспект Строителей,28Сайт: http://dostar-alem.kz/coliseumТелефон: +7 (7212) 40-04-00; +7 (7212) 40-03-16Часы работы: круглосуточноРубрики в Яндексе: РестораныСтрана: КазахстанШирота: 49,776882Долгота: 73,1303

Дополнительная информация:средний счет: 600–650 тнг.


Вот еще пример, Алматы

Ресторан Тау-Мерген
Сайт: http://taumergen.tau-dastarkhan.kz Телефон: +7 (707) 733-45-65; +7 (701) 815-10-17Часы работы: чт-вс 10:00-24:00 Рубрики в Яндексе: РестораныСтрана: Казахстан Широта: 43,264374Долгота: 76,94698

Дополнительная информация:завтрак: 1250–2500 тнг.
SJen 22 октября 2013 в 07:35 -1
Шадринец 29 октября 2013 в 19:23 -2
Очень нужная разработка В ручную недели уйдут а тут такое; ценю Идею автора,+
Ильгиз 11 декабря 2013 в 11:38 +1
На демо-сайте парсер перестал получать от яндекса информацию...
ZmeeLove 26 февраля 2014 в 00:52 0
а как скачать бесплатную версию модуля парсинга? дайте пож-та ссылочку.
AndroS 19 апреля 2015 в 07:26 +1
sJen, под двойку будет компонент?
Гарри 12 мая 2015 в 10:49 0
Тоже интересует данный компонент под InstantMaps 2 ? Будет ли он или надо искать какой-то другой парсинг?