Модуль парсинга и постинга для InstantMaps (презентация)

+43
4.38K
Отвлекся немного от верстки шаблона и написал сервис для наполнения компонента InstantMaps.

Что умеет:

1. Парсить организации из Яндекс каталога организаций по рубрике или ключевому слову.
2. Добавлять по клику конкретную организацию из найденных по запросу.
3. Массово импортировать найденные организации.
4. Корректно работает с добавлением нового адреса и раскидыванием одной организации по N рубрикам.
5. Заполняются все возможные поля в базе адресов компонента.
6. Высокая скорость работы — добавить 1000 организация на автомате (заполнив только два поля — Город и "поисковый запрос") займет около 1 минуты.
7. UPDATE. При импорте объектов создаются все недостающие рубрики.
Иллюстрация

Посмотреть в работе можно тут — справа кнопка "Открыть парсинг". Сейчас там заполнены организации по Ижевску.
Можно под гостем, можно авторизоваться (user1 123123).

Модуль будет в двух вариантах:

бесплатная версия, с ограничением по количеству результатов.
и платная — без ограничений на количество результатов. Стоимость 1500руб. Что именно в нее будет входить — какие гарантии по работоспособности и обновления, напишу позже. В нее уже будет заложена техподдержка и гарантия на возврат в случае поломки парсера и моей невозможности его починить (Яндекс непредсказуем).

Как посмотреть в работе:

1. зайти на страницу
2. Кликнуть на кнопку "Открыть парсинг".
3. Прочитать короткую инструкцию и заполнить поля Город и "Рубрику для поиска". Можно не заполнять, а кликнуть на ссылки в инструкции — они сами заполнят все поля.
4. Запустить парсинг. Если поставить флаг "Сразу импортируем", то результаты поиска сразу будут вноситься в базу данных сайта.
5. Посмотреть результаты, если нужно — добавить организацию.

Кому будет интересно — на следующей неделе выложу бесплатную версию с полной функциональностью, но с ограничением по количеству данных в результатах запроса.
Если будут разумные пожелания, доработаю сервис.

PS Переписка, регистрация, юлогин скоро появятся под версию 1.10.3, не забываю про них.
+4
Петрмаг Петрмаг 8 лет назад #
Нужная вещь бесспорно,но вот сразу вопросец,а яндекс не забанит за это сайт целиком?
0
eoleg eoleg 8 лет назад #
Яндекс сам отовсюду парсит smile
0
SJen SJen 8 лет назад #
Если вы про сам факт парсинга - то за это не банят. Если же про наполнение каталога - то, конечно, для большего эффекта нужно уникализировать страницы, добавлять описание к каждому объекту. Парсинг и постинг лишь облегчают задача начального наполнения, кнопка "Бабло" в функционал не входит, к сожалению..
0
Андрей Андрей 8 лет назад #
оч. интересно
готов приобрести полноценную платную версию
0
Дмитрий Дмитрий 8 лет назад #
Цена?
0
SJen SJen 8 лет назад #
добавил в пост информацию по цене.
В любом случае будет бесплатная версия, которую сначала можно будет установить и обкатать у себя. И решить нужна "безлимитка" или нет.
0
Су-27 Су-27 8 лет назад #
Очень интересно - если цена незаоблачная тоже готов приобрести полный функционал. hoho
-2
Алексей Т Алексей Т 8 лет назад #
SJen Большой

+

0
Dost Dost 8 лет назад #
Нужная разработка! Пробовал Украину парсить - не работает что то. Россия отлично.
0
PolarOne PolarOne 8 лет назад #
Киев попробовал - все отлично работает!
0
SJen SJen 8 лет назад #
Добавил поддержку различных стран и народной карты. Потестил на Киеве, Минске.

Даже Китай->Пекин и Францию->Париж парсит
0
SE7EN SE7EN 8 лет назад #
Попробовал:
Павлодар - Рынки нашёл почему-то всё Российское, а вот что сам Яндекс показал по такому же запросу http://maps.yandex.ru/?text=%D0%A0%D1%8B%D0%BD%D0%BA%D0%B8&sll=76.93880899999999%2C52.27645299999964&sspn=0.3776550292968608%2C0.14215013933888088&z=13&results=20&ll=76.967052%2C52.298103&spn=0.188828%2C0.071040&l=map
По казахстану не работает, жаль, купил бы (((
0
SJen SJen 8 лет назад #
Все верно, добавил поддержку Казахстана - проверил выборочные запросы по Павлодару и Караганде.
0
Олег с клещами Олег с клещами 8 лет назад #
Не плохая вешь. Однако:
Набираю город, пишу рубрику "санатории" (которой изначально нет в категориях на сайте), жму кнопель - всё парсится отлично и объекты типа появляются, можно посмотреть по прямой ссылке. Но, где потом юзеру найти эти объекты? Ведь новые категории не появляются.
0
Олег с клещами Олег с клещами 8 лет назад #
Ведь новые категории не появляются.
Ну, так как же с этим? Вопрос важнейший.
0
SJen SJen 8 лет назад #
Да, упустил этот момент в описании. Рубрики СОЗДАЮТСЯ)

При добавлении объектов на нулевом шаге проверяется наличие необходимых рубрик - если чего-то не хватает, оно создается. При добавлении объекта он прописывается уже в существующих рубриках. Это можно заметить на демо сайте - изначально рубрик там не было, все создались при импорте.

Минус в том, что иерархия рубрик не строится - для этого просто нет информации. То есть по-хорошему потом нужно будет руками раскидать рубрики, построить дерево.
0
Олег с клещами Олег с клещами 8 лет назад #
Отлично! Буду брать однозначно.
0
tokarev tokarev 8 лет назад #
Ввожу город Караганда, рубрику "кафе" - выдает Московские, новосибские и т.д. кафе ))) будет работать для Казахстана - куплю
0
SJen SJen 8 лет назад #
сделал
0
omarov omarov 8 лет назад #
Данная разработка будет работать на 1.10.1?
+1
SJen SJen 8 лет назад #
Какой-то зависимости от версии Инстанта нет, так что будет работать на всей линейке 1.10.*. Могу и для 1.9 сделать если это кому-то нужно.
Сам тестирую на 1.10.2 и последней версии InstantMaps (версии карт для 1.10.3 вроде еще нет)
0
cvetkoff cvetkoff 8 лет назад #
Беларусь не парсится. куплю если будет
+2
tokarev tokarev 8 лет назад #
офтоп
0
SJen SJen 8 лет назад #
сделал
0
Endroid Endroid 8 лет назад #
Отлично! Записался в очередь, куплю за разумную цену, конечно joke
0
RIM5 RIM5 8 лет назад #
Отличная штуковина - то, что нужно smile
Тоже куплю, как будет в продаже smile
0
Mademaster Mademaster 8 лет назад #
кто последний??? записываюсь на платную
0
AndroS AndroS 8 лет назад #
Когда будет готов модуль? Готов приобрести! Реквизиты тоже бы неплохо в теме повешать
0
SJen SJen 8 лет назад #
После сегодняшней публикации выявилось довольно много недочетов, которые уже все исправлены.
Клиентская часть готова. Приведу в порядок админку и потестирую еще день-два.
0
SE7EN SE7EN 8 лет назад #
Прверил в работе (касательно Казастанских городов)
Казахстан
Аксу
Кафе

ПОчему-то смешивает подтягивает кафе из Аксу и кафе из Павлодара? По ходу он на область орентируется? Или как?
0
SJen SJen 8 лет назад #
По введенному городу определяется точка X, вокруг которой в определенном радиусе ищутся все объекты согласно поисковому запросу. Добавлю флаг, чтобы не показывать объекты НЕ из введенного города.
0
Димон Димон 8 лет назад #
Супер, когда будет релиз уже?
0
SJen SJen 8 лет назад #
сегодня вечером (в понедельник).
в случае форс мажора - завтра.
0
AndroS AndroS 8 лет назад #
Смотрю на демо - дублируются категории, некоторые прям много раз... Нельзя ли как-то сделать настройку, чтобы парсер импортировал в заданную ранее админом категорию, начхамши на рубрики яндекса? Либо чтобы скрипт сравнивал рубрики сайта и рубрики яндекса, и соответственно их привязывал друг к другу при парсинге. К примеру, у нас рубрика "магазины", а у яндекса "шопы". Скрипт предлагает админу парсить в нашу рубрику или создать по аналогии с яшей. Если админ добавляет в нашу, то скрипт запоминает id рубрики яндекса с привязкой к нашему id нашей рубрики и в дальнейшей из "шопов" автоматом добавляет объекты в "магазины".
В любом случае, скрипт брать буду. Ведь там же можно удалять созданные им категории и переносить объекты в свои?
+1
SJen SJen 8 лет назад #
Про задвоение рубрик проверю - сейчас этого не должно быть (не должно быть рубрик с одинаковым наименованием). Но в процессе тестирования такие могли появляться.

Нельзя ли как-то сделать настройку, чтобы парсер импортировал в заданную ранее админом категорию, начхамши на рубрики яндекса?

Реализовал выбор рубрики для постинга, вот скрин админки
""


Если админ добавляет в нашу, то скрипт запоминает id рубрики яндекса с привязкой к нашему id нашей рубрики и в дальнейшей из "шопов" автоматом добавляет объекты в "магазины".
Над этим подумаю, но есть много нюансов.. Есть еще народные карты, там вообще рубрики свои. Но это позже, в первую версию это не буду добавлять - иначе я так могу и до Нового года добавлять фишки и оптимизировать код)
0
AndroS AndroS 8 лет назад #
В любом случае, мегаплюс!!! Беру! Куда слать денюжку?
0
SJen SJen 8 лет назад #
настоятельно советую поставить сначала ограниченную бесплатную версию и проверить работоспособность у себя на сайте)

Готовлю файлы, в самое ближайшее время выложу
0
AndroS AndroS 8 лет назад #
Ок, ждем-с! :)
0
fotpod fotpod 8 лет назад #
SJen, приветствую тебя, мне тоже интересен парсер, есть 2 вопроса:
- сколько позиций будет выводиться в ограниченной версии?
- для постоянных покупателей будет скидка?
0
SJen SJen 8 лет назад #
опубликовал новый пост, там про позиции все подробно - в ограниченной вывод 10 позиций.
Про скидку для постоянных добавляю инфу - 10% для всех, кто ранее покупал что-либо из моих разработок - регистрацию или переписку.
0
Promo Promo 8 лет назад #
Везде по Казахстану (в описании объектов) цена указывается в рублях а не в тенге, то-есть цена теньговая(5000тенге) а пишет рубли(5000рублей) (Казахстан, Алматы, рестораны), тестил разные сферы разные города, Будет исправлено или придётся вносить коррективы по каждому объекту?
-1
SJen SJen 8 лет назад #
НАсчет везде - не подтверждаю. Может быть сами организации коряво выгрузили свои цены в Яндекс?


Ресторан Coliseum
Адрес: Караганда,проспект Строителей,28Сайт: http://dostar-alem.kz/coliseumТелефон: +7 (7212) 40-04-00; +7 (7212) 40-03-16Часы работы: круглосуточноРубрики в Яндексе: РестораныСтрана: КазахстанШирота: 49,776882Долгота: 73,1303

Дополнительная информация:средний счет: 600–650 тнг.


Вот еще пример, Алматы

Ресторан Тау-Мерген
Сайт: http://taumergen.tau-dastarkhan.kz Телефон: +7 (707) 733-45-65; +7 (701) 815-10-17Часы работы: чт-вс 10:00-24:00 Рубрики в Яндексе: РестораныСтрана: Казахстан Широта: 43,264374Долгота: 76,94698

Дополнительная информация:завтрак: 1250–2500 тнг.
-2
Шадринец Шадринец 8 лет назад #
Очень нужная разработка В ручную недели уйдут а тут такое; ценю Идею автора,+
+1
Ильгиз Ильгиз 8 лет назад #
На демо-сайте парсер перестал получать от яндекса информацию...
0
ZmeeLove ZmeeLove 8 лет назад #
а как скачать бесплатную версию модуля парсинга? дайте пож-та ссылочку.
+2
AndroS AndroS 7 лет назад #
sJen, под двойку будет компонент?
+1
Гарри Гарри 7 лет назад #
Тоже интересует данный компонент под InstantMaps 2 ? Будет ли он или надо искать какой-то другой парсинг?

Еще от автора

Обновление компонента "Мне нравится"
Приветствую. Закончил версию с исправлением ошибок и багов, всем пользователям обновление выслано на электронку.
Обновление компонента  "Каталог дополнений в админку"
Приветствую. Обновление самого популярного аддона из официального каталога дополнений.
Обновленный парсер Яндекс.Карт
Приветствую Изменения довольно значительны, поэтому имеет смысл оформить их отдельным постом.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.