Обновленный парсер Яндекс.Карт

6550
Приветствую

Изменения довольно значительны, поэтому имеет смысл оформить их отдельным постом. В новой версии учтены все (или почти все) замечания, озвученные в предыдущем посте (тут).


Что новенького:

1. Добавлена поддержка постинга в любой тип контента (выбирается в админке). Исчезла жесткая привязка парсера к InstantMaps.
2. Добавлен новый тип контента "Объекты", с необходимыми полями
3. Добавлены настройки публикации в рубрики:
а) публиковать в рубрики Яндекса (можно указать родителя, внутри которого они будут созданы)
б) публиковать в заданную рубрику

4. Добавлено специальное поле yandex_id, которое исключит дублирование организаций. Поле так же добавляется в тип контента InstantMaps (если установлен компонент).

Тип контент "Объекты" бесплатный и открытый - качайте, редактируйте, дорабатывайте по желанию. Можно постить объекты в свой тип контента, нужно лишь добавить в него недостающие поля (посмотреть какие именно можно в "Объектах").

Небольшое видео:

Ограничения бесплатной версии:

За один запрос обрабатывается максимум 15 организаций, запросов можно делать бесконечное количество.

Купить

Ссылка в описании к бесплатной версии (не буду дублировать, может поменяться)
Цена: 1500руб
Обязательно перед покупкой проверьте работоспособность на вашем сервере!

Гарантии

От меня гарантия 2 месяца на работу парсера. Если вдруг Яндекс обновится так, что будет невозможно восстановить работоспособность парсера - возврат 50% оплаченной суммы. Это в случае форсмажора - такого пока не было, и при обновлениях карт - я просто обновляю парсер и высылаю обновления, обновления бесплатные. Версия для первой ветки успешно обновляется уже почти два года.

Цена для обладателей версии под первую ветку - 950руб. К сожалению обновление лицензии не автоматизировано (в отличии от покупки), реквизиты и информация по оплате на странице дополнения, ссылка ниже.
Каталог дополнений в админку сайта | Обновление компонента "Каталог дополнений в админку"
Комментарии (51)
Pasechnik 19 июня 2015 в 10:36 0
Только осваиваю компонент InstantMaps, есть несколько вопросов по парсеру:
1. Под первую ветку есть подобное решение?
2. Объектами могут быть турбазы, озера и т.т.
3. Для Беларуси функционал сохраняется?
SJen 19 июня 2015 в 10:42 +2
1. Под первую ветку есть подобное решение?
Pasechnik, посмотрите тут - это версия для первой ветки.

3. Для Беларуси функционал сохраняется?
Я парсил рестораны Пекина - мало, но получилось (их просто мало на Яндекс Картах). Я не знаю наполнение каталога Яндекс для Белоруссии - вы просто поставьте себе и попробуйте. Или посмотрите прямо на Яндексе - как он там с Белоруссией себя ведет.

2. Объектами могут быть турбазы, озера и т.т.
Все что есть на Яндекс картах и все ,что он отдает по запросам. Турбазы я думаю да, а вот озера врядли. Но это опять-таки вопрос к Яндекс картам - и вы можете на моем демо попробовать поискать.
nmsk 19 июня 2015 в 10:48 -1
Отличное обновление.. Но вот в ручную перебирать все рубрики, как-то не по феншую...
Парсинг по запросу, это хорошо, но лично моё мнение, что парсить заданные рубрики (полностью), было бы ещё лучше.
Поддержку 2gis не планируете добавлять?
SJen 19 июня 2015 в 11:02 0
Поддержку 2gis не планируете добавлять?
Я не думаю, что это возможно. Даже те ребята, которые занимались парсингом с 2gis сейчас отказываются от этого после беседы с 2gis.

У них есть платное АПИ, если только его использовать - но по его стоимости и возможности использования я сейчас ничего не скажу, может кто подскажет - тогда будем думать)
kdv1978 21 июня 2015 в 00:51 0
А что на счет того, что бы дополнить парсер предложением nmsk о возможности парсить заданные рубрики полностью с созданием городов, которые попадаются в фирмах соответствующих рубрик?
SJen 22 июня 2015 в 14:22 0
Спарсить вообще весь каталог?) - про рубрики надо подумать
Jestik 19 июня 2015 в 10:50 0
Так это что выходит, если город маленький, то данным компонентом можно заменить InstantMaps?
nmsk 19 июня 2015 в 10:54 -1
Заменить.. громко сказано, но простой каталог организовать можно...

пс
SJen, в демо кстати не увидел что бы у объектов парсились фотографии.., это не доступно?
SJen 19 июня 2015 в 10:58 +2
Фотографий в этой версии нет, пока не готов ответить возможно ли их загружать. Но если возможно, то в следующей версии сделаю - когда соберу все пожелания/баги(если будут) по этой версии в кучу.
SJen 19 июня 2015 в 10:54 0
Я не думаю, что тип контента, который я сделал за час-два может заменить компонент R2, который он делал не один день))
Зависит от требований, кому-то хватит и такого варианта. Но сам по себе тип контента надо допиливать.
Pasechnik 19 июня 2015 в 10:54 0
Для первой ветки функционал тот же?

п.с. Отличный скрипт, обязательно приобрету. Спасибо!
SJen 19 июня 2015 в 11:00 0
Для первой функционал похож. Совсем тем же он не может быть, потому что все-таки первая ветка инстанта хорошо отличается от второй.
Вы перед покупкой в любом случае себе поставьте бесплатную версию и проверьте что да как. Главное, чтобы на вашем сервере все работало как надо.
CozaNostra 19 июня 2015 в 10:59 +1
Молодца :)
Tony Mahoney 19 июня 2015 в 11:14 0
Первая демо-версия работала отлично, а эта версия парсит но не отображает объекты, как быть? scratch
SJen 19 июня 2015 в 11:22 0
сейчас у себя проверю
Tony Mahoney 19 июня 2015 в 11:47 0
Не знаю что произошло, но все заработало)
GoodMade.ru 19 июня 2015 в 12:22 +1
шайтан попутал.. laugh
GoodMade.ru 19 июня 2015 в 12:24 0
Всё теперь вы у меня на заметке! Буду знать к кому за парсерами надо обращаться.
Спойлер
SJen 19 июня 2015 в 12:27 0
Спойлер
GoodMade.ru 19 июня 2015 в 12:46 0
ermakover 20 июня 2015 в 11:07 0
Что-то всё равно некоторые объекты парсятся по 2-3 раза, несмотря на yandex_id scratch
SJen 20 июня 2015 в 12:40 0
Скачайте ещё раз, я поправил вчера баг. Такое было с инстант мапс, если в объекты постить баг не проявлялсяпроявлялся
kdv1978 21 июня 2015 в 01:56 0
1. Есть два города рядом, например Нижний Новгород и Бор, находятся примерно в 10 км друг от друга. Если в парсере я указываю город Бор, ставлю радиус 30 км, то в поиск попадает и Нижний Новгород. Баг в том, что при парсинге скрипт берет с яндекс карт не полную копию карточки похоже, а в частности город принимает как город указанный при первоначальных установках. В результате мы парсим все что попало в город Бор + все что попало в город Нижний Новгород (т.к. радиус 30 км) но все фирмы из НН получили в своих карточках название город - Бор вместо НН как должно быть. Пример - http://catalog-firm.org/places/ais-servis-addrs-f1813.html#2037 в карточках город Бор написано, при увеличении карты видим что фирма в НН находится.
Наверное правильнее сделать, чтобы если при настройках задавать город и радиус, то при парсингенужно чтобы фирмы из других городов не парсились, если они попали в радиус поиска, иначе теряется смысл первоначального выбора города в настройках.
2. Незнаю насколько исправлен баг постом выше, но у меня при повторных парсингах идет повторная запись в БД дублей.
SJen 22 июня 2015 в 14:23 0
Проблему понял, этот момент поправлю патчем. С городами проблема исчезнет. В среду-четверг будет патч.
kdv1978 21 июня 2015 в 01:59 0
3. Можно как то привести адрес карточки фирмы например - http://catalog-firm.org/places/ais-servis-addrs-f1813.html#2038 к виду, чтобы вместо addrs писался город-улица-дом на латинице?
SJen 22 июня 2015 в 14:27 0
Сейчас юрлы формирует компонент instantmaps, сам и по своим правилам. Пока так. А если парсить в "объекты", то адреса формируются по настройкам типа контента.
kdv1978 21 июня 2015 в 23:57 0
4. При указании в настройках какого либо города, после парсинга этот город заносится в БД и его уже можно выбрать на поле карты. Проблема в том, что похоже при записи изначальной города в БД ему записываются некорректные координаты, при чем для всех городов одни и теже. Пример http://catalog-firm.org/ город Бор и город Дзержинск (были добавлены через парсер).
SJen 22 июня 2015 в 14:28 0
Это проблемка малых городов, поправлю и должно исчезнуть
SJen 24 июня 2015 в 20:50 0
Обновил компонент, патч можно скачать в каталоге дополнений - тут
kdv1978 24 июня 2015 в 22:21 0
Подскажите я правильно ставлю патч? В админке установить пакет дополнений. Но при запуске у меня появляется белый экран и обновление не проходит. Или я не так ставлю?
SJen 25 июня 2015 в 07:59 0
да, все верно. Именно патч же ставите? - вижу два варианта
1. либо включать вывод ошибок и разбираться что за белый экран (пост от R2 про это)
2. вручную заменить один файлик из патча - тот, который внутри папки package

Еще проверьте, в описании к дополнению написано, что это "патч"? - может случайно с аддонов скачали полную версию(с учетом этого патча) для установки с нуля.
kdv1978 26 июня 2015 в 00:45 0
Да, скачал полную версию, поэтому белый экран. Скачал именно патч и все прошло удачно. Спасибо.
Lisandr 9 июля 2015 в 22:56 0
В общем поставил я чистый ICMS 2.2.1, поставил чистый IMaps, поставил парсер. При парсинге выдает http://take.ms/jBgj1 но при этом создает в БД объекты и свойства к ним. НО теперь категории IMaps не открываются, объекты не открываются, при удалении категорий - опять же чистая, белая страница. Я хз в чём дело.
Lisandr 23 июля 2015 в 15:49 +1
Кстати при парсинге на Демо сайте - белый экран и всё.
Nsk 31 июля 2015 в 18:37 -1
Преждевременно поставил плюсик .... Вторая неделя пошла как тишина от разработчика....
Кому Интересно почитайте переписку, - читать снизу вверх

GoodMade.ru 1 августа 2015 в 03:59 +1
Всё таки не тот и не другой laugh
ermakover 1 августа 2015 в 08:34 +2
Автор уехал в отпуск, перед уездом попрощался. Может не вернулся ещё?
ermakover 1 августа 2015 в 08:45 +2
Ну а по большому счёту - давно сижу на iCMS и практика тут одна.
Кто-то, увлечённый программированием, делает какие-то дополнения и сразу начинает продавать.
Заинтересованные люди покупают.
Но вдруг что-то идёт не так и дополнение работает не так, как надо покупателю, он обращается к автору за помощью, но помощь получает крайне редко, потому что автор уже увлечён новой разработкой, а старая недоделка его мало интересует.
А вот это уже нарушение законных Прав Потребителя.
Или же человек делает какое-то даже бесплатно дополнение с энтузиазмом, многие ставят его на сайт, а потом энтузиазм исчезает, автор бросает полуфабрикат и исчезает. Ты лучше деньги бери и отвечай за свой продукт!!
Я и авторов дополнений понять могу. Многие покупатели, особенно сложных дополнений, таких, как парсеры, думают, что они купят и всё заработает волшебным образом, а не работает, потому что настраивать нужно, а ничего не понятно.

Поэтому движок и остаётся пока на таком полупионерском уровне.
Kreator 6 октября 2015 в 23:25 +1
Но вдруг что-то идёт не так и дополнение работает не так, как надо покупателю, он обращается к автору за помощью, но помощь получает крайне редко, потому что автор уже увлечён новой разработкой, а старая недоделка его мало интересует.
Если вы купили угли для шашлыка, а они горят не зеленым пламенем а красным, то это не проблема продавца
Nsk 1 августа 2015 в 09:32 +2
Все налажено , все работает, спасибо Денис Василичу
Pasechnik 16 августа 2015 в 12:11 +1
Приобрел у ТС парсер для первой ветки, установил, ввел лицензионный ключ. При парсинге ошибка: /modules/mod_bm_import_inmaps/ajax/go.php has expired. in Unknown on line 0 Это что-то с лицензией не так, правильно понимаю? Здесь SJen не появляется, по почте не отвечает. 1500р коту под хвост. Может кто подскажет по этой ошибке. sad
ermakover 19 августа 2015 в 09:58 0
Ещё обнаружилось, что в типе контента Объекты не редактируются поля. Выбрасывает на 404 при попытке отредактировать любое поле. И это очень печально.
Pasechnik 26 августа 2015 в 22:37 0
Проблему решил заливкой патча, взял отсюда, для первой ветки. Не работала версия предоставленная разработчиком.
Евгений, у вас хорошие скрипты, просто относитесь внимательнее к своим клиентам.
Виталий 6 октября 2015 в 09:54 0
Подскажите плиззз.. А можно как то парсить чтобы он свойства категории не добавлял???? А то к примеру по запросу авто.. он закинул объект. а мне из автосалона в авто магазин надо перекинуть.. и там хренову тучу свойств заполнить.. а мне вобще эти свойства не нужны.
Виталий 6 октября 2015 в 09:54 0
Подскажите плиззз.. А можно как то парсить чтобы он свойства категории не добавлял???? А то к примеру по запросу авто.. он закинул объект. а мне из автосалона в авто магазин надо перекинуть.. и там хренову тучу свойств заполнить.. а мне вобще эти свойства не нужны.
Александр Сергеевич 27 октября 2015 в 21:08 0
Кто подскажет как почистить историю парсеных?
Я очистил мапс(удалил все объекты и категории). Пытаюсь по новой парсить, а там пишет такой объект уже есть, такой уже есть... И ничего не добавляет. В базе где-то виксирует id объектов яндекса? или где нужно почистить?
MegaRostov 2 апреля 2016 в 09:58 0
Вы когда вернетесь? есть много вопросов.
Сергей 21 апреля 2016 в 19:02 0
Notice: Use of undefined constant LANG_PARSER_CITY_FILTER_HINT - assumed 'LANG_PARSER_CITY_FILTER_HINT' in /var/www/u0036001/public_html/realty/system/controllers/content/model.php on line 501
Сергей 21 апреля 2016 в 19:13 0
В админке тоже Notice: Use of undefined constant LANG_PARSER_CITY_FILTER_HINT - assumed 'LANG_PARSER_CITY_FILTER_HINT' in /var/www/u0036001/public_html/realty/system/core/form.php on line 554
В профили не зайти!
Поле icity глючит везде.
SJen пора обновлять парсер ,система теперь получила поле местоположение city спасайте !!!
Сергей 3 августа 2016 в 15:38 0
НЕ РАБОТАЕТ на 2.5.1!
Сергей 3 августа 2016 в 16:34 0
Как его правильно удалить, кто то может подсказать что в базе удалить? Его таблицы понятно , а где компонент ещё прописывается? Он даже на сторонний шаблон повлиял каким то образом, хотя файлы в дефолт залиты.