Обновленный парсер Яндекс.Карт

+23
7.61K
Приветствую

Изменения довольно значительны, поэтому имеет смысл оформить их отдельным постом. В новой версии учтены все (или почти все) замечания, озвученные в предыдущем посте (тут).


Что новенького:

1. Добавлена поддержка постинга в любой тип контента (выбирается в админке). Исчезла жесткая привязка парсера к InstantMaps.
2. Добавлен новый тип контента "Объекты", с необходимыми полями
3. Добавлены настройки публикации в рубрики:
а) публиковать в рубрики Яндекса (можно указать родителя, внутри которого они будут созданы)
б) публиковать в заданную рубрику

4. Добавлено специальное поле yandex_id, которое исключит дублирование организаций. Поле так же добавляется в тип контента InstantMaps (если установлен компонент).

Тип контент "Объекты" бесплатный и открытый — качайте, редактируйте, дорабатывайте по желанию. Можно постить объекты в свой тип контента, нужно лишь добавить в него недостающие поля (посмотреть какие именно можно в "Объектах").

Небольшое видео:

Ограничения бесплатной версии:

За один запрос обрабатывается максимум 15 организаций, запросов можно делать бесконечное количество.

Купить

Ссылка в описании к бесплатной версии (не буду дублировать, может поменяться)
Цена: 1500руб
Обязательно перед покупкой проверьте работоспособность на вашем сервере!

Гарантии

От меня гарантия 2 месяца на работу парсера. Если вдруг Яндекс обновится так, что будет невозможно восстановить работоспособность парсера — возврат 50% оплаченной суммы. Это в случае форсмажора — такого пока не было, и при обновлениях карт — я просто обновляю парсер и высылаю обновления, обновления бесплатные. Версия для первой ветки успешно обновляется уже почти два года.

Цена для обладателей версии под первую ветку — 950руб. К сожалению обновление лицензии не автоматизировано (в отличии от покупки), реквизиты и информация по оплате на странице дополнения, ссылка ниже.
0
Pasechnik Pasechnik 7 лет назад #
Только осваиваю компонент InstantMaps, есть несколько вопросов по парсеру:
1. Под первую ветку есть подобное решение?
2. Объектами могут быть турбазы, озера и т.т.
3. Для Беларуси функционал сохраняется?
+2
SJen SJen 7 лет назад #
1. Под первую ветку есть подобное решение?
Pasechnik, посмотрите тут - это версия для первой ветки.

3. Для Беларуси функционал сохраняется?
Я парсил рестораны Пекина - мало, но получилось (их просто мало на Яндекс Картах). Я не знаю наполнение каталога Яндекс для Белоруссии - вы просто поставьте себе и попробуйте. Или посмотрите прямо на Яндексе - как он там с Белоруссией себя ведет.

2. Объектами могут быть турбазы, озера и т.т.
Все что есть на Яндекс картах и все ,что он отдает по запросам. Турбазы я думаю да, а вот озера врядли. Но это опять-таки вопрос к Яндекс картам - и вы можете на моем демо попробовать поискать.
-1
nmsk nmsk 7 лет назад #
Отличное обновление.. Но вот в ручную перебирать все рубрики, как-то не по феншую...
Парсинг по запросу, это хорошо, но лично моё мнение, что парсить заданные рубрики (полностью), было бы ещё лучше.
Поддержку 2gis не планируете добавлять?
0
SJen SJen 7 лет назад #
Поддержку 2gis не планируете добавлять?
Я не думаю, что это возможно. Даже те ребята, которые занимались парсингом с 2gis сейчас отказываются от этого после беседы с 2gis.

У них есть платное АПИ, если только его использовать - но по его стоимости и возможности использования я сейчас ничего не скажу, может кто подскажет - тогда будем думать)
0
kdv1978 kdv1978 7 лет назад #
А что на счет того, что бы дополнить парсер предложением nmsk о возможности парсить заданные рубрики полностью с созданием городов, которые попадаются в фирмах соответствующих рубрик?
0
SJen SJen 7 лет назад #
Спарсить вообще весь каталог?) - про рубрики надо подумать
0
Jestik Jestik 7 лет назад #
Так это что выходит, если город маленький, то данным компонентом можно заменить InstantMaps?
-1
nmsk nmsk 7 лет назад #
Заменить.. громко сказано, но простой каталог организовать можно...

пс
SJen, в демо кстати не увидел что бы у объектов парсились фотографии.., это не доступно?
+2
SJen SJen 7 лет назад #
Фотографий в этой версии нет, пока не готов ответить возможно ли их загружать. Но если возможно, то в следующей версии сделаю - когда соберу все пожелания/баги(если будут) по этой версии в кучу.
0
SJen SJen 7 лет назад #
Я не думаю, что тип контента, который я сделал за час-два может заменить компонент R2, который он делал не один день))
Зависит от требований, кому-то хватит и такого варианта. Но сам по себе тип контента надо допиливать.
0
Pasechnik Pasechnik 7 лет назад #
Для первой ветки функционал тот же?

п.с. Отличный скрипт, обязательно приобрету. Спасибо!
0
SJen SJen 7 лет назад #
Для первой функционал похож. Совсем тем же он не может быть, потому что все-таки первая ветка инстанта хорошо отличается от второй.
Вы перед покупкой в любом случае себе поставьте бесплатную версию и проверьте что да как. Главное, чтобы на вашем сервере все работало как надо.
+1
CozaNostra CozaNostra 7 лет назад #
Молодца :)
0
Tony Mahoney Tony Mahoney 7 лет назад #
Первая демо-версия работала отлично, а эта версия парсит но не отображает объекты, как быть? scratch
0
SJen SJen 7 лет назад #
сейчас у себя проверю
0
Tony Mahoney Tony Mahoney 7 лет назад #
Не знаю что произошло, но все заработало)
+1
Денис Васильевич Денис Васильевич 7 лет назад #
шайтан попутал.. laugh
0
Денис Васильевич Денис Васильевич 7 лет назад #
Всё теперь вы у меня на заметке! Буду знать к кому за парсерами надо обращаться.
Спойлер
0
SJen SJen 7 лет назад #
Спойлер
0
Денис Васильевич Денис Васильевич 7 лет назад #
rofl
0
ermakover ermakover 7 лет назад #
Что-то всё равно некоторые объекты парсятся по 2-3 раза, несмотря на yandex_id scratch
0
SJen SJen 7 лет назад #
Скачайте ещё раз, я поправил вчера баг. Такое было с инстант мапс, если в объекты постить баг не проявлялсяпроявлялся
0
kdv1978 kdv1978 7 лет назад #
1. Есть два города рядом, например Нижний Новгород и Бор, находятся примерно в 10 км друг от друга. Если в парсере я указываю город Бор, ставлю радиус 30 км, то в поиск попадает и Нижний Новгород. Баг в том, что при парсинге скрипт берет с яндекс карт не полную копию карточки похоже, а в частности город принимает как город указанный при первоначальных установках. В результате мы парсим все что попало в город Бор + все что попало в город Нижний Новгород (т.к. радиус 30 км) но все фирмы из НН получили в своих карточках название город - Бор вместо НН как должно быть. Пример - http://catalog-firm.org/places/ais-servis-addrs-f1813.html#2037 в карточках город Бор написано, при увеличении карты видим что фирма в НН находится.
Наверное правильнее сделать, чтобы если при настройках задавать город и радиус, то при парсингенужно чтобы фирмы из других городов не парсились, если они попали в радиус поиска, иначе теряется смысл первоначального выбора города в настройках.
2. Незнаю насколько исправлен баг постом выше, но у меня при повторных парсингах идет повторная запись в БД дублей.
0
SJen SJen 7 лет назад #
Проблему понял, этот момент поправлю патчем. С городами проблема исчезнет. В среду-четверг будет патч.
0
kdv1978 kdv1978 7 лет назад #
3. Можно как то привести адрес карточки фирмы например - http://catalog-firm.org/places/ais-servis-addrs-f1813.html#2038 к виду, чтобы вместо addrs писался город-улица-дом на латинице?
0
SJen SJen 7 лет назад #
Сейчас юрлы формирует компонент instantmaps, сам и по своим правилам. Пока так. А если парсить в "объекты", то адреса формируются по настройкам типа контента.
0
kdv1978 kdv1978 7 лет назад #
4. При указании в настройках какого либо города, после парсинга этот город заносится в БД и его уже можно выбрать на поле карты. Проблема в том, что похоже при записи изначальной города в БД ему записываются некорректные координаты, при чем для всех городов одни и теже. Пример http://catalog-firm.org/ город Бор и город Дзержинск (были добавлены через парсер).
0
SJen SJen 7 лет назад #
Это проблемка малых городов, поправлю и должно исчезнуть
0
SJen SJen 7 лет назад #
Обновил компонент, патч можно скачать в каталоге дополнений - тут
0
kdv1978 kdv1978 7 лет назад #
Подскажите я правильно ставлю патч? В админке установить пакет дополнений. Но при запуске у меня появляется белый экран и обновление не проходит. Или я не так ставлю?
0
SJen SJen 7 лет назад #
да, все верно. Именно патч же ставите? - вижу два варианта
1. либо включать вывод ошибок и разбираться что за белый экран (пост от R2 про это)
2. вручную заменить один файлик из патча - тот, который внутри папки package

Еще проверьте, в описании к дополнению написано, что это "патч"? - может случайно с аддонов скачали полную версию(с учетом этого патча) для установки с нуля.
0
kdv1978 kdv1978 7 лет назад #
Да, скачал полную версию, поэтому белый экран. Скачал именно патч и все прошло удачно. Спасибо.
0
Lisandr Lisandr 7 лет назад #
В общем поставил я чистый ICMS 2.2.1, поставил чистый IMaps, поставил парсер. При парсинге выдает http://take.ms/jBgj1 но при этом создает в БД объекты и свойства к ним. НО теперь категории IMaps не открываются, объекты не открываются, при удалении категорий - опять же чистая, белая страница. Я хз в чём дело.
+1
Lisandr Lisandr 7 лет назад #
Кстати при парсинге на Демо сайте - белый экран и всё.
-1
Nsk Nsk 7 лет назад #
Преждевременно поставил плюсик .... Вторая неделя пошла как тишина от разработчика....
Кому Интересно почитайте переписку, - читать снизу вверх

+1
Денис Васильевич Денис Васильевич 7 лет назад #
Всё таки не тот и не другой laugh
+2
ermakover ermakover 7 лет назад #
Автор уехал в отпуск, перед уездом попрощался. Может не вернулся ещё?
+2
ermakover ermakover 7 лет назад #
Ну а по большому счёту - давно сижу на iCMS и практика тут одна.
Кто-то, увлечённый программированием, делает какие-то дополнения и сразу начинает продавать.
Заинтересованные люди покупают.
Но вдруг что-то идёт не так и дополнение работает не так, как надо покупателю, он обращается к автору за помощью, но помощь получает крайне редко, потому что автор уже увлечён новой разработкой, а старая недоделка его мало интересует.
А вот это уже нарушение законных Прав Потребителя.
Или же человек делает какое-то даже бесплатно дополнение с энтузиазмом, многие ставят его на сайт, а потом энтузиазм исчезает, автор бросает полуфабрикат и исчезает. Ты лучше деньги бери и отвечай за свой продукт!!
Я и авторов дополнений понять могу. Многие покупатели, особенно сложных дополнений, таких, как парсеры, думают, что они купят и всё заработает волшебным образом, а не работает, потому что настраивать нужно, а ничего не понятно.

Поэтому движок и остаётся пока на таком полупионерском уровне.
+1
Александр Kreator Александр Kreator 7 лет назад #
Но вдруг что-то идёт не так и дополнение работает не так, как надо покупателю, он обращается к автору за помощью, но помощь получает крайне редко, потому что автор уже увлечён новой разработкой, а старая недоделка его мало интересует.
Если вы купили угли для шашлыка, а они горят не зеленым пламенем а красным, то это не проблема продавца
+2
Nsk Nsk 7 лет назад #
Все налажено , все работает, спасибо Денис Василичу
+1
Pasechnik Pasechnik 7 лет назад #
Приобрел у ТС парсер для первой ветки, установил, ввел лицензионный ключ. При парсинге ошибка: /modules/mod_bm_import_inmaps/ajax/go.php has expired. in Unknown on line 0 Это что-то с лицензией не так, правильно понимаю? Здесь SJen не появляется, по почте не отвечает. 1500р коту под хвост. Может кто подскажет по этой ошибке. sad
0
ermakover ermakover 7 лет назад #
Ещё обнаружилось, что в типе контента Объекты не редактируются поля. Выбрасывает на 404 при попытке отредактировать любое поле. И это очень печально.
0
Pasechnik Pasechnik 7 лет назад #
Проблему решил заливкой патча, взял отсюда, для первой ветки. Не работала версия предоставленная разработчиком.
Евгений, у вас хорошие скрипты, просто относитесь внимательнее к своим клиентам.
0
Виталий Виталий 7 лет назад #
Подскажите плиззз.. А можно как то парсить чтобы он свойства категории не добавлял???? А то к примеру по запросу авто.. он закинул объект. а мне из автосалона в авто магазин надо перекинуть.. и там хренову тучу свойств заполнить.. а мне вобще эти свойства не нужны.
0
Виталий Виталий 7 лет назад #
Подскажите плиззз.. А можно как то парсить чтобы он свойства категории не добавлял???? А то к примеру по запросу авто.. он закинул объект. а мне из автосалона в авто магазин надо перекинуть.. и там хренову тучу свойств заполнить.. а мне вобще эти свойства не нужны.
0
Александр Сергеевич Александр Сергеевич 7 лет назад #
Кто подскажет как почистить историю парсеных?
Я очистил мапс(удалил все объекты и категории). Пытаюсь по новой парсить, а там пишет такой объект уже есть, такой уже есть... И ничего не добавляет. В базе где-то виксирует id объектов яндекса? или где нужно почистить?
0
MegaRostov MegaRostov 6 лет назад #
Вы когда вернетесь? есть много вопросов.
0
Сергей Сергей 6 лет назад #
Notice: Use of undefined constant LANG_PARSER_CITY_FILTER_HINT - assumed 'LANG_PARSER_CITY_FILTER_HINT' in /var/www/u0036001/public_html/realty/system/controllers/content/model.php on line 501
0
Сергей Сергей 6 лет назад #
В админке тоже Notice: Use of undefined constant LANG_PARSER_CITY_FILTER_HINT - assumed 'LANG_PARSER_CITY_FILTER_HINT' in /var/www/u0036001/public_html/realty/system/core/form.php on line 554
В профили не зайти!
Поле icity глючит везде.
SJen пора обновлять парсер ,система теперь получила поле местоположение city спасайте !!!
0
Сергей Сергей 6 лет назад #
НЕ РАБОТАЕТ на 2.5.1!
0
Сергей Сергей 6 лет назад #
Как его правильно удалить, кто то может подсказать что в базе удалить? Его таблицы понятно , а где компонент ещё прописывается? Он даже на сторонний шаблон повлиял каким то образом, хотя файлы в дефолт залиты.

Еще от автора

Обновление компонента "Мне нравится"
Приветствую. Закончил версию с исправлением ошибок и багов, всем пользователям обновление выслано на электронку.
Обновление компонента  "Каталог дополнений в админку"
Приветствую. Обновление самого популярного аддона из официального каталога дополнений.
Каталог дополнений в админку сайта
Приветствую Выкладываю компонент для просмотра и установки дополнений из официального каталога InstantCMS прямо из админки сайта.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.