Вопрос по парсерам-компонентам

#1 21 декабря 2017 в 00:36
Какой из компонентов-парсеров (от Evanescence, Dwd, Letsgo, ...) имеет тонкие настройки для парсинга:
— поиск регуляркой, обработка значения региляркой
— работа с json
— обновление старых значений ранее спарсенного поля в контенте
?

ЗЫ. вопрос не про soft: ZP, flowcrawler и др
#2 21 декабря 2017 в 01:32

Какой из компонентов-парсеров (от Evanescence, Dwd, Letsgo, ...) имеет тонкие настройки для парсинга:

Sonat
От dwd и lestgo.
У dwd самостоятельный комопнент, у Lestgo имеется дополнительный сервер. Оба работают на основе лицензирования и привязаны домену!
У dwd может обрабатываться любое количество источников и без ограничения по времени — за 3100 рублей (компонент + дополнение)
У Lestgo покупается не компонент, а подписка на 1 год за 1000 рублей (лимит 10 сайтов источников и 3 источника-парсера — универсальный парсер, Youtub и прочие по выбору до 3-х штук. так же интегрирована связь с сервисами Переводчиками и Антикапчи

Не имел чести близко работать с компонентом dwd, могу сказать за UPDS Lestgo, настроек выше крыши! Если обладаете знаниями регулярок, то сможете все настроить идеально!..
#3 21 декабря 2017 в 03:28

обновление старых значений ранее спарсенного поля в контенте

Sonat
Этого не умеет ни один из парсеров. только создание новых записей.

С компонентом от dwd знаком только по описанию и видео. Если не ошибаюсь, регулярок он вообще не понимает. На мой взгляд, очень простой и не очень удобный.

UPDS пользуюсь активно. Недостатков имеет не мало, но в целом всё работает. Регулярки, json, куки, переменные, шаблоны вывода и пр, всё это есть. К сожалению, дальнейшее развитие маловероятно.

Не универсальные парсеры, заточенные на авито, ютуб и пр, даже не рассматривал.
#4 21 декабря 2017 в 11:41
vikont, Pocus, Спасибо, за столь подробные описания
#5 21 декабря 2017 в 14:25

— обновление старых значений ранее спарсенного поля в контенте

Sonat
Это умеет только ZP
#6 21 декабря 2017 в 16:09
globator, про ZP понятно.
Надеюсь найду способ обновлять поля только силами сайта. joke
#7 21 декабря 2017 в 17:22

Это умеет только ZP

globator

Не только он. Наш парсер умеет это делать. Сегодня проверил.
#8 22 декабря 2017 в 01:35
Кстати мы готовим крупное обновление UPDS. Будут учтены пожелания, ошибки, добавим новые источники, вариации парсинга. Писать тут — Тема обновления на январь 2018
#9 22 декабря 2017 в 05:59

Кстати мы готовим крупное обновление UPDS

letsgo
Вот это хорошая новость! А то скоро лицензию продлять…
#10 22 декабря 2017 в 12:36

Наш парсер умеет это делать.

letsgo

Кстати мы готовим крупное обновление UPDS

letsgo
Отлично! vЖдем анонс и описание новых умений.
#11 22 декабря 2017 в 13:12

и описание новых умений.

Sonat

Там внутри столько уже запихано, даже в предыдущих версиях, что уже я сам теряюсь, где что можно заменить, изменить, убрать, добавить.
#12 22 декабря 2017 в 20:19

де что можно заменить, изменить, убрать, добавить.

letsgo
Рерайт бы однозначно не помешал…
#13 22 декабря 2017 в 21:01

Рерайт бы однозначно не помешал...

Dmitry

Все мои опыты в этом, к сожалению пока не дали толка. Мягкий рерайт, средний рерайт, всё получается не то. Есть база синонимов, на полтора миллионов слов, пробовал все варианты, к сожалению текст будет портиться.

В указанной теме для разработчика нет никаких проблемных точек и пожеланий, видимо большего добавлять не требуется. Поправим, протестируем и выпустим.
#14 22 декабря 2017 в 21:23

нет никаких проблемных точек и пожеланий

letsgo
Эх пожеланий масса!
Вот только они вполне могли быть давно реализованы,
а мне как пока "неклиенту" об этом просто не известно. hoho
#15 22 декабря 2017 в 21:40

Наш парсер умеет это делать

letsgo
Это как? Хотелось бы взглянуть на пример задачи, которая не создает новую запись, а регулярно обновляет одну и ту же.
Такая возможность была анонсирована для версии 1.3.0 еще в мае 2017, но где она? Не вижу.

Там внутри столько уже запихано… что уже я сам теряюсь....

letsgo
Действительно, есть много чего такого, которое я даже не опробовал, не было нужды. Но некоторые функции очень выручают, например кукисы и переменные. Не представляю, как бы я без них.
Отчасти из-за такой функциональной насыщенности, интерфейсу UPDS не хватает логичности. Об этом стоит подумать.
Ну а насчет "заменить, изменить, убрать, добавить" — об этом много говорилось на форуме ok2web, который куда-то исчез. Что ж, попробуем вспомнить прежние замечания и добавить новые.
И если не трудно, поведайте об уже запланированных изменениях.
Вы не можете отвечать в этой теме.
Войдите или зарегистрируйтесь, чтобы писать на форуме.
Используя этот сайт, вы соглашаетесь с тем, что мы используем файлы cookie.