Как вы используете парсеры?

В процессе копирования в миллион первый раз новости с сайта администрации к себе появилась мысль автоматизировать этот процесс. И родился компонент www.zau4man.ru/moi-komponenty/komponent-universalnyi-parser-dlja-insta.html

Было решено сделать хорошо. И немножко на этом заработать. И уже после написания понял, что мой компонент не даст, например, скачать к себе весь раздел-сайта донора.

А как часто в этом есть необходимость у вас? Как вы используете парсеры?

Объясните мне, смысл парсера?
Если у вас есть посещаемость, приличная, тогда можно парсить(немного, если лень писать)
Если сайт — 0, то толка будет 0
За моменты использования некоторых парсеров, практически кроме вреда и лишних расходов на нагрузку сервера от псов, ничего существенно не приобрел.
Наблюдения на разных системах
Почитайте сами форумы, о парсерах.(обращаюсь вообще к страждущим)
Ручная проработка статьи-это всегда приятная выгода! (Понимаю, бизнес многих, но ...)

Ха, как сегодня весь вечер строчил парсер аккаунтов пользователей с одного популярного сайта знакомств, в базу пользователей инстанта, ну типа логин, возраст, фотка. Не знаю буду ли это использовать или нет, ещё посмотрим, пока мне это было просто интересно как упражнение.

Парсерами пользуюсь в рамках некоторых партнерских программ, что бы вместо рекламного баннера, выводить какой то контент предоставленный партнеркой у себя на сайте по предоставленным api или xml.
На одном сайте на форуме раздел новостей наполняется с помощью парсера rss анонс, картинка+ссылка на полный материал на сайте источника. Толку от него нет, вреда тоже, просто самому не интересно собирать новости, просто что бы были.

До чего техника дошла: напарсенные пользователи пишут напарсенные комментарии под спарсенными новостями

Zau4man, вы примерно почти тоже самое сделали, что и Letsgo😊 посомтрите его парсер, там и обработка категорий и фото и т.п.
А так на минимальных началах очень даже хорошо.
Минусы как всегда всем за ионкубы =)

Объясните мне, смысл парсера?

Вы все правильно говорите. Чисто на парсерах делать сайт нельзя. (только если у вас есть вдруг возможность пригнать на такой сайт толпа народа).
Их надо применять с умом. Яндекс очень любит тематические сайты. Этим я и занимаюсь. При обновлении городского портала (не того, что указан в демо), я просматриваю около 30 сайтов. И собираю новости к себе.
Часть идет рерайт, везде 100% меняются заголовки и др.
Именно для этого в парсер была добавлена модерация. Чтобы не напугать поисковик сотней скопированных статей.

А уникальный контент. Без него никуда. Для этого у меня есть оплаченный блоггер.

Тут еще сотни нюансов. Но если выбирать, то пусть парсер собирает инфу за меня. А как ее правильно опубликовать, я разберусь

Zau4man, вы примерно почти тоже самое сделали, что и Letsgo😊

Он же вроде под первую ветку делал… А так своя рубашка все-таки ближе к телу

Он же вроде под первую ветку делал

Опоздали, он уже давно для второй ветки выложил на тестирование.

А так своя рубашка все-таки ближе к телу

Таки да, но если эта рубашка шита ионом, боюсь мозоли будет "натирать" в местах, где "заужено".

Zau4man, под 2 тоже делает. Видео есть в теме.

Было решено сделать хорошо

Умеет ли парсер убирать из текста ссылки? Конечно логично сделать возможность парсинга целого раздела.

Он же вроде под первую ветку делал...

Поэтому видимо и писал всегда, что парсер будет сделан под обе ветки) Чтобы вы не заметили и сделали тут же похожий продукт.

Но это нормально, что конкуренция, хотя и весьма причудливая, когда сотни направлений не освоены у Инстанта, зато как кто делает одно — тут же появляется еще несколько, которые работают скорее не как конкурентный продукт, а как продукт сразу отбивающий возможность делать качественно.

Причина проста — слишком маленький рынок продаж, который явно не профинансирует сильный продукт. Максимум 10-40 продаж. Если это делить на 2-3 варианта то получается, что работать по созданию продуманного функционального решения не интересно.

Я не против конкуренции, делайте обязательно, пусть выигрывает тот, кто сделает лучше, но на этом этапе развития системы, когда все направления открыты, постоянные копирования, то биллинга, то три системы отзывов, как то странноваты.

Конечно хотелось бы видеть в конкурентных решениях иные подходы, но все сделанное всегда использует наработки интернета какие то. Удачной работы.

Причина проста — слишком маленький рынок продаж, который явно не профинансирует сильный продукт. Максимум 10-40 продаж. Если это делить на 2-3 варианта то получается, что работать по созданию продуманного функционального решения не интересно.

letsgo, сами себе противоречите, значит лукавили?
Мы вот тоже делаем универсальный парсер & мигратор, он будет и удалять ссылки, и парсить целые разделы и многое еще что. Код будет полностью открыт. Можно будет парсить выдачу поисковых систем, цитаты с различных цитатников и многое другое при должной сноровке и смекалке. Но главное не это а то что вы согласились о слишком маленьком рынке продаж и это так. А конкуренция это всегда хорошо!

letsgo, сами себе противоречите, значит лукавили?
Мы вот тоже делаем универсальный парсер & мигратор, он будет и удалять ссылки, и парсить целые разделы и многое еще что. Код будет полностью открыт.

Делайте. Никто не против. Я говорю как обстоит дело: рынок мал, развитие это как минимум год-два работы, если делать серьёзно. При наличии сотен ниш для создания дополнения, смысл раскалывать рынок? Только чтобы наводнить его низкокачественными продуктами, которые в дальнейшем не будут развиваться, так как нет продаж?

Вот вы сделали по сути копию биллинга и зачем? Для чего это было, если вы знаете, что разработчик Инстанта делает движок бесплатно и при этом премиум компоненты являются поддержкой труда бесплатного. Вы сделали чтобы сорвать куш по быстрому и его труд зачеркнули, при этом вы прекрасно знаете, что у него впереди еще огромный вал работы. И все просят ведь обновления и улучшений, при этом даже не замечая как система развивается.

Я отлично отношусь к конкуренции, она нужна, но когда соревнуются подходы и есть для этого возможности. Поэтому на этапе становления системы стоило относиться к разработкам именно поддерживая друг друга. Не та поддержка, ради круговой поруки несмотря на качество, а именно поля друг друга не занимая. Но вам конечно 1 вариант нужнее) Это понятно.

Помешают ли быстро сготовленные аналоги нашему развитию? Да в какой то мере да, но не кардинально, так как во многом делается и для своих проектов, поэтому то качество, что будет у нас — вы ради быстрых продаж делать не будете.

Кто проиграет в итоге: Потребитель продукта.

Умеет ли парсер убирать из текста ссылки?

на данный момент убираются все теги, кроме h-тегов, абзацев, iframe (для ютуб).

Поэтому видимо и писал всегда

всегда писали что 2я ветка вам неинтересна, и любой проект можно сделать на первой.

когда сотни направлений не освоены у Инстанта, зато как кто делает одно — тут же появляется еще несколько, которые работают скорее не как конкурентный продукт, а как продукт сразу отбивающий возможность делать качественно.

Улыбнуло. Без комментариев.
Хотя нет, прокомментирую. Я написал уже 2 парсера, к универсальному парсеру все и шло. И да

но все сделанное всегда использует наработки интернета какие то.

Если вы посмотрите описание этого компонента и парсера ютуб и кинопоиска, увидите, что я использую свои наработки, структурные в том числе.
А вот дальше без комментариев.

letsgo, ах да мы забыли про вашу исключительнлсть. Кошелек мы делали прежде всего для нас и наших клиентов, да и у него вышло аж 3 обновления. Биллинг и кошелек все же немного разные компоненты, тут не об этом. В данном решении есть интересные универсальные места.

letsgo, ах да мы забыли про вашу исключительнлсть.

Главное что в этом деле? Не забывать про то, что исключений нет. И ваша студия в том числе.

всегда писали что 2я ветка вам неинтересна, и любой проект можно сделать на первой.

Я так понимаю вы тему не видели? Там я писал всегда про 2, как видимо и я вашу) Так как парсер кинопоиска и ютуба я не видел. Хорошей работы. В любом случае я за конкуренцию качества.