FlowCrawler: новые видео

 
InstantCMS Team
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1334
Привет, друзья.
В эфире ТВ для гиков и сразу несколько новых серий захватывающего сериала "Укротители вэба".

Для случайно заглянувших:
В данный момент я занимаюсь разработкой программы FlowCrawler, которая представляет из себя конструктор ботов для автоматического парсинга и постинга данных в Интернет. Официальный сайт программы: flowcrawler.com. На данный момент программа находится в раннем доступе, её можно купить с огромной скидкой и уже пользоваться. Все подробности по ссылке.
Предыдущее обсуждение: Премьера FlowCrawler от R2

Для тех, кто уже купил программу:
Сегодня стала доступна версия 0.0.2, загрузить её можно в личном кабинете. На видео показана именно она. Для обновления просто удалите текущую версию (через Панель управления Windows) и установите заново. Все настройки (включая активацию) должны остаться на месте. Некоторые проекты от предыдущей версии могут быть не полностью совместимы с новой (это нормально для дорелизных версий).

Рекурсивный парсинг категорий

В этом видео показано как парсить сайты с древовидной структурой. FlowCrawler позволяет легко проходить по всем категориям и подкатегориям рекурсивно. Показано на примере сайтов: avito.ru и dns-shop.ru

Парсинг бесконечной загрузки

На примере сайта twitter.com показано как легко парсить ленты, подгружающие новые записи при достижении нижней границы

Парсинг 2GIS

Видео разбирает алгоритм сбора данных с AJAX-сайтов, на примере 2gis.ru
Редактировалось: 2 раз (Последний: 6 апреля 2017 в 16:57)
Посетитель
small user social cms
Кубок зрительских симпатийМедальАвторитет форума
Сообщений: 6378
Несколько вопросов

- Есть ли импорт - экспорт правил парсинга?
- Авито пробовали ли брать телефоны?
- Как импортировать данные в Instantcms, например объявлений с картинками?
- Есть ли логика "собирает данные и автоматом отправляет публиковать на сайте"?

Спасибо за ответы.
Хостинг и ВПС Халява тексты Стартапы Instantcms в Telegram
Посетитель
small user social cms
Сообщений: 46
r2:
В эфире ТВ для гиков и сразу несколько новых серий захватывающего сериала "Укротители вэба".

Сильно!

А, решение задач по теме, рассмотренной (для примера) в третьем видео – точно на Нобелевскую тянет!

Просто, Праздник к нам приходит!

Спасибо за видео и за ПО.
InstantCMS Team
small user social cms
МедальКубок зрительских симпатийАвторитет форума
Сообщений: 1334
letsgo:
- Есть ли импорт - экспорт правил парсинга?
- Авито пробовали ли брать телефоны?
- Как импортировать данные в Instantcms, например объявлений с картинками?
- Есть ли логика "собирает данные и автоматом отправляет публиковать на сайте"?
1) Есть возможность сохранять и загружать проекты, как в любом другом ПО. Если вы об этом.
2) На Авито телефон это картинка. Сохранить картинку нет проблем уже сейчас. С распознаванием сложнее, но этой темой я тоже буду заниматься. Будет интеграция с каптча-солвинг сервисами. Для простейших случаев, таких как Авито, возможно получится сделать встроенное распознавание.
3) FlowCrawler умеет заполнять формы (очень скоро и с файлами). Другой вариант - классический импорт из CSV.
4) В пределах одного проекта можно и парсить и постить.
Посетитель
small user social cms
Медаль
Сообщений: 281
Как насчет выполнения по условию? Например: я делаю какое-то действие на сайте, и вылетает например капча, где нужно поставить галочку, что я человек. По логике, если окно появилось, выполняет это действие, если нет, то идем дальше.
Довольно интересный Обзор it-компаний Москвы, рекомендую почитать.
Надежный хостинг
etiketirovschik.ru
Посетитель
small user social cms
Кубок зрительских симпатийМедальАвторитет форума
Сообщений: 6378
r2:
1) Есть возможность сохранять и загружать проекты, как в любом другом ПО. Если вы об этом.

Есть ли возможность поделиться проектом с тем, кто не может сделать. Обычно такие инструменты не все могут освоить и ищут, кто им сделает. Это имел в виду. Так понял, что это без проблем.

r2:
4) В пределах одного проекта можно и парсить и постить.

Например надо постить на 10 сайтов с 30 сайтов, это 30 проектов или 10, возможно ли их запустить одновременно?
Хостинг и ВПС Халява тексты Стартапы Instantcms в Telegram
Посетитель
small user social cms
Медаль
Сообщений: 281
На примере твиттера: удаление происходит по какому признаку, сравнивает текст или считает? Скажем, если запустил проект, все спарсили, завтра появляется новые анекдоты, запускаем парсер, будет парсить заново все или до тех пор, пока не дойдет до места, где уже было спарсено?
Довольно интересный Обзор it-компаний Москвы, рекомендую почитать.
Надежный хостинг
etiketirovschik.ru
Посетитель
small user social cms
Медаль
Сообщений: 281
letsgo, 1) Да, там есть кнопка сохранить проект.
4) На сколько помню был ответ ранее, что можно запускать несколько раз программу, тем самым работать несколько проектов одновременно, но полагаю, нужны мощности хорошие)
Довольно интересный Обзор it-компаний Москвы, рекомендую почитать.
Надежный хостинг
etiketirovschik.ru
Посетитель
small user social cms
МедальПочетный донор проектаАвторитет форума
Сообщений: 1520
frukt:
4) На сколько помню был ответ ранее, что можно запускать несколько раз программу, тем самым работать несколько проектов одновременно, но полагаю, нужны мощности хорошие)
Немного не так! будет программа Планировщик и он будет работать с кучей Проектов.
Поскольку сайты-источники разные, то не получится сделать единый проект на импорт со всех сайтов-источников. Поэтому проще сделать 20 проектов с 20 сайтов-источников на 10 сайтов-приемников.
Не знаю как в новой версии, но первая версия не позволяла напрямик мпортировать данные с одного сайта на другой. Не понимала выборку видео и фотогалерей.
Недорогой и мощный хостинг для InstantCMS
Посетитель
small user social cms
Медаль
Сообщений: 444
А тогда можно заведомо, помимо видео выкладывать сразу демо проект? То про что говорил именно letsgo
Посетитель
small user social cms
МедальАвторитет форума
Сообщений: 1148
letsgo:
Например надо постить на 10 сайтов с 30 сайтов, это 30 проектов или 10, возможно ли их запустить одновременно?
Если я правильно понял, можно и так и эдак. Т.е. можно и все сделать и в рамках одного громоздкого проекта и можно разбить на несколько отдельных которые запустить одновременно.
Посетитель
small user social cms
Медаль
Сообщений: 281
Да, тоже думаю что можно и так и так, вопрос только в ресурсах и удобстве, как лучше. То ли 10 проектов, каждый из которых будет обходить 30 сайтов, то ли 30 проектов рабочих, которые грузят в 10 сайтов))
Довольно интересный Обзор it-компаний Москвы, рекомендую почитать.
Надежный хостинг
etiketirovschik.ru
Посетитель
small user social cms
Сообщений: 90
r2:
Парсинг 2GIS

Видео разбирает алгоритм сбора данных с AJAX-сайтов, на примере 2gis.ru

r2, не нашел самую изюминку в вашем видео уроке - как спарсить координаты объекта на карте?
Редактировалось: 3 раз (Последний: 8 апреля 2017 в 10:12)
Посетитель
small user social cms
МедальПочетный донор проекта
Сообщений: 421
Авакадо, координаты можно вырезать из url объекта через регулярные выражения.
https ://2gis.ru/......queryState=center%2F113.493139%2C52.052441%2Fzoom%2F17
Редактировалось: 1 раз (Последний: 8 апреля 2017 в 10:31)
Посетитель
small user social cms
Сообщений: 90
Pocus, FlowCrawler это может делать в задании?
В начало страницы
Предыдущая темаСледующая тема Перейти на форум:
Быстрый ответ
Чтобы писать на форуме, зарегистрируйтесь или авторизуйтесь.