Обсуждение компонента «Выгрузка товаров»

* Позволяет организовать выгрузку товаров из различных CPA-систем
* Формирует карточки товара с партнерской ссылкой, используя сущности InstantCMS
* Отслеживает изменение цен на товары
* Отображает картинки товаров по ссылке или загружает локально с сайта источника
* Позволяет осуществлять синхронизацию с новыми CPA-системами, без участия разработчика
* Имеет встроенные виджеты и поля для вывода дополнительной информации
* Позволяет настраивать meta-теги карточки товаров для каждой выгрузки в отдельности + генерировать по шаблону дополнительный текст описания (SEO оптимизация)

Пример, как это может выглядеть на сайте: kids.saratov.live/tovary_dlya_detey

Данный компонент позволяет организовать выгрузку товаров из различных CPA систем (ГдеСлон, ActionPay, Admitad и т.д.) для организации тематического каталога товаров. При выгрузке из подобного рода систем формируется карточка товара, при нажатии на кнопку «Купить» происходит переход по партнерской ссылке (при дальнейшем развитии компонента возможен не только переход по партнерской ссылке, но и заказ на сайте).

Где может пригодиться данный компонент:
1. Региональные или тематические порталы – для дополнительной монетизации проектов (создание доп раздела на сайте с тематическим товаром)
2. Для организации агрегатора товаров / реализация товара из партнерок как сама цель монетизации
3. Для оценки ниши – например, если не уверены, стоит запускать интернет-магазин в определенной нише или нет – можно попробовать поработать с чужим товаром, а при успехе заменять его своим собственным
4. Ваш вариант использования

Компонент максимально использует функционал InstantCMS 2. Выгрузки происходят в созданные Вами вручную типы контента, либо автоматические сгенерированные типы контента при помощи компонента.

Компонент позволяет создать неограниченное количество выгрузок из различных систем. Каждая выгрузка может запускаться отдельно вручную или же по задаче в CRON для первоначальной выгрузки или для обновления ранее выгруженных товаров.

Вы можете организовать собственное распределение выгружаемых товаров по категориям и типам контента, чтобы создать собственную структуру разделов, как Вы считаете правильным, либо довериться компоненту, чтобы все разделы он создал автоматически и настроил необходимые связи.

При повторных выгрузках (обновлении товаров) система обновляет выгружаемые данные и ведет историю изменения цен, в дальнейшем история изменения цен отображается в виде графика в карточке товара.

При ручном запуске выгрузки происходит логирование процесса выгрузки. Помогает при тестировании работы выгрузки, особенно, когда подключается новая партнерка.

Также предусмотрен поиск совпадений товаров из разных магазинов. Например, Вы выгрузили детские автокресла из «Дочки-сыночки» и «Коляски.ру». В обоих магазинах могут быть одинаковые автокресла. В этих целях нам желательно вывести информацию о продаже одного автокресла в разных магазинах, и цена в этих магазинах такая-то.

При этом в основной карточке должно отображаться предложение с минимальной ценой, а ниже цены из других магазинов. Например:

kids.saratov.live/avtokresla_detskie/inglesina-inglesina-koljaska-3-v-1-trilogy-system-na-shassi-trilogy-slate-dvoinaja-ruchka-ecru.html

Данный процесс происходит в полуавтоматическом режиме в разделе компонента «Соответствие товаров».

В комплекте с компонентом идет набор виджетов и полей, которые помогают оформить сайт нужные нам разделы сайта и карточки товаров в формате более близком к интернет-магазину.

В настоящий момент выгрузки поддерживают формат YML (поддерживается также загрузка файла в архиве), при этом для каждой партнерки можно провести собственные настройки тегов.

При дальнейшем развитии компонента планируется добавить другие форматы выгрузки, на тот случай, если будет использоваться не формат YML или потребуется загрузить свой собственный каталог товаров:

* CSV – для загрузки каталогов собственных поставщиков
* XML другой разметки
* JSON
* Выгрузка из 1С

Хранение фотографий товаров происходит двумя способами на Ваши выбор:
1. Храним фото у себя на сервере – закачивание и обработка фото происходит посредством функционала CMS.
2. Фото не закачиваем – у себя храним только ссылки на фото.

Для каждой выгрузки можно настроить формирование:

* Title
* Keywords
* Description
* Дополнительный текст в описании товара

Для этого вы создаете маску в настройках выгрузки. Отметим, что для формирования meta-тегов Вы можете использовать стандартный функционал настроек типов контента (при включенной галочке «Автоматическая генерация …»), либо использовать наш функционал – выбираете сами. В компоненте, как было отмечено выше, можно задать формирование дополнительного текста на страницу карточки товаров.

Почему мы не отказались от собственного формирования мета-тегов через компонент, ведь в типе контента можно настроить?

Ответим: в один тип контента может выгружаться множество разных карточек товаров и разделов, мы хотим, чтобы у нас была возможность более гибко настраивать формирование мета-тегов, а именно на каждую отдельную выгрузку – это, на наш взгляд, позволяет делать мета-теги более тематичными и уникальными под нужные нам группы товаров.

* Подписка пользователей\посетителей на изменение стоимости с возможность указать, в какой именно момент уведомить (например, уведомить, когда цена будет равна стольки-то)
* Гибкая система настройки формата выгрузок – чтобы каждый мог настроить каждую выгрузку под себя.
* Формирование собственных названий товаров с целью уникализации и приведения в единый формат сайта
* Логическое развитие кнопки «Купить» (сейчас идет в виде партнерской ссылки) в полноценную кнопку, которая будет брать настройки конкретной выгрузки и в одном случае формировать партнерскую ссылку, в другом – Классическую кнопку интернет-магазина «Купить» с возможностью заказа товара на сайте.
* Разработка виджетов и полей, которые позволят встраивать в контент тематические блоки товаров.
* Разработка полей для вывода
* Доработка алгоритма поиска похожих товаров
* Оптимизация процесса выгрузки
* Составление полной пошаговой инструкции по пользованию компонентом, включая видео.
* Принимаются предложения и идеи.

В настоящий момент идет тестирование и доработка компонента, но по сути мы его уже используем в своих тестовых проектах и как видим, ничего не мешает им пользоваться уже сейчас.

Если сообщество будет заинтересовано в данном компоненте, мы подготовим компонент для тестирования и дальнейшей продажи. Лицензирование будет происходит в классическом варианте – на 1 домен (включая поддомены). Стоимость пока неизвестна. Можете в комментариях указать, во сколько Вы оценили бы подобную разработку.

Также рассматриваются альтернативные способы распространения, например: у Вас есть посещаемый ресурс и Вы готовы попробовать данный вариант монетизации. Мы можем установить бесплатно данный компонент с такой же лицензией, но с потенциальными отчислением определенного процента от заработка с данного вида монетизации. Но как это может работать – пока точно сказать не можем.

Установка происходит стандартным способом – загружаем в админке архив и устанавливаем.

После установки у нас появляется вот такой компонент.

Вместе с компонентом у нас появляется определенный набор новых типов полей, виджетов, а также создается 2 типа контента:

Типы контента можно конечно редактировать, но аккуратно, согласно инструкции.

Магазины – это список магазинов, которые будут представлены у Вас на сайте. Тут можете использовать и свои типы контента, хоть справочник организация InstantMap. Справочник магазинов поможет организовать единый вывод информации о доставке, о магазине и т.д. в карточке товара.

Шаблон для выгрузки (можно закрыть от индексации) – это по сути шаблон следующих типов контента, которые Вы будете использовать у себя для выгрузки товаров. Этот шаблон регулирует автосоздание новых типов контента, а также регулирует связи типов контента и CPA-партнеров (в дальнейшем прочих выгрузок).

Об этом мы отдельно распишем более подробно.

Внутри, установленный компонент выглядит так:

Порядок разделов может измениться к релизу.

Чтобы приступить к работе с компонентом сначала необходимо его настроить, соответственно заходим в раздел «Настройки».

Тут пока одна настройка, которая позволяет указать компоненту – какой тип контента Вы используете в качестве справочника магазинов. Сейчас готовится ещё ряд настроек (часть из них относится к планируемым доработкам, описанным выше). Этот раздел относится к общим настройкам компонента.

Переходим в настройку CPA-систем (так как пока работа ведется именно со CPA, в дальнейшем название может измениться)

Здесь можно привязать к компоненту сколько угодно партнерок. По сути это первоначальная настройка по каждой из систем, откуда будут выгружаться данные.

На тестовых проектах у нас пока по 3 системы:

Переходим в настройку «Типы контента». Здесь наша задача: связать созданные нами CPA-партнерки с типами контента, в которые мы хотим выгружать товары из этих партнерок. Связи нужны, чтобы данные из выгрузки правильно разносились по полям типа контента.

1 – собственно сам раздел данного вида настроек.
2 – позволяет автоматически создать тип контента с нужным набором полей. Все настройки берутся из «шаблона для выгрузки».
3 – позволяет связать ранее созданные типы контента с партнеркой. Настройки самой связи выглядят так:


При этом в качестве полей привязки из типа контента берутся поля, которые обязательны для заполнения (можете использовать свои собственные поля).

Перейдем во вкладку «Выгрузки», собственно, где добавляются и находятся сами выгрузки. Пример, как выглядит список с уже добавленными и сделанными выгрузками.

Обратить внимание стоит на кнопки действий с выгрузками:

Стандартные действия:
* Редактировать выгрузку
* Удалить выгрузку

Дополнительные действия:
* Запустить выгрузку – позволяет вручную запустить процесс выгрузки
* Удалить выгруженные товары – позволяет удалить все добавленные на сайт товары при помощи данной выгрузки (помогает, когда выгрузили не то, что хотели)
* Найти дубликаты – позволяет найти дубликаты товаров в рамках одной выгрузки и удалить их

Каждая выгрузка обрабатывает один передаваемый файл. В настройках выгрузки Вы самостоятельно определяете – выгружать абсолютно всё, что есть в файле или только определенные его разделы.

Общие настройки выгрузки

1 – Название – пишите какое угодно для собственного удобства

2 – Выгружать автоматически – отметка позволяет CRONу понимать, хотите, чтобы выгрузка обновлялась автоматически или нет

3 – Магазин – позволяет связать выгружаемые товары с конкретным магазином (берется из типа контента, указанного в «Настройки компонента» см. выше)

4 – Партнерка – позволяет указать конкретную партнерку, чтобы система понимала, откуда брать правила обработки файла

5 – Тип контента – указываем, в какой тип контента выгружаем (возможно выбрать только те типы контента, которые были указаны в «Настройка связей с типами контента» см. выше)

6 – URL файла выгрузки – указываем ссылку на закачиваемый файл

7 – Диплинк – в некоторых системах (например, Actionpay) файл отдается с чистыми ссылками на товары (без реферальных/партнерских ссылок), поэтому здесь можно указать дополнительный ключ/ссылку, который позволит автоматически сгенерировать ссылку в нужном виде

8 – Загрузить – при нажатии на кнопку файл загрузится на сервер и название файла отобразится над кнопкой

Выгрузка изображений
Данная группа настроек позволяет указать, как именно будем хранить фото товаров.

1 — Сохранять локально – если отмечено, значит система будет загружать изображения на сервер, иначе – сохраняет только ссылку на передаваемое изображение

2 – Тип использования картинок — Можно указать, какие именно картинки использовать (например, ГдеСлон передает прямые ссылки на изображения магазина, так и хранит копии этих изображений у себя и также передает на них ссылки)

* Изображения партнерки – берутся изображения непосредственно из CPA-системы
* Изображения сайта-источника – берутся изображения выгружаемого магазина
* Не выгружать – если отмечено, то изображения не будут обрабатываться никак

Настройка SEO

Здесь всё понятно, указываем маску для мета-тегов + маску для формирования дополнительного текста в «Описании» товара.

Синхронизация категорий

Ключевым моментом при организации выгрузок из различных магазинов – является синхронизация категорий, так как в каждом магазине используется собственная структура разделов.

1 – Кнопка «Загрузить список категорий» — в настоящий момент кнопка не актуальна, осталась от прошлой реализации синхронизации категорий.

2 – Кнопка «Автоматически распределить категории» — если в типе контента уже созданы категории, то можете нажать кнопку и при полном соответствии названия категория из выгрузки автоматически свяжется с категорией из типа контента.

3 – Кнопка «Сбросить распределение» — если увидели, что автораспределение прошло не так – можете сделать сброс.

4 – Кнопка «Создать незадействованные категории» — позволяет автоматически создать нераспределенные категории из выгрузки в типе контента с учетом вложенности категорий и ранее сделанного распределения (ручного или автоматического).

Ручное распределение

5 – Левая колонка показывает категории из файла выгрузки

6 – Правая колонка показывает категории из типа контента, куда будет происходить выгрузка

Распределение происходит путем перетаскивания мышкой из левой колонки в правую (по технологии Drag&Drop). Если ошибочно связали категории, то для удаления связи можно переместить обратно, либо два раза кликнуть на связь. Для удобства поиска по списку созданы поля быстрого поиска.

После этого сохраняем выгрузку и попадаем в список.

Есть два способа выгрузки:

1 – Каждую выгрузку можно запустить вручную путем нажатия соответствующей кнопки из списка.

Такая информация отображается в окне логирования, если запустить выгрузку вручную:

По окончании процесса выгрузки в окне логирования отображается итоговая информация – сколько товаров загружено, сколько с ошибкой, сколько картинок загружено и т.д. Это поможет понять, насколько правильно настроен источник выгрузки и сама выгрузка.

2 – Автоматический запуск задачи в CRONe.

По расписанию задача будет запускать выгрузки по заданным в настройках правилам.

Для организации сравнения цен из разных магазинов необходимо в полуавтоматическом режиме связать одинаковые товары. Для этого есть соответствующая вкладка.

Список результатов поиска

Для начала рассмотрим таблицу, здесь мы видим колонки:

2 — тип контента, по которому был произведен поиск
3 — количество найденных записей, которые могут быть похожи
4 — дата поиска

Как сделать поиск одинаковых товаров?
1 — Чтобы собрать данные о товарах, которые могут быть одинаковыми необходимо сделать поиск по типу контента. Выбираем тип контента и нажимаем "Сохранить"

Результат поиска одинаковых товаров

1 — Вы можете сохранить результаты выгрузки, на тот случай, если Вы модерировали результат и не доделали до конца.

Рассмотрим таблицу:

2 — ID записей контента

3 — Название товара

4 — Стоимость товара

5 — Изображение товара — можно увеличить для сравнения — насколько товары похожи

6 — Соответствие — здесь Вы можете расставить отметки — это одинаковый товар или нет

7 — Группа — есть понимание, что разные товары могут иметь одинаковое название (и их может быть не 2, а, например, 20), поэтому можно разбить товары на группы, чтобы правильно указать, какие товары одинаковые, а какие нет

8 — Категория — показывает, в какой категории находится товар

9 — Степень похожести — в настоящий момент показывает процент совпадения названия товара

10 — Модерация — показывает, проверено соответствие товаров или нет

11 — Действия — "Сравнить" — позволяет открыть карточки для сравнения, "Утвердить" — утверждает расставленные метки "Да", "Нет" и разнос по группам. Записывает результат проверки в базу.