Инструкции

Введение в Adloader

Adloader — это инструмент для вебмастеров, с помощью которого легко создавать и обновлять товарные витрины. При этом он является десктопной программой пока только для ОС Windows, но в перспективе будет портирован на многие операционные системы. Почему именно десктоп, а не web? Потому что обработку большого количества данных для витрин очень удобно делать на своём домашнем компьютере, позволяя при этом самому сайту товарной витрины крутиться на shared хостинге, выполняя при этом задачу только по обслуживанию реальных клиентов.

Итак, задача:

• у вас есть система или по-другому «источник», которая поддерживает выгрузку актуальных товаров (информации о них) желательно в формате csv, но доступны и некоторые другие. В выгрузке есть информация о названии товара, магазине (оффере), который его предоставляет, категории товара, ссылка на карточку товара на сайте магазина и т.д. К примеру, такие выгрузки дают такие партнёрские сети, как Admitad, ActionPay и другие.
• у вас есть сайт (а может быть даже несколько или вообще система сателлитов или дорвеев), который поддерживает импорт данных о товарах в формате csv, например на базе CMF ModX с компонентом Adloader или под управлением adCMS. На него вы планируете привлекать трафик (поисковый за счёт уникального контента, арбитраж, способов море), затем показывать пользователю товарные предложения, мотивируя его сделать переход (покупку) на сайт рекламодателя.
• вам необходимо адаптировать выгрузку для своего сайта: привести в порядок категории, удалить лишний мусор, отфильтровать пригодные только для вашего сайта товары. После этого вам бы хотелось настроить автоматическую загрузку товаров на ваш сайт и последующие обновления информации о товарах через определённое время.

Именно для решения этой важной, но неприятной и рутинной задачи и создан Adloader.

Таким образом для начала работы у вас уже должен быть источник данных о товарах (например аккаунт вебмастера в Admitad с подключёнными офферами) и сайт-витрина на shared хостинге или vps.

После начала работы вам в первую очередь необходимо будет настроить импорт и «загрузить» необработанные данные из «источника», посмотреть на товары, на офферов, которые их предлагают, проверить и оценить полноту информации, посмотреть предложенную категоризацию, для себя определить, что вы хотите с этим сделать, как преобразовать для своего сайта, что лишнее, а что важное. Затем, используя предложенные инструменты добиться, чтобы выгрузка соответствовала требованиям вашего сайта. После этого, вам необходимо настроить экспорт на ваш сайт и автоматизацию обновлений.

Принцип работы и терминология

И так, как же это всё работает? Вся «магия» творится во время загрузки (импорта) данных в модель. Затем данные просто выгружаются с использованием одного из предложенных вариантов экспорта. Таким образом, все инструменты применяются именно во время импорта. Это очень важно понимать.

Термины

Категория — это виртуальный именованный набор данных. Каждый товар должен иметь поле «categoryId», по значению в этом поле товары группируются в категории, которые могут иметь иерархию.

Призрачная категория — это категория (набор данных), имя которой будет игнорироваться при экспорте. Например: у вас сформировалась такая иерархия категорий Мир кожи\Сумки\Женские сумки, но на вашем сайте должна быть категория Сумки\Женские сумки. В таком случае категория «Мир кожи» делается призрачной и её название не учитывается при экспорте. Призрачные категории удобны для визуального отображения групп данных в дереве категорий.

Оффер — это логическая сущность, которая характеризует интернет-магазин, который предлагает товар. Предполагается, что товары могут быть загружены из разных магазинов, но при этом в каждом конкретном магазине существует свой подход к формированию данных, категоризации и т.д. Поэтому импорт данных от каждого оффера настраивается индивидуально. Имя оффера берётся из поля «advcampaign_name», если оно отсутствует то оффер пытается достоверно определиться по множеству косвенных признаков. Настройка импорта с помощью офферов является самым мощным инструментом Adloader.

Фильтры — набор условий по которым принимается решение обрабатывать данный товар или нет. Этим условием может быть цена товара, наличие и размер скидки, производитель и многое другое. Фильтры могут накладываться на товар как на этапе загрузки (через настройки оффера), так и на этапе работы с уже загруженной моделью.

Трансформация данных — это инструмент, который выполняет какое-то массовое действие с уже загруженными данными в модель. Например, удаление дублей товаров, балансировка категорий, дописывание дополнительной информации. Этот инструмент пока реализован не в полной мере.

База сайта — это источник данных, которые уже лежат на вашем сайте, чаще всего это результат работы Adloader, полученный ранее. Это может быть csv файл или url csv файла, доступный по ftp или http. Кроме того, если вы используете ModX с компонентом Adloader, то «база» может браться напрямую с сайта, посредством специального протокола. Импорт базы делается после загрузки и адаптации данных из оригинального источника актуальной информации для формирования выборки только тех товаров, которые подлежат обновлению (статусы: добавлен, изменён, удалён). Таким образом, если на вашем сайте представлена полностью актуальная информация, то результирующая выборка будет пустой, а если нет, то будет содержать только перечень товаров, нуждающихся в обновлении.

Принцип работы

Как уже говорилось, основная «магия» происходит во время загрузки товаров из источника. Влиять на загрузку мы можем посредством такого инструмента, как оффер. Офферов можно создавать вручную, загрузить напрямую из Admitad или дать системе их самостоятельно определить. При первичном «сыром» импорте оффер определяется из поля «advcampaign_name» или имени источника (url файла загрузки или имени csv файла), при этом в нём аккумулируется информация об оригинальных категориях оффера, его имя, url загрузки и т.д. таким образом, что логическая сущность оффер становится олицетворением данных с ним связанных, а именно «знает» откуда брать данные и что с ними делать при импорте. После «сырой» загрузки, осуществляется точная подстройка данных через форму редактирования оффера, адаптация категорий и т.д. При каждом изменении настроек оффера происходит реимпорт данных в соответствии с новыми условиями.

После этого влиять на данные мы можем посредством фильтров (исключения товаров не соответствующих условиям) и трансформаций. Этот инструмент подробно описан в пункте трансформации. Это такие действия, как удаление дублей, балансировка численности товаров в категориях и т.д. Сейчас важно понимание, что трансформации — это инструмент влияния на выборку товаров, которые уже прошли адаптацию под ваш сайт посредством индивидуальной подстройки офферов, с целью «улучшить» их качество.

Когда данные для вашего сайта подготовлены, останется только настроить экспорт и обновление. Подробнее об этом в соответствующем разделе.

Всё вышеперечисленное в простом виде изображено на схеме ниже. Сплошными линиями обозначены направления циркуляции данных, а пунктирными — управляющие воздействия.

А теперь простыми словами. Как работать с Adloader?

• Для начала надо настроить импорт. Это можно сделать двумя способами: указать откуда брать данные (файл или ссылка) или загрузить офферов из Admitad, при этом они уже будут знать откуда брать данные.
• Сделать «сырую» загрузку, посмотреть на определившиеся категории, на товары и т.д.
• Выполнить точную подстройку загрузки с помощью инструмента «офферы». Сделать реимпорт.
• Адаптировать выборку для нужд сайта с помощью фильтров и трансформаций.
• Настроить экспорт и обновление.

После всего этого вы можете сохранить проект в .adl файл (туда сохраняются настройки офферов, параметры импорта и экспорта), а потом просто открывать его и в несколько кликов выполнять полный цикл рутинной обработки данных.

Настройка импорта

«Сырой» импорт можно делать несколькими способами:

• указать путь/url csv файла с помощью пунктов меню Импорт\Добавить CSV и Импорт\Добавить URL (при этом офферы определятся автоматически, настройки импорта сохраняются в оффере);
• указать реквизиты сайта под управлением CMF ModX — (при этом офферы определятся автоматически, настройки доступа сохраняются в проекте);
• выполнить загрузку с использованием информации в настройках оффера (сохраняется в проекте).

Далее же загрузку рекомендуется делать только через офферы. Это делается с помощью контекстного меню Загрузить CSV оффера или основного меню Офферы\Загрузить CSV всех офферов.

Формирование выборки подлежащих изменению товаров осуществляется с помощью «импорта базы» одним из двух первых способов.

Все настройки импорта сохраняются в проекте и выполняются только один раз.

Настройка экспорта

Вся функциональность экспорта данных доступна через меню Экспорт и, собственно, не представляет никакой сложности. Виды экспорта:

• в csv файл/файлы на локальном компьютере;
• в csv файл/файлы на ftp сервере с указанием реквизитов для дальнейшего импорта с помощью cms, понимающей данный формат (реквизиты ftp сервера запоминаются в настройках проекта);
• прямо на сайт под управлением CMF ModX, что описано ниже (реквизиты сервера запоминаются в настройках проекта).

В первых двух случаях при этом вы можете всё экспортировать в один файл, так и в группу файлов, соответствующим непустым категориям (так называемая «нарезка по категориям»). Кроме того вы можете выбрать из списка поля (свойства) товаров, которые хотите, чтобы присутствовали в выгрузке.

Все настройки экспорта сохраняются в проекте и выполняются только один раз.

Настройка категорий и офферов

После того как «сырая» загрузка была выполнена, офферы определились или были экспортированы из Admitad настало время их настройки. Это делается с помощью пункта контекстного меню Редактировать оффера в соответствующей форме.

Общая информация об оффере

Эта информация нужна для обобщения совокупности данных (именования) и улучшения связности конкретного оффера с товарами. Что она из себя представляет:

• имя оффера — основной идентификатор, участвует в экспорте и отображается user interface;
• ссылка для загрузки — ссылка, по которой доступны данные этого оффера;
• префикс файла — вспомогательный идентификатор-часть имени csv файла, по которому можно восстановить принадлежность конкретного источника товаров к данному офферу (определяется автоматически, не рекомендуется менять);
• доменное имя — восстановленное доменное имя, куда ведёт поле url товара, является так же вспомогательным идентификатором, улучшает связность.

Адаптация категорий оффера

Этот мощный инструмент представляет собой набор правил, характеризующий, что делать с категориями. При импорте товара и определении его исходной категории на полученное имя накладывается это правило. Виды правил:

• Правило «Оставить». Товар с указанным именем исходной категории (её и подкатегорий, только её или только подкатегорий) допустить в выборку, название категории оставить без изменений.
• Правило «Удалить». Товар с указанным именем исходной категории (её и подкатегорий, только её или только подкатегорий) не допускать в выборку.
• Правило «Переименовать». Товар с указанным именем исходной категории (её и подкатегорий, только её или только подкатегорий) допустить в выборку, но переименовать в соответствии с иерархией сайта с возможностью «слить» в одну.
• Правило, что делать с остальными товарами, не попадающими под вышеперечисленные правила. Оставить без изменений и допустить в выборку или не допускать.

Имена исходных категорий можно выбирать из списка. Кроме того там же можно указывать, что правило распространяется только на выбранную категорию без подкатегорий (дописывается префикс «!»), только на подкатегории (дописывается префикс «?») или на всю категорию с подкатегориями (префикс не дописывается) с помощью соответствующего флажка.

Пример, как это работает:

Предположим, вы делаете витрину с осенней одеждой. У одного реального оффера на сайте есть товары следующих категорий:

• Для мужчин\Верхняя одежда;
• Для мужчин\Верхняя одежда\Пальто;
• Для мужчин\Джинсы;
• Для мужчин\Обувь;
• Для женщин\Верхняя одежда;
• Для женщин\Верхняя одежда\Куртки;
• Для женщин\Вязанные платья;
• Для женщин\Обувь\Сапоги и резиновая обувь;
• Для женщин\Обувь\Туфли;
• Аксессуары.

Кроме этого есть ещё куча не интересующих вас категорий. Но на вашем сайте предусмотрена следующая структура:

• Осенняя одежда\Женская;
• Осенняя одежда\Мужская;
• Осенняя обувь\Женская;
• Осенняя обувь\Мужская;
• Аксессуары.

Для этого накладываем правила:

• «Переименовать» Для мужчин\Верхняя одежда >>> Осенняя одежда\Мужская >>> Объединить;
• «Переименовать» Для мужчин\Джинсы >>> Осенняя одежда\Мужская >>> Объединить;
• «Переименовать» Для мужчин\Обувь >>> Осенняя обувь\Мужская >>> Объединить;
• «Переименовать» Для женщин\Верхняя одежда >>> Осенняя одежда\Женская >>> Объединить;
• «Переименовать» Для женщин\Вязанные платья >>> Осенняя одежда\Женская >>> Объединить;
• «Переименовать» Для женщин\Обувь >>> Осенняя обувь\Женская >>> Объединить;
• «Оставить» Аксессуары;
• Товары не попадающие под правила удалять.

Всё. Теперь после загрузки товаров этого уже настроенного оффера в выборку попадут только нужные нам товары, а категории будут адаптированы для нашего сайта.

Фильтры товаров оффера

К сожалению на данном этапе эта функциональность ещё не реализована. Когда она будет готова, здесь появятся подробные инструкции.

Трансформации данных

К сожалению на данном этапе трансформации ещё не реализованы (за исключением принудительного удаления дублей во время экспорта на сайт под управлением CMF ModX). Когда всё будет готово, здесь появятся подробные инструкции.

Трансформации, которые будут реализованы в первую очередь:

• Фильтры по производителю, цене, размеру скидки и т.д.
• Удаление дублей товаров.
• Балансировка категорий, управление численностью товаров всего сайта с отсечкой по релевантности.

Интеграция с Admitad

Ни для кого не секрет, что Adloader в первую очередь «заточен» для обработки товаров, полученных от офферов-партнёров через систему партнёрских программ Admitad. Не буду перечислять все плюсы партнёрского маркетинга по системе CPA, об этом можно почитать, например, на сайте Admitad, скажу лишь, что это очень и очень эффективно и просто. Система предоставляет актуальную информацию о товарах, статистике, осуществляет и гарантирует вознаграждение за привлечённых покупателей. Подробнее об этой системе можно почитать опять же на официальном сайте.

Так что нам нужно от Admitad для работы? Это, конечно, информация об офферах и источниках их данных. Всё это легко получить через API этой системы при наличии действующего аккаунта и подключённых партнёрских программах. Для этого:

• В Adloader идём в меню Офферы\Загрузить офферов из Admitad, в открывшейся форме кликаем по «Авторизоваться», в результате чего отправляемся в браузер вводить реквизиты своего аккаунта. Adloader не имеет (и не будет иметь) доступа к вашим логину и паролю, всё безопасно и секьюрно с использованием OAuth.
• Там же разрешаем приложению получить доступ к запрашиваемой информации (об офферах).
• После этого вы перенаправляетесь на форму выбора площадки и делаете это.

В это время сама программа Adloader ждала выполнения этих действий. Как только всё будет готово и все вышеперечисленные формы заполнены, она автоматически загрузит всех доступных для этой площадки офферов. После этого вам будет необходимо удалить из списка лишних, а затем загрузить данные о товарах из нужных с помощью контекстного меню «Загрузить CSV оффера». Извлечённая из Admitad информация (в том числе прямые ссылки для загрузки товаров) сохраняется в проект .adl и для дальнейшей работы обращение к API Admitad больше не требуется (за исключением необходимости обновить список офферов).

Кроме того любые csv файлы с товарами, сформированные Admitad корректно открываются независимо от способа импорта.

Интеграция с CMF ModX

CMF ModX Revolution — популярная система управления контента сайта, с помощью которой мы рекомендуем делать товарные витрины. Она с лёгкостью и гибкостью позволяет разместить 2000 и более товаров, а также красиво и функционально всё это оформить с помощью огромного количества доступных компонентов, доступных в официальном репозитории. Кроме того существует большое русскоязычное сообщество пользователей ModX, например modx.pro или modxclub.ru, где вы всегда можете получить необходимую информацию и задать любой вопрос. Существует и русский репозиторий ModX компонентов modstore.pro.

Для того, чтобы заставить Adloader работать с вашей товарной витриной на ModX, вам необходимо скачать, установить и настроить компонент Adloader. Компонент уже готов, но пока не доступен, из-за неопределённости в выборе канала дистрибуции. Скорее всего это будет тот самый русский репозиторий.

Подготовить cms для работы можно по любому доступному в интернете сценарию создания интернет магазина. Тут поговорим о том, как заполнять его актуальной информацией.

Настройки компонента (доступны в системных настройках ModX):

• tpl — шаблон ModX, ресурсы которого будут считаться товарами витрины;
• root (по умолчанию 1 - главная страница) — ресурс-корневая категория, от которой будут отсчитываться категории товаров;
• tvPrefix — префикс tv-параметра для шаблона tpl, в который будут записываться свойства товаров;
• chunkSize (по умолчанию 50) — количество товаров, передаваемое в cms за одну итерацию. Влияет на производительность и стабильность работы, подбирается для каждого конкретного сервера/хостинга.

Когда сайт создан, а компонент установлен и правильно настроен, создаём с помощью Adloader необходимую выборку товаров, затем идём в меню Экспорт\Modx с Adloader, вводим адрес сайта, реквизиты пользователя cms и наслаждаемся передачей данных. Рекомендуем создать специального пользователя для этого, а не просто пользоваться учётной записью администратора. Во-первых, это несекьюрно, во-вторых, плагин тогда не будет знать, какие данные получены в автоматическом режиме, а какие в ручном. Это пригодится, например, в том случае, если вы захотите изменить описание товара вручную. Тогда Adloader в автоматическом режиме определит это и ничего не будет изменять, кроме цены, уважая ваши правки.

Все свойства товаров будут доступны через основные и tv-параметры с указанным префиксом (их надо создавать вручную). Поле ресурса longtitle для повышения скорости и уменьшения нагрузки было решено использовать для хранения хеша и идентификации товара, оно формируется автоматически. Пожалуйста, не трогайте его и никуда не выводите.

Интеграция с ModX — это приоритетное направление развития продукта Adloader, поэтому в этой области будет появляться ещё множество «фич», а этот раздел постоянно дополняться.

И да, с помощью связки Admitad-Adloader-ModX очень просто и быстро делать витринные дорвеи и сайты-сателлиты :-)