Система мониторинга изменений данных о товарах | Datarax.ru

Задача: разработка системы для мониторинга данных о товарах промышленного назначения (около 50 тысяч штук).

Наш клиент — крупная компания, занимающаяся импортом промышленного оборудования и компонентов к нему, поставила перед нами задачу своевременного получения информации об изменениях в ассортименте поставщиков, а также выгрузки данных на сайт и в учетную систему.

Объем номенклатуры порядка 50 тысяч наименований с различными характеристиками.

Заказчик предоставил список официальных сайтов поставщиков оборудования, а также необходимые для экспорта разделы. Нами были разработаны индивидуальные парсеры для сбора и извлечения данных с сайтов поставщиков с последующей обработкой данных:

  1. Автоматический перевод характеристик наименований по базе мастер-данных;
  2. Приведение метрических характеристик оборудования к единому формату (дюймы / мм и пр);
  3. Формирование единого файла выгрузки данных в XML формате для последующего обновления данных на сайте и в учетной системе.

Помимо этого для заказчика было важно осуществлять своевременный мониторинг данных на предмет снятия устаревшей продукции с производства, а также изменения технической документации или описаний/характеристик.

Для этого была разработана индивидуальная платформа-интерфейс для работы с данными по модели DaaS. В представленном клиенту интерфейсе есть возможность осуществлять регулярный мониторинг данных по всем поставщикам с выявлением новинок, устаревших товаров, а также товаров для которых произошли изменения описания, изображения или характеристик.

Уже на основании этих данных заказчик принимает решение о внесении изменений на сайт. Система размещена на серверах компании Datarax с использованием облачных технологий Google Cloud с использованием резервного копирования данных.

Заказать систему мониторинга данных в Datarax

Разрабатываем гибкие системы мониторинга открытых данных.