1. Задача
Клиент — производитель БАДов и лечебной косметики — столкнулся с тем, что вся аналитика бизнеса строилась исключительно в Excel. Сведение отчётности занимало значительное время, а рост объёмов данных приводил к заметному падению производительности и задержкам в принятии управленческих решений. Компании требовалось централизованное хранилище данных, которое позволило бы автоматизировать процессы построения отчётности и избавиться от ручного труда аналитиков.
2. Какие работы производились
• Разработано On-prem хранилище данных на базе СУБД PostgreSQL. Источником данных выступали Excel-файлы с отчётами дистрибьюторов и аптечных сетей, которые были приведены к унифицированному виду.
• Для загрузки и трансформация данных настроен ETL-конвейер на Apache NiFi, обеспечивающий автоматическую обработку и перенос данных в хранилище. Построены витрины данных, на основе которых в дальнейшем реализуется внутренняя отчётность компании.
• Проведён анализ существующих процессов сведения отчётности и структуры исходных Excel-файлов от различных дистрибьюторов и аптечных сетей.
• Выполнена унификация и стандартизация форматов данных, поступающих из разнородных источников.
• Организовано сопровождение на всех этапах — от проектирования архитектуры хранилища до передачи в эксплуатацию и обучения команды клиента работе с новой системой.
3. Какие сложности возникали
Ключевой сложностью стала работа с разнородными исходными данными: отчёты от разных дистрибьюторов и аптечных сетей поступали в различных форматах и структурах, что потребовало глубокой проработки логики их унификации и приведения к единому виду без потери смысловой нагрузки.
Дополнительно требовалось выстроить процесс регулярной загрузки данных в хранилище таким образом, чтобы он не зависел от ручных действий сотрудников клиента и обеспечивал актуальность данных для построения отчётности.
4. Результат
• Хранилище данных введено в эксплуатацию и стабильно функционирует
• Аккумулируются данные о продажи по всем дистрибьюторам и аптечным сетям в едином централизованном контуре
• Построены витрины данных, служащие основой для формирования внутренней отчётности компании
• Процесс загрузки данных автоматизирован за счёт ETL-конвейера на Apache NiFi, что снижает зависимость от ручного труда
• Создана база для дальнейшего развития аналитики и BI-отчётности без ограничений по объёму данных
5. Мнение клиента и планы
Клиент положительно оценил переход от ручной работы с Excel к централизованному хранилищу данных. Компания планирует развивать проект: на основе построенных витрин данных реализуются внутренние отчёты, а в перспективе рассматривается расширение аналитических возможностей и подключение дополнительных источников данных. Мы продолжаем сопровождать систему и готовы поддерживать дальнейшее развитие хранилища.
