Вызов, который стоял перед заказчиком
Компания-заказчик обратилась к команде iiii Tech с запросом на модернизацию аналитической отчетности. Ранее вся отчетная деятельность велась через Microsoft Access, что стало ощутимым тормозом в условиях быстро растущих объемов данных. Отчеты формировались медленно, и бизнес-системы не справлялись с высокой нагрузкой. Помимо этого, у компании отсутствовал единый источник данных для исторического анализа, прогнозирования и предоставления информации внешним системам.
Задача была амбициозной: разработать и развернуть аналитическую платформу, которая объединит ключевые процессы, позволит оперативно формировать отчеты и станет основой для дальнейшего масштабирования. Проект стартовал в декабре 2022 года и продолжается по сей день.
Что мы сделали
Мы начали с проектирования функциональной архитектуры аналитической платформы, которая должна была решать сразу несколько задач:
- Оперативная отчетность – чтобы оперативно формировать данные в условиях высокой нагрузки.
- Исторический анализ и прогнозирование – создание аналитических отчетов с учетом KPI, план-факт анализа и прогнозов.
- Интеграция с внешними системами – платформа должна стать универсальным источником данных для других решений заказчика.
Для реализации этих целей мы разработали многоуровневую структуру платформы, включающую:
● Landing Layer – промежуточное хранение данных из различных систем.
● Staging Layer – слой сырых данных для подготовки и обработки.
● Data products – доменные модели данных.
● DWH Layer – основное хранилище данных.
● Data Mart Layer – слой витрин данных для аналитических отчетов.
● Export Layer – слой интеграции данных для внешних систем.
На первом этапе мы сосредоточились на создании компонентов Landing Layer, Staging Area и Data products, необходимых для формирования базовых отчетов. Это позволило оперативно решить проблему недостатка данных в текущих бизнес-системах заказчика.
Технологии и решения
Мы внедрили ключевые инструменты для обеспечения функциональности платформы:
● ObjectStorage – для надежного хранения данных.
● DataTransfer – для интеграции и передачи данных.
● Postgres – для хранения и обработки структурированных данных.
● Apache NiFi – для организации потоков данных и автоматизации процессов.
● Datalens – для создания наглядных и удобных аналитических отчетов.
Каждый из этих компонентов был интегрирован в архитектуру платформы, что обеспечило гибкость и масштабируемость решения.
Результаты проекта
На сегодняшний день платформа функционирует в продуктивной среде и показывает свои преимущества:
● Создан и наполняется слой Staging Area, который аккумулирует данные из исторических и целевых источников.
● Реализован слой Data Mart, обеспечивающий формирование отчетов на основе актуальных данных.
● Отчеты успешно генерируются и визуализируются с помощью Datalens, предоставляя заказчику ключевую информацию для принятия решений.
● Платформа способна масштабироваться, добавляя новые источники данных и расширяя аналитические возможности.
Этот проект стал ярким примером того, как грамотное использование современных технологий помогает бизнесу решить ключевые задачи, а аналитика превращается из рутинной отчетности в мощный инструмент для роста и развития.
Вывод
Работа над этим проектом еще раз доказала: даже если начальная точка – это старые и перегруженные системы, правильный подход и современные технологии способны сделать аналитическую платформу мощным драйвером бизнеса. Мы гордимся тем, что наша команда помогла заказчику перейти на новый уровень цифровой трансформации.
