Глава 5 Общая архитектура платформы
5.1 Архитектура системы
Программное обеспечение ЦДП выполнено на основе библиотек с открытым кодом R (Posit) и включает модули (микросервисы) высокопроизводительных расчетов на Java и C++. Для хранения эталонных данных и документов используются базы данных PostgreSQL и ClickHouse, что обеспечивает надежное и масштабируемое управление большими объемами данных. Пользовательские интерфейсы реализованы с использованием JavaScript и HTML, что обеспечивает интерактивность и доступность системы через веб-браузеры.
Микросервисная архитектура обеспечивает масштабируемость и гибкость, что позволяет динамически добавлять или отключать компоненты без влияния на работу других частей системы. Архитектура ЦДП обеспечивает сквозную интеграцию данных, моделей и интерфейсов, создавая мощный инструмент для управления предприятием.
Рисунок 20 — Архитектура платформы ЦДП
В основе архитектуры лежит иерархическая система показателей — от национальных целей и доктрин безопасности до муниципальных и пространственных показателей, — объединённая ансамблем математических моделей: демографической, системной динамики, матрицами чувствительности, межотраслевыми и межтерриториальными балансами.
Рисунок 21 — Иерархическая система показателей и ансамбль моделей ЦДП
5.2 Основные компоненты архитектуры
1. Этап получения и обработки данных (ETL)
Технология ETL (Extract, Transform, Load) отвечает за сбор данных из различных источников, их трансформацию и загрузку в центральное хранилище. Данные могут поступать как из внутренних систем предприятия, так и из внешних источников (например, Росстат, ФНС, API).
Ключевые возможности:
- API-интеграция позволяет системе получать данные в реальном времени из различных источников, что обеспечивает актуальность расчетов и анализа;
- система выполняет автоматическую нормализацию данных, приводя их к единому стандарту и устраняя дубли, пропуски и ошибки в форматах;
- ClickHouse/PostgreSQL используется для хранения больших объемов аналитических данных, справочников и временных рядов, что позволяет обрабатывать данные в реальном времени с высокой производительностью.
На примере реализации для АПК архитектура модели включает два взаимосвязанных контура: модель потребления (Цифровой двойник города) на основе корреляционных и стохастических зависимостей, и модель производства (Цифровой двойник предприятия) на основе функциональных и стохастических зависимостей. Каждый контур оперирует фактами и прогнозами, включая инерционные и сценарные.
Рисунок 22 — Архитектура модели АПК и монопродуктовых балансов: модель потребления и модель производства
2. Этап расчетов и аналитики
Для проведения высокопроизводительных расчетов используются модули на Java и C++, что позволяет обрабатывать большие объемы данных с минимальными задержками.
Технологии и инструменты:
- R (Posit) обеспечивает поддержку сложных статистических и математических моделей, необходимых для сценарного моделирования, факторного анализа и прогнозирования;
- Targets (tar_target) используется для организации расчетных узлов и управления их зависимостями. Эта технология отслеживает актуальность данных и расчетов, поддерживает версионность расчетных моделей и обеспечивает многократные параллельные вычисления;
- система поддерживает модели межотраслевых и межтерриториальных балансов, а также ресурсно-балансовую модель, которые используются для оценки потребностей предприятия в ресурсах и их оптимального распределения.
3. Пользовательские интерфейсы
Пользовательские интерфейсы реализованы с использованием JavaScript и HTML, что обеспечивает доступ к системе через веб-браузеры и интуитивно понятную работу с данными и аналитическими инструментами.
Возможности интерфейсов:
- интерфейсы поддерживают интерактивные информационные панели, отчеты и визуализации на основе данных, что позволяет пользователям легко получать доступ к аналитике и принимать управленческие решения на основе актуальных данных;
Рисунок 23 — Пользовательский интерфейс ЦДП: интерактивная информационная панель МСХ
- REST API позволяет интегрировать внешние системы с ЦДП и обеспечивать доступ к данным и функциям системы через программные интерфейсы.
Рисунок 24 — 3D-визуализация структурно-технологической схемы предприятия в интерфейсе ЦДП
5.3 Ключевые технологии
| Технология | Описание | Применение в ЦДП |
|---|---|---|
| R (Posit) | Open-source платформа для выполнения статистических и аналитических расчетов | Используется для разработки сложных математических моделей и статистического анализа |
| Java и C++ | Высокопроизводительные языки программирования для расчетов | Обеспечивают быстрое выполнение вычислительно сложных операций |
| PostgreSQL | Реляционная система управления базами данных (СУБД) для хранения структурированных данных | Используется для хранения эталонных данных, справочников и документов |
| ClickHouse | Колоночная система управления базами данных (СУБД) для высокопроизводительной аналитики на структурированных больших данных | Обеспечивает хранение и обработку больших объемов аналитической информации |
| ETL | Технология для извлечения, трансформации и загрузки данных | Применяется для интеграции и нормализации данных из разных источников |
| Targets (tar_target) | Библиотека для декларации и исполнения расчетных аналитических узлов, связанных в единый конвейер (сеть), с поддержкой трассировки изменений | Обеспечивает управление расчетами, версионирование и контроль актуальности данных |
| JavaScript, HTML | Технологии для разработки пользовательских интерфейсов | Используются для создания интуитивно понятных интерфейсов и интерактивных информационных панелей |
5.4 Особенности архитектуры
5.4.1 Масштабируемость и производительность
Архитектура ЦДП обеспечивает высокую производительность благодаря использованию ClickHouse для хранения больших объемов данных и Java/C++ для вычислительных модулей.
5.5 Архитектура связи показателей
ЦДП связывает показатели территории (Цифровой двойник города) и показатели предприятия (Цифровой двойник предприятия) в единое пространство. Показатели социально-экономического развития и рынков (240 показателей), цены на продукты (667 позиций) и доли продуктов в потреблении формируют матрицы чувствительности факторов и инерционные прогнозы, которые затем сводятся в монопродуктовые балансы — фактические и сценарные.
Рисунок 26 — Архитектура связи показателей: Цифровой двойник города и Цифровой двойник предприятия
Рисунок 27 — Межотраслевые потоки энергетических ресурсов: Sankey-диаграмма взаимосвязей
