Статьи

Как эффективно контролировать 100 000 000 промышленных записей

Подготовил Д.Левин

Представьте: вы – «Газпром нефть», у вас одной установке нефтепереработки в информационной модели соответствует от пяти миллионов элементов, объектов 10-15, и данные фиксируются раз в месяц. При этом наряду с развитием методологии управления инженерными данными, непрерывно осуществляется и мониторинг качества данных: есть потребность регулярно формировать численно-аргументированное понимание того, насколько подрядчики выполняют требования в части качества данных и их наполнения. Эти данные используются для интеллектуальных проверок качества инженерных данных, а также для аналитики и формирования отчетности, в том числе бенчмаркинга реализуемых проектов капитального строительства. Всё это – огромная ответственная задача, решаемая с постоянным напряжением, тем более что применяются ручные или частично автоматизированные методы проверки данных.

И вдруг эти сложности приумножились: зарубежные инструменты, уже применявшиеся для частичной поддержки и развития формирующейся системы, стали недоступны, работа с сырыми данными стала занимать значительную долю времени и бюджета, а нагрузка на проектные команды значительно выросла.

В подобных, фактически аварийных, условиях реакция принимающих решения бывает разной, иногда соответственно – аварийной, рассчитанной сугубо на быстрое тактическое преодоление трудностей. Сразу приходит в голову повсеместная работа в Excel; хорошо известно, что такие подходы плохо масштабируются, ручные таблицы быстро расходятся по версиям, приводят к разночтениям, а возможности настройки правил крайне ограничены.

К чести ПАО «Газпром нефть» там пошли другим путем: путем создания отдельного инструментария, предназначенного для управления требованиями к данным в виде информационных стандартов, а также для валидации и комплексного анализа инженерных данных.

Реализация началась с проектирования централизованной архитектуры управления информационным стандартом. Ключевая идея — единое хранилище с полноценной библиотекой классов, атрибутов, списков допустимых значений и единиц измерения, а также их иерархии и взаимосвязей между сущностями. Стандарты могут как импортироваться из существующих XLS-файлов, что обеспечивает безболезненную миграцию данных с существующих проектов, так и могут создаваться и дополняться непосредственно в интерфейсе.

В функциональном модуле управления информационным стандартом задается иерархия классов и подклассов элементов, типизация оборудования и наборы атрибутов, которыми должен обладать каждый объект. Такой подход позволил заранее зафиксировать, какие характеристики, параметры и единицы измерения являются обязательными и в каком виде они должны передаваться. Эти требования формируются службой заказчика и выдаются подрядчикам на старте проекта — за счёт этого все участники опираются на единое понимание структуры и содержания информационной модели.


Источником этого обзора послужила статья Управление информационным стандартом на объектах капитального строительства «Газпром нефти». Из этой статьи я склонен заключить, что ключевая идея (см. выше), лежащая в основе подхода к решению задачи в целом сформировалась у соответствующих руководителей самостоятельно. Однако, помимо принципиального выбора стратегического решения, к заслугам этих руководителей я отношу ещё и выбор компании САРЕКС в качестве партнера для реализации этого решения. Как сказано в предисловии к статье, она сформирована в соавторстве А.Н.Шишкиным, руководителем направления по управлению инженерными инструментами ПАО «Газпром нефть», и Б.Ю. Бохоновым, директором по продукту компании «САРЕКС».

Ниже кратко представлю основные особенности весьма грамотно разработанной системы. В оригинальной статье каждый фрагмент иллюстрируется одним или несколькими хорошо продуманными рисунками (ниже приводится для примера только один), из которых грамотный читатель поймет всё или даже больше.

SAREX НЕФТЬ

Аналитический дашборд валидации: статусы по классам, элементам, парам и распределение ошибок по типам

Информационный стандарт. Базовый блок информационного стандарта — класс: описание типа объекта или оборудования. Классы выстроены в иерархию, где абстрактные классы служат контейнерами для группировки и наследования, а физические — конечными узлами, к которым привязываются элементы информационной модели при проверке. Каждый класс несёт набор атрибутов с явно заданными правилами: тип данных, единица измерения, обязательность и критичность, стадия применимости, список допустимых значений (Enum), регулярное выражение или числовой диапазон. Помимо атрибутов, стандарт включает шаблоны наименований — формализованные правила, которым должно соответствовать имя объекта в информационной модели. Система поддерживает управление версиями: сравнение, фиксация изменений и их отслеживание, а при необходимости проверка перезапускается автоматически — при обновлении стандарта или самой модели.

Маппинг и валидация. Ключевым функциональным решением стал детерминированный маппинг — явное сопоставление каждого атрибута информационного стандарта с конкретным атрибутом информационной модели. Это принципиальный выбор — никакого автоматического угадывания по совпадению имён. Пользователь работает с таблицей маппинга, выбирает источник из списка параметров модели, видит примеры фактических значений — и точно понимает, что и с чем сопоставлено. Прогресс маппинга отслеживается в реальном времени.

Аналитика: от фиксации ошибок к управлению качеством. Система поддерживает три режима аналитики:
- Текущая проверка — круговые диаграммы по элементам, парам, классам и типам ошибок.
- Сравнение версий — столбчатые диаграммы с разбивкой всех восьми типов ошибок раздельно.
- Динамика по диапазону проверок — линейные графики, показывающие, как менялось качество данных от итерации к итерации.

Впечатляет характеристика первых результатов внедрения, привожу не всё и сокращенно:
- Многократно (от недель – к дням) сократилось время и трудозатраты на обработку и валидацию инженерных данных от подрядчиков.
- Аналитика результатов валидации и прогнозирования объемов и сроков доработки данных подрядчиками теперь выполняется не за несколько дней, а в течение одного часа.
- Проверка данных выполняется для любых информационных моделей, вне зависимости от САПР разработки.
- Предотвращаются потери данных при переходе от этапа проектирования к этапу эксплуатации.
- Поддерживается возможность ретроспективного анализа и формирование базы «выученных уроков».

В заключительной части статьи особое внимание привлекает следующее.

  • Расширение функциональности инструментов системы управления продолжается. Из последних тенденций, заметно смещается акцент в сторону данных и информационных моделей как управляемого ресурса, значение которого в ряде процессов уже сопоставимо с документацией.

  • В дальнейшем планируется расширение созданного инструментария, в том числе, на основе LLM для автоматического маппинга и увязки сущностей.

  • ИТ-решение, разработанное Sarex совместно с ПАО «Газпром нефть», не имеет аналогов на российском рынке: специализированный инструмент с автоматической валидацией по единому стандарту, централизованной библиотекой классов и атрибутов, а также полным циклом от импорта стандарта до отчёта о проверке — это ноу-хау, которое позволило перевести управление данными из области ручного труда в область автоматизированного бизнес-процесса.


Явно очень грамотный подход к решению крупной промышленный задачи побуждает всерьёз отнестись к словам партнеров по разработке об уникальности их проекта и его реализации. Однако, у меня самого нет достаточной компетенции и ресурсов, чтобы сопоставить совместный результат Sarex и ПАО «Газпром нефть» с другими релевантными достижениями отечественного рынка. Думаю, будет справедливо и всесторонне полезно, если мы получим квалифицированные комментарии читателей.


PS. Портал isicad.ru существует уже 22 года. В качестве его главного редактора я всегда обращаю внимание на качество авторского текста, которое далеко не всегда бывает на желательном уровне. В конечном счете, но не полностью, качество определяется (1) ясностью и обоснованностью постановки проблемы, (2) профессиональным, но лаконичным и всё же доступным так называемому широкому кругу читателей, описанием архитектурно-технологического базиса реализации, (3) понятными (многим читателям - с первого взгляда) конкретными результатами и (4) смелыми, но профессионально-обоснованными перспективами. В данной статье всё это есть, и внимательно её прочитать я определенно рекомендую всем нашим читателям.


Насколько мы понимаем, по причинам, зависящим от Disqus, отображение и добавление комментариев для некоторых регионов временно функционирует не очень стабильно. Мы работаем над восстановлением.

Читайте также: