T-FLEX MDM — Управление мастер-данными и нормативно-справочной информацией

Потребность в автоматизации процессов управления мастер-данными, а также ведения централизованных библиотек эталонной нормативно-справочной информации диктуется все возрастающим уровнем цифровизации экономики. В условиях перехода к цифровой экономике компании окончательно убеждаются, что данные — это актив, который важно правильно хранить, обрабатывать и анализировать, используя для принятия решений и построения прогнозов. Эффективность этих процессов обеспечивает единое хранилище, в которое должны быть загружены проверенные качественные данные. Задача их консолидации из разных источников подразумевает сопоставление и синхронизацию справочников в различных ИТ-системах. Именно для этого бизнесу нужны системы управления данными и нормативно справочной информацией, и новая система T-FLEX MDM призвана предоставить пользователям инструменты для решения столь насущных задач, в результате еще более расширяя функциональные возможности комплекса T-FLEX PLM (рис. 1).

T-FLEX MDM, как и другие программные продукты комплекса, разработана на базе программной платформы T-FLEX PLM и в полной мере использует все богатство ее возможностей. В свою очередь, система обогатила программную платформу специализированными инструментами очистки данных, алгоритмами нечеткого поиска, новым специализированным типом дополнительных параметров, предназначенных для хранения и поиска разреженных данных в больших информационных системах. Для пользователей других продуктов на базе программной платформы T-FLEX PLM предоставляется возможность бесшовного соединения с существующими данными уже функционирующих систем при работе в едином информационном пространстве.

Рис. 1. T-FLEX MDM — часть единого программного комплекса T-FLEX PLM

Задачи T-FLEX MDM

T-FLEX MDM предназначен для решения задач управления мастер-данными и нормативно-справочной информацией, то есть объединяет в себе функциональные возможности MDM и НСИ-систем. Это два больших класса различных, но взаимосвязанных задач.

MDM-система (Master Data Management, управление мастер-данными) предназначена для объединения и унификации разрозненных данных предприятия, поставляемых из различных систем. В задачи MDM-системы входит:

• создание единого информационного пространства с помощью регистрации информационных объектов, ведения карты распределения объектов по системам;
• очистка данных и регистрация эталонов;
• аналитика и отчеты.

НСИ-система предназначена для организации подготовки, хранения и использования библиотек нормативно-справочной информации. Термину НСИ чаще всего дают такое определение: «Условно-постоянная часть всей корпоративной (учрежденческой) информации, не претерпевающая существенных изменений в процессе повседневной деятельности организации». В состав НСИ входят словари, справочники и классификаторы, элементы которых используются при формировании текущих документов. В задачи НСИ системы входит:

• разработка процедур создания, согласования и использования единой нормативно-справочной информации;
• классификация и каталогизация используемой на предприятии нормативно-справочной информации;
• создание и наполнение единых библиотек выверенной и утвержденной к использованию на предприятии нормативно-справочной информации;
• разработка структуры атрибутов, их взаимозависимостей, правил и ограничений при их заполнении для автоматизации контроля качества данных НСИ.

T-FLEX MDM комплексно решает все перечисленные выше задачи.

Принципы работы T-FLEX MDM

T-FLEX MDM — «система над системами». Она получает данные из внешних систем, анализирует и классифицирует их, затем нормализует данные, связывает их с эталонами с формированием реестра соответствия и выдает информацию во внешние системы о результатах произведенного анализа (соответствие эталону, наличие дублей, статус записи). T-FLEX MDM не изменяет данные во внешних системах, она лишь предоставляет информацию о корректности записи и рекомендации о возможностях использования существующих исторических данных в новых разработках, а также информацию для создания новых объектов.

Процедура обработки данных из внешних систем

Процедура обработки данных в T-FLEX MDM представлена на рис. 2.

Рис. 2. Процедура обработки данных в T-FLEX MDM

T-FLEX MDM использует процессный подход к обработке поступающих данных. В системе настроен бизнес-процесс работы с Заявками на НСИ, который также может редактироваться и донастраиваться администраторами системы.

Основные понятия системы

Логика работы T-FLEX MDM базируется на перечисленных ниже понятиях.

Типы НСИ

Типы НСИ — классификация на основе единства процедур работы с НСИ: где информация рождается, кем согласовывается, где используется. В поставке выделены 14 преднастроенных типов НСИ (Стандартные изделия, Материалы, Покупные и комплектующие изделия, Организации и т. д.), но в системе предусмотрена административная возможность расширения этого списка (рис. 3).

Рис. 3. Типы НСИ в T-FLEX MDM

Документы НСИ

Документы НСИ — классификация на основе единства атрибутивного состава. Документы НСИ — это, фактически, свод правил, по которым в системе настраивается алгоритм формирования эталонов и проверки записей внешних систем на соответствие эталону. Здесь описывается список обязательных и дополнительных атрибутов со всеми условиями проверки корректности заполняемых значений, а также с формулами взаимодействия атрибутов между собой (рис. 4).

Рис. 4. Документы НСИ в T-FLEX MDM

Классификатор НСИ

Классификатор НСИ — классификация третьего уровня НСИ, служащая для автоматизации создания интерфейса и поисковых запросов пользователей (рис. 5). Классификация объектов в Классификаторе НСИ может быть множественной, и конкретные группы пользователей могут использовать свои ветви классификатора, удобные им в повседневной работе с данными. Для примера, конструкторы привыкли к классификации материалов по маркам материалов, в то время как технологи идут от сортамента. Классификатор НСИ предоставляет возможность применять оба этих варианта.

Рис. 5. Классификатор НСИ в T-FLEX MDM

Глоссарий параметров

В T-FLEX MDM присутствует специализированный справочник для унификации атрибутов, используемых в системе, и сопоставления различных названий одного и того же атрибута.

Каждый атрибут, описанный в Документе НСИ, имеет обязательную ссылку на Глоссарий параметров (рис. 6), что обеспечивает внутреннюю связь одинаковых параметров в системе и возможность сквозного поиска по однородным параметрам. Для примера, параметр Мощность станка может в одном случае называться Потребляемая мощность, в другом — Мощность главного привода, в третьем — просто Мощность. В системе все эти параметры заносятся в эталон в соответствии с документацией, но имеют связь с объектом Глоссария параметров — Мощность станка, по которому можно производить поиск в системе.

Рис. 6. Справочник Глоссарий параметров

Реестр соответствия эталону

По результатам анализа внешних данных и установки их соответствия определенному эталону производится запись в справочнике Реестр соответствия эталону (рис. 7). Здесь указывается идентификатор эталона, идентификатор источника данных, признаки статусов и дублей, а также наименования объекта эталона и объекта внешней системы. Эти данные и передаются во внешние системы для дальнейшей их обработки.

Рис. 7. Записи в справочнике Реестр соответствия эталону

Источники данных

В T-FLEX MDM ведется реестр внешних систем, с которыми она взаимодействует. Здесь хранится информация о наименовании системы, используемых в ней типах НСИ, ответственных пользователях, а также структура справочника-аналога, в который поступают данные из внешней системы (рис. 8).

Рис. 8. Реестр внешних систем Источники данных

Последовательность действий при обработке данных внешних систем

Схема обработки данных представлена на рис. 9.

Рис. 9. Схема обработки данных

Процесс обработки данных состоит из приведенных ниже этапов.

Импорт данных

Данные из внешних систем импортируются в буферные справочники на стороне T-FLEX MDM (справочники-аналоги), информация в которых представлена в полном соответствии со структурой данных во внешней системе. Для каждой внешней системы создается свой справочник-аналог.

Предварительная классификация данных

В справочнике-аналоге информация классифицируется по двум уровням:

• Типы НСИ
• Документы НСИ

Нормализация данных

По результатам классификации данные, поступившие из внешней системы, импортируются в специализированный справочник для подготовки данных, подготовленный с учетом описаний в Документе НСИ. Здесь специалистом НСИ производится нормализация внешних данных с помощью большого количества вспомогательных инструментов, позволяющих производить полуавтоматическую обработку данных: удаление лишних пробелов, перевод заглавных в прописные и обратно, выделение подстроки и запись в отдельный параметр, формирование параметра по формуле из других параметров, анализ латиницы и кириллицы и т. д. (рис. 10).

Рис. 10. Нормализация внешних данных в справочнике

По результатам нормализации Специалист НСИ проверяет свою работу по кнопке Проверить по ограничениям Документа НСИ, и в случае успешной проверки по кнопке Завершить преобразование запись переходит в стадию «Подготовлено», на которой передается Эксперту НСИ для установки соответствия с эталонной записью.

Создание эталона либо установка соответствия эталону

Поступившие от Специалиста нормализованные данные Эксперт НСИ использует для полуавтоматического поиска эталонной записи. Первоначальный поиск эталона производится по соответствию ключевых параметров, установленных в Документе НСИ. В случае если эталон найдется, устанавливается автоматическое соответствие. Если эталон автоматически не найден, Эксперт НСИ может либо использовать нечеткий поиск для определения подходящих эталонов, либо создать недостающий эталон на основании поступивших данных (рис. 11).

Создавать эталоны Эксперт может также в ручном режиме.

Рис. 11. Процесс создания эталонов

После подключения записей к эталону по кнопке Зарегистрировать в Реестре соответствия автоматически формируется запись Реестра соответствия эталону.

Роли специалистов в процессе управления данными в T-FLEX MDM

Для процесса обработки и управления данными в T-FLEX MDM предназначены следующие роли (рис. 12):

• Администратор отвечает за создание моделей данных, он подготавливает документы НСИ, в которых существует набор атрибутов и взаимосвязей. Администратор обладает полномочиями выполнения функций настройки типов НСИ, Документов НСИ, формирования правил контроля и обработки параметров, импорта данных из внешних систем.
• Оператор выполняет ввод данных в подготовленное администратором пространство. Источником данных может быть абсолютно любой ресурс, например таблица Excel или печатная документация. Оператор имеет полномочия выполнения функций подготовки первичных данных для временных справочников на основе файла со структурой Документа НСИ.
• Специалист производит очистку данных, поступивших в любом формате автоматически из других систем либо от оператора. Он их анализирует, классифицирует, распределяет по подготовленным инструментам НСИ, то есть специалист имеет полномочия подготовки и нормализации данных для их последующего включения в эталонные справочники.

Рис. 12. Схема управления НСИ на базе T-FLEX MDM

• Эксперт НСИ получает подготовленные данные, анализирует и создаёт новые эталоны либо сопоставляет их с уже существующими. Эксперт имеет полномочия инициирования создания новых Типов НСИ, согласования Документов НСИ и их состава, создания, изменения, аннулирования эталонов, определения соответствия записей аналогов и записей эталонных справочников.
• Пользователь имеет полномочия просмотра состава справочников системы, поиска записей в них, подачи типовых заявок на добавление, корректировку и аннулирование записей Справочников всех типов НСИ. Роль пользователя — это запрос информации, так как он работает в другой системе, а к T-FLEX MDM обращается, если ему требуется информация по какому-либо объекту.

Взаимодействие T-FLEX MDM с внешними информационными системами предприятия

Обмен данными T-FLEX MDM с внешними информационными системами организуется с помощью стандартных обменных механизмов платформы, перечень которых очень широк — начиная с чтения из Excel-файла и завершая обменом через web-сервисы.

Принципы организации работы внешних систем с нормативно-справочной информацией с учетом информации из MDM-системы базируются на административном решении руководства предприятия о применяемом уровне централизации работы с основными данными. Можно выделить три метода централизации работы с данными:

• Централизация. Вся нормативно-справочная информация рождается в едином центре и распространяется во внешние системы.
• Консолидация. При этом все элементы НСИ, созданные в клиентских системах, передаются в АСУ НСИ, где эти элементы сопоставляются с эталонами и формируют карту распределения НСИ (реестр соответствия эталону) по системам.
• Гармонизация. При данном методе элементы НСИ могут заводиться как в клиентских системах, так и непосредственно в АСУ НСИ. Элемент, созданный в клиентской системе, передается в АСУ НСИ, откуда рассылается по остальным клиентским системам. Такой подход универсален и сочетает в себе лучшие стороны методов централизации и консолидации.

Все вышеперечисленные методы поддерживаются системой T-FLEX MDM.

Результаты нагрузочного тестирования T-FLEX MDM

Комплекс T-FLEX PLM, так же как и составная его часть T-FLEX MDM, успешно используется на крупных предприятиях при проектировании и производстве сложных изделий. При этом количество объектов, с которыми работает система, может измеряться многими миллионами, а следовательно, особые требования предъявляются к быстродействию системы. Компанией «Топ Системы» были проведены тестовые нагрузочные испытания системы, которые подтвердили комфортную работу системы с 84 млн объектов и 245 млн различных параметров в одном справочнике. Система поддерживает свыше 30 тыс. справочников. Это доказывает, что T-FLEX MDM готова к обработке большого количества данных и работе в крупных компаниях.

Сейчас T-FLEX MDM уже активно используется на ряде предприятий, но при этом ведется постоянная работа над развитием функциональности системы.