Управление мастер-данными материальных активов для корпораций

Как и зачем создавалась система IBA HOTD

Более 25 лет IBA Group является партнером и поставщиком решений компании SAP AG. С 2012 года IBA Group поставляет решения в области управления корпоративными мастер-данными на платформе SAP MDM с 2012 года, а с 2015 — на платформе SAP MDG.

В большинстве случаев внедряли не «с нуля», поскольку к моменту принятия решения о необходимости навести порядок в мастер-данных у заказчиков накапливались существенные объёмы унаследованных данных, в частности в справочниках материалов.

Унаследованные справочники материалов включали такое количество дублирующихся, некорректных, неконсистентных, неактуальных записей, что по итогам внедрения эталонные справочники ужимались в 2-3 раза по сравнению с исходными.

В ходе внедрения решений на платформах SAP MDM/MDG оказалось, что заказчики несут значительные затраты на нормализацию исходных справочников и получение эталонных экземпляров записей, которые предназначены для загрузки в системы SAP MDM/MDG перед началом их промышленной эксплуатации.

Одна из ключевых проблем получения эталонных справочников —идентификация основной записи материала.

Обычной практикой построения унаследованных справочников было использование краткого наименования материала, переносимого из товаросопроводительных документов.

Например, клейкая лента в системе SAP ERP может быть описана следующим образом:

Характеристики данной ленты описаны в свободной текстовой форме, что приемлемо для восприятия человеком, но не подходит для автоматизированной обработки.

Для задач автоматизированной обработки, например, для поиска и закупки подходящего материала по набору значений характеристик, требуется структуризация описания.

В структуризацию описания входит построение Классификатора (в виде таксономии или онтологии), которые представлен в виде дерева узлов и набора характеристик каждого узла.

Платформы SAP ERP, SAP MDG, SAP HANA ERP/MDG предоставляют весь необходимый инструментарий для создания и ведения корпоративного классификатора. Однако, в большинстве случаев, для применения инструментария, предварительно должны быть подготовлены и загружены в систему корректные записи.

Корректные записи могут быть сформированы с помощью выделения материалообразующих характеристик и на основании их значений.

В примере с лентой такими характеристиками могут быть – Бренд (Brand – Scotch), Ширина ленты (Thickness, mm – 18), Материал ленты (Baking Material – Polyvinyl chloride, Vinyl), Усилие на разрыв (Breaking Strength, N/cm – 30), Цвет (Color – Yellow) и другие.

По краткому описанию ленты «Scotch Vinyl Electrical Tape 35» в данном случае невозможно определить значения характеристик без дополнительного описания. В то же время одно и то же краткое наименование ленты из-за его низкой детализации может ассоциироваться с лентами, обладающими разными наборами значений характеристик.

Оприходование при поступлении разных материалов с одинаковым кратким наименованием «Scotch Vinyl Electrical Tape 35» в системе в случае, если оно используется в качестве уникального идентификатора, приводит к неконсистентности записей.

Впоследствии, если разные по характеристикам материалы учтены в системе под одной и той же записью, дальнейшая передача необходимого материала в производственный процесс становится проблематичной.

Другим недостатком идентификации по краткому наименованию является возможность генерации дублирующихся записей. К дублированию, в частности, приводят небольшие вариации краткого наименования, например, «Scotch Vinyl El.Tape 35» либо использование различных единиц измерения для одного по сути материала.

При наличии дубликатов в системе, особенно в разных единицах измерения, невозможно корректно оценить запасы того или иного материала и, как следствие, корректно пополнить запас. Чаще всего в таких случаях возникают потери из-за излишних закупок и хранения излишнего количества материала на складах.

Чтобы решить проблему идентификации на методологическом уровне и в практическом плане разные группы специалистов разработали ряд стандартов ISO и основанных на них систем.

В таблице ниже приведены наиболее известные серии стандартов ISO и системы, призванные решать проблему идентификации, в том числе применимые при внедрении систем управления мастер-данными материалов в корпоративных системах.

Начиная с 2014 года в IBA Group, одновременно с выполнением проектов по внедрению систем управления мастер-данными на платформах SAP MDM/MDG, начались собственные исследования и разработки в области подготовки нормализованных (эталонных) справочников материалов и деловых партнёров.

Опыт эксплуатации систем управления мастер-данными на платформах SAP MDM/MDG у заказчиков IBA Group показал, что существует проблема ухудшения качества данных с течением времени даже в компаниях, использующих такие системы.

Радикальным способом решения этой проблемы является периодический, например, раз в несколько лет, рестарт проекта с проведением единовременной повторной нормализацией справочников.

Промежуточным вариантом решения является периодическая (несколько раз в год, например, ежеквартальная) ревизия качества данных и исключение дублирующихся, некорректных, неконсистентных, неактуальных записей группой ведения мастер-данных (information stewards).

Анализ причин (Root-cause analysis) возникновения проблемы ухудшения качества данных позволил предположить, что системный источник этой проблемы в части справочников материалов — это концепция построения корпоративного классификатора, которая основана на внутренних источниках данных. к внутренним источникам относятся  товаросопроводительные документы и опыт бизнес-экспертов, участвующих в процессах создания либо изменения основных записей материалов, включая определение материалообразующих характеристик.

К тому же, создание и ведение каждой компанией собственного корпоративного классификатора затрудняет или делает невозможным обмен данными характеристик в логистических цепочках с помощью автоматизированных систем. Это происходит из-за необходимости настраивать отображение (mapping) между характеристиками предметов снабжения в компаниях, использующих разные классификаторы.

Для организации такого обмена при построении эталонного классификатора и справочника материалов возможно предусмотреть кодирование узлов классификатора и характеристик в соответствии с Eclass/ISO 13584 либо eOTD/ISO 22745. Однако это может существенно увеличить трудозатраты в проектах внедрения систем управления мастер-данными на этапе подготовки данных для первоначальной загрузки.

К тому же, поскольку при построении eOTD, например, первоисточниками характеристик являются поставщики и производители, одна и та же по сути характеристика может быть зарегистрирована разными поставщиками либо производителями под разными кодами.

Например, eOTD содержит несколько идентичных определений характеристики (свойства) SIZE DESIGNATION с разными кодами ([0161-1#02-000780#1], [0161-1#02-000781#1], …).

Исследования и разработки IBA Group в области нормализации корпоративных справочников материалов привели к созданию системы IBA HOTD (Harmonized Ontological Technical Dictionary), первые версии которой были выпущены в 2016 г.

При построении архитектуры системы IBA HOTD была учтена практика внедрения и эксплуатации систем управления справочниками материалов у заказчиков и партнёров IBA Group.

Концепция построения архитектуры системы IBA HOTD основана на трех принципах:

• В качестве источников достоверных данных о предметах снабжения используются тексты стандартов. В этом случае все записи об изделиях, произведённых различными компаниями, получают в корпоративных системах унифицированный (автоматически гармонизированный между компаниями) набор характеристик.
• В качества базового классификатора используется классификатор стандартов, любые другие классификационные признаки могут быть добавлены в качестве атрибутов.
• В качестве формализма для представления информации, содержащейся в текстах стандартов, используются RDF/OWL онтологии. Это гарантирует необходимую гибкость для представления изделий, их характеристик, и сочетаний значений характеристик, предусмотренных стандартами, а также «умный поиск» записей по набору значений характеристик.

В настоящий момент система IBA HOTD включает следующие компоненты:

• В части организации процесса создания контента – постоянно функционирует группа экспертов данных, которая в сотрудничестве с органами стандартизации выполняет цифровую трансформацию текстов национальных и отраслевых стандартов в формат OWL/RDF онтологий.
• В части контента – разработаны шаблоны описания текстов стандартов и OWL/RDF онтологий, создаваемых на их основе.
• Серверная часть представляет собой набор RESTful API сервисов, предоставляющих доступ к данным и функционалу системы, включая внутренний интерфейс к SPARQL-endpoint на платформе Apache Jena Fuseki (может использоваться любая другая: Blazegraph, Stardog, Topbraid).
• Фронт-енд часть предоставляет интерфейс конечного пользователя к сервисам HOTD, включая «умный поиск» и состоит из 2х компонент:
  • Веб-приложение HOTD App.
  • SAP ERP/MDG add-on.

Веб-приложение HOTD App позволяет выполнять работы по построению эталонных справочников материалов в рамках проектов разовой нормализации.

IBA HOTD SAP ERP/MDG add–on позволяет выполнять работы по обеспечению качества данных с использованием сценария инкрементальной («вытесняющей») нормализации.

В этом случае работы по нормализации справочников могут выполняться параллельно с обычной работой системы SAP ERP, по мере использования модуля вытесняя неактуальные, некорректные, дублирующиеся записи эталонными. Такой подход не требует формирования отдельного бюджета на разовое формирование эталонного справочника со значительным отвлечением бизнес-экспертов от участия в повседневных процессах.

Опытная эксплуатация системы IBA HOTD подтвердила её ценность для обеспечения качества данных, в том числе для заказчиков, у которых нет возможности выполнить полномасштабное внедрение систем управления мастер-данными на платформах уровня SAP MDG.