Особенности миграции данных при внедрении системы SAP MDG – лучшие практики планирования проектов от IBA Group
IBA Group — партнёр и поставщик решений компании SAP AG с 1996 года. Решения в области управления корпоративными мастер-данными на платформе SAP MDM IBA Group начала поставлять с 2012 года, а на платформе SAP MDG – с 2015г.
При внедрении систем на платформах SAP MDM, а затем SAP MDG команда IBA Group выявила характерные особенности, которые необходимо учитывать при планировании таких проектов.
В типовых проектах по внедрению транзакционных систем на платформе SAP ERP (в том числе SAP S/4HANA), основной акцент делается на проектирование и реализацию бизнес-процессов.
В случае первоначального внедрения либо рестарта проекта SAP ERP в план отдельным подпроектом включается рабочий поток по миграции данных из унаследованных систем. При этом данные минимально изменяются для последующей загрузки в систему SAP.
В отличие от проектов по внедрению транзакционных систем SAP, внедрение систем управления мастер-данными на платформе SAP MDG часто сопровождается так называемой «нормализацией» данных. Она нужна для того, чтобы к моменту запуска бизнес-процессов по управлению данными на платформе SAP MDG в эксплуатацию в систему уже был загружен эталонный справочник (golden records).
Практика IBA Group показывает, что при традиционном подходе наиболее рационально проектирование и реализацию бизнес-процессов выполнять параллельно с процессами по подготовке эталонного справочника. Это поможет сократить общие сроки проекта.
Рисунок иллюстрирует типовой план внедрения системы управления мастер-данными на платформе SAP MDG, включая ключевые компоненты (пакеты работ).
Практика показывает, что в проектах внедрения SAP MDG объем работ по подготовке данных по трудозатратам сопоставим с объёмом работ по проектированию и реализации бизнес-процессов, поэтому на рисунке они изображены примерно в равных долях.
К основным пакетам работ, указанным на рисунке, относятся:
- Подготовка и миграция данных:
- Разработка методологию управления данными (определение критериев качества как часть методологии) и стратегия миграции данных
- Разработка моделей данных, отображения полей, унаследованных данных на поля внедряемой модели данных, разработка и/или настройка средств миграции
- Сама подготовкаданных (эталонных справочников), включая нормализацию
- Классические этапы разработки бизнес-процессов:
- Проектирование (business blueprint)
- Реализация (Realization)
- Заключительная подготовка (Final preparation)
- Запуск в эксплуатацию и первоначальная поддержка (Go live&support)
- Эксплуатация
- Разработка решения по интеграции (определение и реализация интеграционных потоков)
- Изменение системного ландшафта. Обычно выполняется специалистами заказчика из-за требований к безопасности. Подрядчику предоставляется доступ только к системам разработки и тестирования. В отдельных проектах специалисты IBA Group привлекались для развёртывания системного ландшафта с последующей передачей на поддержку специалистам заказчика.
- Выполнение организационных изменений. Обычно выполняется специалистами заказчика, однако в отдельных проектах специалисты IBA Group разрабатывали регламентирующие документы, касающиеся эксплуатации систем управления мастер-данными.
Хорошо показала себя практика, когда пакеты работ разбиваются на фиксированные интервалы времени (спринты). В рамках каждого спринта реализуются гибкие методологии управления проектом, при общем плане в каскадном (waterfall) стиле. На рисунке выше они изображены подзаголовками w0-w1, w2-w3 и т.д.
По каждому пакету работ (рабочему потоку) определяются рабочие продукты и в рамках спринтов ведутся списки замечаний/требований в контакте с ключевыми пользователями заказчика. Обратная связь организовывается в формате регулярных онлайн-совещаний, на которых обсуждаются рабочие вопросы, а также переписки по электронной почте в рабочем порядке.
В зависимости от специфических требований заказчика возможны отклонения от типового плана.
Так, в одном из проектов эталонные справочники материалов и деловых партнеров создавались силами специалистов заказчика через бизнес-процессы создания эталонной записи материала и бизнес-партнера соответственно. Предварительно были разработаны и введены в действие методология управления мастер-данными и классификатор (таксономия) материалов, а также развёрнут системный ландшафт и выполнена реализация бизнес-процессов создания эталонных записей в системе. Работы по разработке организационно-распорядительных (regulatory) документов, например, классификатор материалов и методологии управления мастер-данными, включая описание моделей данных и бизнес-процессов, велись параллельно с работами по развёртыванию системного ландшафта и реализации бизнес-процессов по созданию эталонных записей.
Заказчик организационно запретил закупки позиций, отсутствующие в эталонном справочнике материалов, а также сформировал группу экспертов НСИ (data stewards), которая обработала в течение 8-10 недель более 100 тыс. запросов на создание эталонных записей в системе. IBA Group выполняла полноценную поддержку процесса создания эталонных справочников с помощью выделенной системы регистрации инцидентов с их оперативным решением.
Основные преимущества такого подхода — это исключение или минимизация трудозатрат на миграцию унаследованных данных, построение настроенных под заказчика (customized) эталонных справочников, естественный процесс обучения конечных пользователей и стресс-тест системы под значительной нагрузкой при первоначальном наполнении эталонных справочников.
К недостаткам такого подхода можно отнести необходимость существенного вовлечения специалистов заказчика в роли ключевых пользователей и в качестве владельцев разделов справочников на этапе разработки методологии и классификатора, а также конечных пользователей и расширенной группы экспертов НСИ на этапе первоначального наполнения эталонных справочников.
Более распространенный подход к построению эталонных справочников в проектах внедрения SAP MDG заключается в том, что унаследованные данные выгружаются и обрабатываются в системе нормализации. Иногда это выполняется сторонним подрядчиком в рамках отдельного проекта.
В системе нормализации происходит идентификация и исключение дублирующихся, неполных, некорректных и несогласованных записей, а также при необходимости – идентификация и описание атрибутного состава.
Примеры таких записей из справочника материалов приведены в таблице ниже.
В качестве результата обработки записей в системе нормализации обычно принимается набор файлов, готовый для загрузки в целевую систему.
Работы в системе нормализации выполняются группой экспертов НСИ (data stewards), однако на заключительном этапе обработки требуется вовлечение специалистов заказчика для подтверждения полноты и корректности нормализованных записей.
При таком подходе к построению эталонных справочников в части материалов идентификация атрибутного состава и самих записей может производиться либо непосредственно по содержимому записей, либо с привлечением внешних специализированных источников данных.
Например, для записей из таблицы выше можно определить атрибуты фиттингов – NPS (Nominal Pipe Size) в дюймах (1/2” или 0.5), угол фиттинга в градусах (90), тип радиуса (LR-long radius, SR-short radius) и др., изучая прайс-листы компаний или другие источники с помощью поиска в Интернет.
В то же время при наличии специализированных внешних источников, таких как ECCMA eOTD или IBA HOTD, идентификация атрибутного состава исходных записей опирается на международные стандарты, разработанные для целей корректного описания изделий в цепочках поставок.
В случае применения таких специализированных внешних источников становится возможным ещё один подход к построению эталонных справочников – вытесняющая (supeseding) нормализация.
При таком подходе в существующую SAP ERP (SAP S/4HANA) или MDG систему встраивается модуль, позволяющий «на лету» идентифицировать атрибутный состав и саму запись материала, а также формировать корректное краткое наименование и описание, которые могут использоваться для исключения дублирующихся позиций, а также выполнять проверку на полноту и корректность формируемой записи.
Вытесняющая нормализация не требует одномоментного вовлечения большого количества специалистов заказчика и выделения бюджета на период формирования эталонного справочника, как это происходит при реализации двух других подходов. Эталонный справочник может формироваться постепенно, может быть ограничен отдельными пакетами (подгруппами/подклассами) записей. При таком подходе возможно заменять на эталонные только те записи, которые активно используются в бизнес-процессах.
Особенности представления эталонных записей в системе SAP ERP при наличии внешнего специализированного источника рассмотрим в отдельной статье.
Таким образом, в статье описали типовой план проекта внедрения системы управления мастер-данными на базе актуального опыта IBA Group и рассказали про особенности реализации трёх подходов к формированию эталонного справочника, необходимого для поддержания заданного уровня качества основных данных.