Интеграция клиентских данных. Этапы управления нормативно-справочной информацией

🕛 30.10.2006, 13:11

Аналитическая консалтинговая организация CDI-Institute недавно провела исследование, посвященное основным тенденциям развития средств интеграции клиентских данных. Рассмотрим кратко его результаты.

Разработчики корпоративной архитектуры и руководители технических отделов интересуются происходящей консолидацией поставщиков на рынках средств интеграции клиентских данных (customer data integration - CDI) и управления нормативно-справочной информацией (master data management - MDM). Пытаясь добиться грамотного управления корпоративными данными, руководство задается вопросом: каковы ключевые особенности CDI-продуктов следующего поколения?

Управление нормативно-справочной информацией обеспечивает и поддерживает согласованное представление справочной информации компании, которое может распространяться в рамках целого диапазона прикладных систем.

MDM и CDI часто называют технологиями, хотя на практике они являются бизнес-приложениями. Их цель - обеспечить согласованное представление разрозненной информации. Это представление формируется на основе технологий и методов интеграции данных и может использоваться как в транзакционных, так и в аналитических приложениях. Фактически, применяемый метод зависит от прикладных требований, таких как «латентность» данных или необходимость обновлять или просто читать интегрированные данные. MDM и CDI привносят в интеграцию данных бизнес-семантику справочной информации, и ее связь с бизнес-направлением или отраслью. MDM- и CDI-склады данных могут служить источниками информации для Хранилищ данных.

Рассмотрим 12 основных этапов развития рынка CDI/MDM-средств на ближайшие годы.

1. Созревание рынка. Рынок CDI/MDM из начальной стадии перешел на этап «популярного направления», по мере того как 95% финансовых организаций, служб связи, а также фармацевтических и медицинских компаний стали активно склоняться к замене своих собственных наработок по CDI. В течение 2006-2007 годов CDI-решения для компаний средних размеров будут предлагаться на рынке не только поставщиками средств контроля качества данных, но и крупными производителями ПО. К 2008-му году рынок CDI-проектов (имеется в виду программное обеспечение и обслуживание) превысит 1 млрд. долларов.

2. Рыночный импульс. Продукты крупных поставщиков монополизируют основную часть рынка. Одновременно появится и некоторая ниша, которую займут hosted[1] -проекты, предложенные поставщиками-первооткрывателями в области CDI-MDM. И крупные, и специализированные поставщики будут предлагать СУБД для справочной клиентской информации. К 2008-му году каждый крупный производитель приложений и БД обеспечит либо собственную, либо OEM [2] CDI/MDM-функциональность.

3. Консолидация рынка. Крупные IT-производители продолжат свои маркетинговые мероприятия в направлении развития MDM-стратегии. Вероятно, им предстоит решать проблемы выбора архитектуры, технологии управления корпоративной эффективностью, метаданных, платформы. И если такие крупные компании будут доминировать на рынке CDI/MDM концентраторов (CDI-hub), то лучшие специализированные производители направят свои усилия на определенные отрасли, а также конкретные корпоративные приложения.

4. Бюджет/Квалификация. Средняя организация (штат которой составляет примерно 2 тыс. сотрудников) будет тратить на программные решения CDI/MDM примерно 1,2 млн. долл. и еще около 4 млн. на услуги системной интеграции. В течение 2006-2007 гг. недостаток квалифицированного персонала существенно повысит расходы на проекты, поскольку спрос на администраторов данных[3], архитекторов данных и прочих экспертов превзойдет предложение со стороны опытных специалистов. К 2008-му году рынок должен стабилизироваться, по мере того как сотрудники компаний получат надлежащую квалификацию для работы с программным продуктом.

5. Управление данными. Управление данными станет главной опорой крупных CDI/MDM-проектов, поскольку этот компонент находит все больший спрос. В течение 2006-2007 годов крупные системные интеграторы и узкоспециализированные поставщики CDI/MDM будут стремиться к развитию своих методологий. К 2008-му году должность администратора данных станет вполне привычной, по мере того как компании формализуют эту функцию, признавая информацию одним из главных корпоративных ресурсов.

6. MDM-сходимость. Взаимозависимость данных о клиентах и продуктах быстро приведет к расширению CDI-требований (то есть от «клиента» - к «продукту» - к «поставщику»). В течение 2006-2007 годов узкоспециализированные поставщики обеспечат связываемость множества концентраторов. А к 2008-му году компании, не разработавшие долгосрочных MDM-стратегий, рискуют, как это ни парадоксально, оказаться в ситуации обилия разрозненных MDM-продуктов.

7. Архитектура. В 2006-2007 годах компании перейдут от разработанных на заказ концентраторов к коммерческим CDI/MDM-решениям, в основном от крупных поставщиков. К 2007-08 проблема эффективности систем сохранится, поскольку группы, занимающиеся разработкой корпоративной инфраструктуры, колеблются между виртуальными, постоянными и сложными/гибридными концентраторами, применяя точечные решения, такие как ПО промежуточного уровня (EII ), которые способствуют сбалансированному разрешению проблем эффективности и «политических» сложностей. К 2008-09 году за счет отказа от «концентраторов данных» (data hubs) в пользу «концентраторов процессов/правил» (process/policy hubs) лидирующие предприятия и CDI/MDM-поставщики должны завершить переход от клиент-серверной к сервисно ориентированной архитектуре (SOA). Одновременно CDI/MDM-требования подвигнут поставщиков на разработку сложных концентраторов полного спектра (включающих поддержку для структурированной и неструктурированной информации, а также высокую масштабируемость).

8. Модели данных. В 2006-2007 году крупные CDI/MDM-поставщики будут как и прежде выделять существенные ресурсы на отраслевую ориентацию моделей данных, что заставит специализированных разработчиков остановиться на поддержке упрощенных моделей, при этом предлагая управление иерархиями B2B[4] и распределенные системы CDI/MDM.

В 2007-08 году сложное управление иерархиями станет основной задачей многих разработчиков, однако поддержка репозиториев метаданных, связывающих воедино множество источников, возникших в результате поглощений, существенно сократится. До 2006-09 года крупным поставщикам не удастся кардинально переделать свое ПО для обеспечения полной поддержки стратегической инфраструктуры приложения. Сегодня многие разработчики переходят от архитектуры, ориентированной на модели данных, к архитектуре, ориентированной на модели процессов.

9. Идентификация клиентов. В 2006-07 году средства повышения качества данных независимых поставщиков будут конкурировать с хорошо финансируемыми инструментами match/merge[5] и профилирования данных ( которые крупные поставщики интегрируют в свои CDI-MDM-проекты). К 2007-2008 году на рынке, ориентированном на средние компании, самостоятельные поставщики средств поддержки качества данных преобразуют свои продукты в концентраторы CDI, сохраняя при этом такую свою сильную сторону, как устранение ошибок в адресной информации. К 2008-09 году вероятностные алгоритмы согласования будут доминировать над детерминистическими моделями, несмотря на то, что наилучший результат обеспечивают гибридные решения.

10. Обеспечение нормативно-справочной информации. В течение 2006-07 гг.поставщики средств интеграции корпоративных приложений (Enterprise Application Integration - EAI), интеграции корпоративной информации (Enterprise Information Integration - EII) и извлечениz, преобразования и загрузки (Extract, Transform and Load - ETL) постараются либо стабилизировать свои продукты, либо объединиться с CDI/MDM-поставщиками, дополняя их функциональность за счет возможности концентраторов связывать информацию из множества различных источников с основными данными, находящимися в главном концентраторе.

К 2007-08 году эти разработчики добьются успеха, обеспечивая высокую производительность, а также возможности переналадки и публикации. Например, интегрированные/виртуальные CDI/MDM продукты будут все чаще называться «динамическими средствами интеграции клиентских данных». К 2008-09 году программное обеспечение промежуточного уровня (EAI/EII/ETL) будет полностью ассимилировано крупными CDI/MDM-поставщиками за счет слияний и поглощений.

11. Аналитика. В 2006-07 годах витрины данных по-прежнему будут служить в качестве «мостов» между операционными, историческими и аналитическими данными, связывая клиентскую информацию из различных каналов, направлений бизнеса и внутренних источников. К 2007-08 году развитие корпоративных Хранилищ и операционных складов данных для поддержки постоянных обновлений постепенно сотрет границы между аналитикой в реальном времени и динамическим агрегированием в CDI/MDM. К 2008-09 году встроенная аналитика в реальном времени на основе как транзакционных, так и исторических данных станет основными источником конкурентных преимуществ.

12. Бизнес-услуги/документооборот. В течение 2006-07 годов CDI/MDM поставщики опередят своих коллег в области управления бизнес-процессами (Business process management - BPM), обеспечивая регулирование документооборота для синхронизации источников данных интегрированного репозитория нормативно-справочной информации. К 2007-08 году крупные CDI/MDM поставщики будут бороться за обеспечение BPEL-совместимых (Business process execution language - язык выполнения бизнес процессов) документооборотов, тогда как специализирующиеся производители будут стремиться к скорейшему предложению CDI/MDM-возможностей на рынке.

Изучив описанные здесь тенденции, компании смогут грамотно выстроить свой курс в отношении IT-разработок на ближайшие 3-5 лет.

[1] Hosted solution - программный продукт, размещаемый на сервере компании-поставщика и предлагаемый компании-пользователю в аренду

[2] Original Equipment Manufacturer - производитель ПО (OEM-компания)

[3] Администратор данных (data steward): новый вид специалиста, отвечающего за полноту и качество данных, помещаемых в склад данных.

[4] Управление иерархиями B2B (взаимодействие бизнеса с бизнесом) - это специфическая функция среди ряда возможностей CDI. Такое управление подразумевает, что в концентраторе в виде единой иерархии представляются и согласуются: головной офис, отделы, подразделения, филиалы и бизнес-партнеры компании.

[5] Cопоставление файлов при слиянии (во время сортировки)

Intersoft Lab