Интеграция и качество данных

Раньше информационное хранилище данных (DWH) организовывалось исключительно для поддержки функций систем бизнеса-анализа и отчетности и, как правило, на уровне отдельных бизнес-подразделений. Но теперь ситуация изменилась.

Сегодня быстрые темпы развития бизнеса привели и к росту требований, предъявляемым к информационным хранилищам данных. Тенденции рынка, в числе которых глобализация, консолидация отраслей, слияния и поглощения, а также появление новых более жестких требований регулирования, заставляют компании быть более подвижными и конкурентоспособными. Бизнесу необходим более оперативный доступ к данным, а данные должны быть непротиворечивыми, полными и надежными. Как правило, перед ИТ-подразделением компаний стоит потребность в решении для организации информационного хранилища данных, которое бы обеспечивало корпоративный интегрированный хаб с целью выполнения новых требований бизнеса.

Компания РБС Консалтинг имеет огромный опыт в построении информационных хранилищ данных для компаний Росии и стран СНГ. Исторически, технической платформой для разработка таких решений являются программные продукты корпорации Informatica. Решения Informatica отличаются от традиционной организации информационных хранилищ данных, которая обычно ограничивается поддержкой BI-решений уровня отдельного подразделения, тем, что делают задачу организации хранилища данных критически важной миссией всей компании.

С помощью решения Informatica масштаба организации ИТ-подразделение сможет создать информационное хранилище данных, которое использует все критические данные бизнеса Вашего предприятия и позволяет Вам использовать эти данные для получения конкурентного преимущества и достижения максимальной операционной эффективности.

Решение "Информационное хранилище данных" основано на лидирующей промышленной платформе для интеграции корпоративных данных. Развертывание платформы Informatica в качестве технологической основы для контроля перемещения данных в/из информационного хранилища данных позволит Вашему ИТ-подразделению оказать реальную помощь бизнесу:

• Улучшить процесс принятия решений
• Расширить прозрачность деятельности бизнес-подразделений
• Синхронизировать критически важные операции
• Достичь прозрачности для выполнения требований регулирования
• Снизить расходы и риски внедрения

Использование активов данных для повышения операционной эффективности и получения конкурентных преимуществ

Организация таких решений как информационные хранилища данных означает создание технологической основы, которая поставляет любые данные в корпоративных масштабах для выполнения требований как приложений, которые являются основными потребителями данных, так и бизнеса.

Для разработки, построения и эффективного управления информационным хранилищем данных ИТ-подразделениям необходима платформа интеграции данных, которая поддерживает полный цикл интеграции данных, в который входит подключение, анализ, обеспечение качества, интеграция, выгрузка данных и загрузка данных.

Являясь уже на протяжении многих лет лидером в области создания решений "Информационные хранилища данных", Informatica предлагает программное обеспечение и услуги, которые позволяют Вашему ИТ-подразделению организовать информационные хранилища данных, использующие данные для получения конкурентных преимуществ и достижения максимально возможной операционной эффективности.

Приоритетные задачи

Необходимые бизнесу данные – в корпоративных масштабах

• Обеспечение подключения ко всем данным в корпоративных масштабах
• Создание открытой инфраструктуры данных с поддержкой SOA для максимального повторного использования
• Полное управление метаданными с учетом контекста бизнеса

Надежные и гарантированно правильные данные

• Контроль и расширение функций обеспечения качества данных
• Повышение целостности корпоративных данных предприятия и безопасности
• Документирование определений данных и взаимоотношений

Готовность к развертыванию решения "Информационное хранилище данных" в корпоративных масштабах

• Обеспечение высокой работоспособности с гибкостью развертывания
• Загрузка данных/выгрузка данных в реальном времени для поддержки основных операций
• Внедрение Интеграционных центров в качестве подхода к интеграции данных.

Преимущества решения "Информационные хранилища данных"

• Улучшение согласованности данных в системах, процессах и подразделения
• Улучшение соответствия стандартам в области безопасности и целостности данных для сокращения рисков, связанных с невыполнением их требований
• Повышение продуктивности благодаря сервисам, которые поддерживают повторное использование
• Улучшение взаимосвязи между ИТ и бизнесом для принятия решений в реальном времени

Основная задача MDM-решения - повышение бизнес-ценности данных!

Представим, что ИТ-подразделению поручили создать и затем осуществлять поддержку корпоративной системы управления записями данных о заказчиках, продуктах, поставщиках и производителях. Выход – внедрение приложения для управления нормативно-справочной информацией (мастер данными) или MDM-решения. Основные трудности при внедрении MDM-систем:

• Где ваша компания хранит данные о заказчиках, продуктах или поставщиках? В скольких различных местах хранятся эти данные?
• Насколько сложно получить доступ ко всем этим данным? Насколько хорошо документированы эти данные?
• Каково качество нормативно-справочных данных, распределенных по различным системам? Знаете ли вы обо всех недостатках? Можете ли вы оценить качество этих данных?
• Как часто вашей компании приходится вручную согласовывать данные между бизнес-системами?
• Как вы синхронизируете нормативно-справочные данные между различными системами?
• Каким образом некачественные данные не будут попадать в MDM-систему? Каким образом вы будете осуществлять управление и контроль качества нормативно-справочных данных на постоянной основе?
• Трудности интеграции данных из множества систем и плохое качество данных сильно препятствуют внедрению MDM-систем.

Компания РБС Консалтинг предлагает решения по управлению мастер-данными, в основе которой лежит мультидоменная MDM-платформа, интегрирующая информацию и передающая ее в любую систему в необходимом виде. Решения созданы для снижения огромных временных затрат на ручной поиск и обработку данных различных форматов всех систем организации. Они позволяют добиться наилучших результатов при обработке данных полученных из различных приложений, каналов, мест, подразделений. Такой подход позволяет любой компании быстрее достичь критически важных бизнес-целей:

• Сохранение и увеличение числа заказчиков,
• Повышение эффективности и снижение затрат,
• Соответствие требованиям регуляторов для ограничения риска и повышения прозрачности бизнеса.

Комплексные MDM-решения, как правило, включают в себя обширные возможности по управлению нормативно-справочной информацией компании. Обладая широким функционалом, промышленные MDM-платформы являются довольно дорогостоящими решениями, которые не всегда нужны заказчику в таком объеме. Зачастую заказчику необходимо решить гораздо более фокусную задачу, не применяя крупные промышленные средства.

Одной из таких наиболее распространенных сейчас задач является создание Единого клиентского справочника, решением которой специалисты РБС Консалтинг успешно занимаются во многих компаниях России и стран СНГ.

Компания РБС Консалтинг предлагает продукт собственной разработки Customer MDM для создания решений «Единый справочник клиентов». Данное решение создано с целью выделения из разрозненных систем компании её уникальных клиентов, данные о которых могут повторяться в разных системах по-разному: неверные данные ФИО, адреса, разные наименования (в случае юридических лиц) и т.д.

Возможности решения

• Сбор информации по клиентам во всех системах компании,
• Унификация клиентских данных,
• Дедубликация и очистка данных,
• Централизация Единого справочника клиентской информации,
• Интеграция Справочника с любыми системами компании.

Решение опирается на новейшие справочники (ФИАС, почтовых индексов, коды мобильных операторов, БИК, ОКАТО, СОУН).

Ввиду повсеместного использования данных о своих клиентах, компания РБС Консалтинг предлагает решение как систему централизованного хранения клиентских данных с последующей публикацией информации, с гибкой возможностью интеграции с любыми системами источников или систем отчетности.

В решении использованы лучшие методики большого MDM-решения, реализован весь набор необходимых функций для проверки качества, очистки, обогащения, нормализации данных, поиску соответствия кодам специализированных справочников, дедубликации и выдачи информации мастер-записей с историческими атрибутами приходящих изменений.

Ключевые особенности

• Гибкость решения,
• Масштабируемость по мере роста потребностей бизнес-подразделений,
• Улучшение поиска и выявления потенциальных дублей с повышением качества данных,
• Отсутствие ограничений по межсистемному взаимодействию и интеграции,
• Быстрый старт и решение конкретных бизнес-задач, связанных с клиентскими данными,
• Минимальные затраты для получения значимых для бизнеса результатов в короткие сроки.

Показатели для ИТ

• Возможность адаптировать решение под множество задач;
• Прозрачность решения, открытый код;
• Возможность самостоятельного оперативного изменения решения в зависимости от бизнес потребностей;
• Кастомизация под задачи и условия заказчика;
• Минимальные сроки внедрения проекта.

Сегодня наблюдается большой интерес к технологиям класса BIG DATA, связанный с постоянным ростом данных, которыми приходится оперировать крупным компаниям. Накопленная информация для многих организаций является важным активом, однако обрабатывать ее и извлекать из нее пользу с каждым днем становится все сложнее и дороже.

Рис. 1. Динамика запросов по «Big Data» от Google

Так в чем же секрет популярности этих технологий и что означает термин «Big Data»?
В первую очередь, под терминами "Big Data", "Большие данные" или просто "биг дата" скрывается огромный набор информации. Причем объем ее столь велик, что обработка больших объемов данных стандартными программными и аппаратными средствами представляется крайне сложной. Другими словами, Big Data – это проблема. Проблема хранения и обработки гигантских объемов данных.

С другой стороны, обработка больших объемов информации – это только часть «айсберга». Как правило, когда говорят о термине "биг дата", то используют наиболее популярное определение трех «V», что означает Volume – объем данных, Velocity – необходимость обрабатывать информацию с большой скоростью и Variety – многообразие и часто недостаточную структурированность данных. Например, время операции по проверке баланса на карте при снятии наличных исчисляется в миллисекундах. Именно такие требования диктует рынок. Третья сторона вопроса – это разнообразие и неструктурированность информации. Все чаще и чаще приходится оперировать медиа контентом, записями в блогах, слабо структурированными документами и т.д.

Таким образом, когда мы говорим о big data, мы понимаем, что это связано с тремя аспектами: большим объемом информации, ее разнообразием или необходимостью обрабатывать данные очень быстро. С другой стороны, под этим термином часто понимают совершенно конкретный набор подходов и технологий, призванных решить данные задачи. В основе одного из таких подходов лежит система распределенных вычислений, где обработка больших объемов данных требует для себя не одну высокопроизводительную машина, а целую группу таких машин, объединенных в кластер.

Представим, компания только что объединилась с другой компанией или приобрела своего крупнейшего конкурента. Или ИТ-подразделению необходимо внедрить новую ERP или CRM систему, консолидировать многочисленные приложения для повышения эффективности. Подобные действия требуют значительных инвестиций. И чем скорее бизнес начнет получать преимущества от этих инвестиций, тем лучше.

Для оперативного получения прибыли от стратегических бизнес-инвестиций необходимо интегрировать данные в приложения и обеспечивать качество этих данных так, чтобы это соответствовало требованиям бизнеса. Это и есть основная цель миграции данных.

Распространенные сценарии миграции данных

Множество бизнес-сценариев требует миграции данных из одной системы в другую, в частности следующие:

• Слияния и поглощения
• Модернизация устаревших систем
• Консолидация приложений
• Внедрение ERP и CRM-систем или их обновление
• Внедрение систем управления нормативно-справочными данными
• Аутсорсинг бизнес-процессов

Проекты миграции данных связаны с рисками

Несмотря на то, что проекты миграции данных довольно распространены, они связаны с большими рисками:

• 84% проектов миграции данных не соответствуют поставленным требованиям
• 37% проектов превышают выделенный бюджет
• 67% проектов не завершаются в срок.

Почему терпит неудачу множество проектов миграции данных?

• Отсутствие методологии
• Нереалистичный масштаб проекта
• Неправильное понимание и использование инструментов
• Невнимание к обеспечению качества данных
• Недостаток или отсутствие необходимого опыта.

Решения от компании РБС Консалтинг для миграции данных позволяют снизить риски и минимизировать вероятность появления ошибок в проектах миграции данных. В то же время наши решения позволяют снизить стоимость проектов миграции данных за счет автоматизации процессов, более эффективной совместной работы бизнеса и ИТ и внедрения лучших практик.

Решение для миграции данных включает 3 части:

1. Технология. Практика ведения проектов основана на программных продуктах Informatica, включающих средства для ускорения миграции данных и минимизации ошибок;
2. Методология. На основе практического опыта мы обеспечиваем комбинацию лучших практик и методик для успешной реализации проектов в области миграции данных
3. Сквозные сервисы миграции. Опытные консультанты РБС Консалтинг предлагают свою экспертизу в области миграции данных.