Аудит интеграционных решений

Современные тенденции роста объемов и сложности решаемых задач, изменяющиеся требования регуляторов и контролирующих органов обусловили необходимость оперативного доступа к качественной информации по всем направлениям развития бизнеса в целях снижения уровня рисков и обеспечения эффективного управления предприятием. Таким образом, начиная с 2005 года, отмечена высокая активность внедрения предприятиями в различных областях централизованных хранилищ данных – программно-технических комплексных решений, обеспечивающих интеграцию, структуризацию и централизованное хранение данных.

Управление процессами и потоками данных в корпоративных хранилищах осуществляется с помощью промышленных ETL-решений (ETL – Extract, Transform, Load), определяющих функциональные возможности хранилища.

Эффективность внедрения и использования хранилища во многом определяется качеством проектирования и разработки лежащего в его основе ETL-решения, а эффективность промышленного интеграционного решения, включающего в себя взаимодействующие с ETL-решением внешние системы программного комплекса Заказчика, зависит также от специфических организационных и интеграционных особенностей взаимодействующих систем.

Накопленный опыт внедрения и сопровождения корпоративных хранилищ данных позволил выявить ряд наиболее распространенных проблем, возникающих вследствие снижения показателей эффективности эксплуатации ETL-решений внешними смежными системами программно-технического комплекса Заказчика:

• снижение эффективности функционирования промышленного ETL-решения или его отдельных частей;
• снижение эффективности работы взаимодействующих с ETL-решением систем в рамках комплексного интеграционного решения Заказчика;
• снижение быстродействия функционирования ETL-решения или его отдельных компонентов;
• снижение быстродействия взаимодействующих с ETL-решением систем в рамках комплексного интеграционного решения Заказчика;
• постоянный рост затрат на сопровождение интеграционного решения;
• рост количества сбоев в работе компонентов интеграционного решения, связанный с необоснованной сложностью и запутанностью их организации у Заказчика;
• проблемы изменения / доработки, связанные с недостаточной гибкостью компонентов комплексного интеграционного решения;
• проблемы при масштабировании и развитии интеграционного решения.

Перечисленные проблемы могут быть вызваны различными обстоятельствами. Часто Заказчик, в надежде снизить затраты на разработку, внедрение и сопровождение промышленного интеграционного решения, пытается обойтись внутренними ресурсами, привлекая к проектированию и разработке специалистов, обладающих недостаточной квалификацией и опытом в области проектирования и внедрения ETL-решений. К аналогичным последствиям могут приводить несогласованные действия аналитиков, архитекторов и разработчиков, участвующих в проектировании, разработке и модернизации комплексных ETL-решений и взаимодействующих с ними систем. Обычно такие прецеденты характерны для методологий ведения проектов, предполагающих одновременное (параллельное) проведение работ несколькими командами привлеченных разработчиков на этапах проектирования, разработки и внедрения систем в условиях ограничения во времени либо при наличии иных причин, препятствующих согласованию используемых методов и средств участниками привлекаемых Заказчиком команд.

Скорректировать развитие систем интеграционного комплекса Заказчика и нормализовать показатели эффективности взаимодействия с централизованным хранилищем данных может аудит интеграционного решения.

Процедура аудита проводится в несколько этапов:

• предварительное ознакомление с предметом аудита и предметной областью, для которой применяется ETL-решение;
• разработка и утверждение программы аудита;
• планирование и согласование с Заказчиком сроков этапов проведения аудита согласно утвержденной программе;
• реализация программы аудита, предполагающая поэтапное проведение работ согласно срокам, установленным на этапе планирования.

Процедура аудита интеграционного решения предполагает детальный анализ всех компонентов программно-технического комплекса DWH(Data WareHouse-хранилище данных) Заказчика и взаимодействующих с ним систем:

• изучение требований на разработку компонентов решения;
• изучение требований к взаимодействию компонентов в рамках программно-технического комплекса Заказчика;
• проведение интервьюирования (анкетирования, опросов) архитекторов, разработчиков, аналитиков, участвующих в проектировке и внедрении решения;
• знакомство с алгоритмами реализации;
• изучение связанных бизнес-процессов и регламентов Заказчика;
• сбор замечаний к обследуемым объектам;
• обследование архитектуры решения;
• анализ объектов ETL-процесса;
• анализ объектов баз данных;
• исследование объектов оболочки операционной системы и программы.

В зависимости от ситуации, аудит может осуществляться как по всему комплексу интеграционного решения Заказчика, так и по отдельным его областям. Каждый этап процедуры аудита предполагает формирование соответствующего пакета документов. Качественные показатели, ошибки, замечания и другая информация фиксируются на всех этапах аудита в рабочей документации.

Помимо этого, на протяжении всех стадий процесса ведется статистика проведения аудита – внутренний отчет, содержащий виды проводимых работ, описание использованных приемов аудита, затраченное время, количество сотрудников, выполняющих работу и т.д.

По результатам проведения аудита формируется пакет документов включающий:

• списки проблем и замечаний выявленных в ходе аудита;
• выработанные рекомендации по устранению выявленных проблем и замечаний;
• описание состава работ и оценку трудозатрат на доработку процессов архитектуры, а так же других мероприятий, направленных на повышение эффективности комплексного интеграционного решения.

Рекомендации, выработанные аудитором по результатам анализа интеграционного решения Заказчика, представляют собой подробное четкое описание мер, нацеленных на:

• повышение эффективности работы бизнес-подразделений в части проведения различных видов анализа и построения отчетности на базе DWH;
• расширение области применения системы;
• обеспечение отказоустойчивости интеграционного решения;
• оптимизацию производительности систем в рамках интеграционного решения Заказчика;
• организацию эффективного взаимодействия систем программно-технического комплекса Заказчика в рамках интеграционного решения;
• обеспечение качества данных в хранилище;
• тиражирование системы;
• обеспечение эффективного обслуживания интеграционного решения;
• дальнейшее развитие компонентов интеграционного решения Заказчика.