Анна Акпарова:

Строим хранилище "не от отчетов, а от данных"

Заместитель директора Центра управления проектами "Банка Москвы" Анна Акпарова рассказала о методологических и организационных принципах, на основе которых создается единое хранилище данных банка. Новый подход позволит каждому бизнес-направлению выбирать собственные аналитические инструменты при минимальных затратах на ИТ-инфраструктуру.

CNews: Почему "Банк Москвы" решил создать единое хранилище данных?

Анна Акпарова: Рано или поздно вопрос о создании  хранилища данных встает перед любым банком, особенно крупным. В "Банке Москвы" впервые такая задача была поставлена еще в 2006 году, в результате чего появилось первое  хранилище,  фактически разработанное  ИТ-специалистами банка по заказу планово-экономического департамента.

Однако с началом в 2010-2011 гг. сразу нескольких крупных бизнес-проектов стало понятно, что возможностей существующего ХД недостаточно, чтобы удовлетворить растущие потребности бизнеса. Необходимо создание единого хранилища данных (ЕХД) всего банка. Для того чтобы ЕХД действительно удовлетворяло потребностям всех подразделений банка (розница, СМБ, корпоративный бизнес, управление рисками (розничными, корпоративными, рыночными), бухгалтерия, финансовый департамент, казначейство), было проведено масштабное предпроектное обследование.

CNews: И что показали его результаты?

Анна Акпарова: Была детально изучена имеющаяся ИТ-архитектура и задачи, стоящие перед бизнесом. Мы рассмотрели возможные пути их решения, как в текущей архитектуре, так и в перспективе создания ЕХД.

В результате оказалось, что при работе в текущей сложной архитектуре потребуются значительные затраты на ее поддержку; высокие временные и человеческие затраты на получение отчетности; данные в отчетах все же будут противоречивыми и неполными; подключать новые аналитические системы и обновлять старые будет очень дорого; придется использовать OLTP-системы для тяжелых аналитических запросов и выгрузок.

Новая целевая архитектура, предполагающая консолидацию данных в единой модели, оптимизированной для выполнения аналитических задач, даст преимущества: низкие операционные затраты за счет оптимальной архитектуры; легкость создания и модификации отчетов; контроль над качеством данных; значительное сокращение трудозатрат на подключение и замену аналитических систем; отсутствие нагрузки на операционные системы при выполнении тяжелых аналитических запросов и создании выгрузок; получение отчетов, недоступных в текущей архитектуре, а следовательно принятие более обоснованных управленческих решений.

CNews: Кем выполнялось предпроектное обследование и как выбирали исполнителя?

Анна Акпарова: Предпроектное обследование было выполнено компанией R-Style Softlab, выбор поставщика консультационных услуг по предпроектному обследованию проходил на конкурсной основе.

CNews: Какой подход планирует использовать банк при создании единого хранилища данных?

Анна Акпарова: В ходе работы над проектом у банка сформировался свой подход к созданию ЕХД. Во-первых, это построение хранилища "не от отчетов, а от данных". Исторически хранилища данных создавались именно с целью автоматизации регулярной отчетности, например продукт компании Neoflex даже называется Neoflex Reporting, хотя по сути представляет собой именно хранилище данных. Подход, заточенный на отчетность, зачастую приводит к созданию такой модели данных, которую в дальнейшем сложно расширять по новым требованиям бизнеса.

Последнее время корпоративные  хранилища данных начинают играть все большую роль в решении таких задач, как расчет LTV по клиентам и сегментация, вторичные продажи, управление рисками и даже принятие решений в режиме real-time. Результатом проекта ЕХД в "Банке Москвы" должен стать перевод всех аналитических систем на работу с данными ЕХД.

CNews: Какие особенности будущего ЕХД можно выделить уже сейчас?

Анна Акпарова: Другой особенностью проекта ЕХД будет создание обширной ODS-области сразу для всех основных источников данных, а не только для той части модели детального слоя, которая будет наполняться в первую очередь. Это позволит предоставить аналитикам возможность получения отчетов из ODS-области и разгрузит OLTP-системы, которые сейчас используются для анализа. Также в нашем конкретном случае это предоставит аналитикам данные, ранее не доступные для извлечения, например данные из карточного процессинга Way4. Для выгрузки данных из процессинга в ODS-область предполагается использовать решение компании OpenWay – Way4 Data Mart. Планируется, что данные ODS-области будут обновляться несколько раз в день.

В качестве ETL-средства выбрано решение компании Informatica.  Для извлечения данных из OLTP-систем планируется использование различных механизмов в зависимости от источника:  логический и физический CDC (Change Data Capture – захват изменений с помощью анализа логов СУБД).

В свою очередь для реализации физического CDC прорабатывается возможность (и оценивается стоимость) использования продуктов Oracle Golden Gate либо Informatica Data Replicator. Преимуществом Oracle Golden Gate является минимальная дополнительная нагрузка на источник, а так же надежность решения. К недостаткам этого решения можно отнести высокую стоимость. Informatica Data Replicator обладает дружественный визуальным интерфейсом и более гибкой ценовой политикой. Это продукт, который компания Informatica приобрела недавно и планирует развивать.

Выбор единого BI-средства в рамках данного проекта не планируется. Предполагается, что каждое подразделение банка продолжит использовать тот BI-инструмент, который им кажется удобнее.

Что касается оборудования, то инфраструктура должна быть построена с учетом оптимизации как инвестиций, так и операционных расходов. То есть должна быть возможность масштабирования системы с гарантированной защитой инвестиций, наращиванием мощности по ходу проекта. При этом должно учитываться то, что стандартом для "Банка Москвы" является аппаратная платформа IBM.

Система хранения данных должна быть устроена с использованием принципов многоуровневого хранения: наиболее востребованные данные – на flash-накопителях, часто используемые – на высокопроизводительных дисках, редко используемые большого объема, а так же архивные – на дешевых и медленных дисках.

Большое внимание в проекте планируется уделить обеспечению качества данных. ЕХД должно иметь механизмы проверки корректности загрузки и обработки данных на всех этапах, начиная от ODS-области и заканчивая витринами. Обнаруженные ошибки должны быть типизированы, необходимо оперативно доводить их до ответственных специалистов, как ИТ, так и бизнеса, в зависимости от типа ошибки и этапа обнаружения.

CNews: Планируете ли вы использовать промышленную модель данных или создавать свою собственную в рамках работы над проектом?

Анна Акпарова: Плюсом промышленной модели данных является накопленный в ней опыт многих внедрений, ее выверенность. Однако значительное количество таких внедрений происходило за рубежом, поэтому западные модели необходимо адаптировать под российскую специфику. Как показывать практика, около 40% готовой модели данных приходится модифицировать в рамках конкретного проекта, если речь идет о внедрении в крупном банке.

Естественным путем кажется создание собственной модели данных, потому что кто как не сотрудники самого банка наилучшим образом разбираются в своем бизнесе? Однако выбор данного подхода содержит в себе определенные риски, главный из которых –недостаточная квалификация архитектора модели. Это может привести к созданию нерасширяемой модели данных и, в конечном счете, завести проект в тупик.

Оптимальным вариантом, на мой взгляд, является наличие готовой модели данных, уже внедренной в крупных российских банках в качестве "справочной" и создание собственной модели на ее основе силами опытных архитекторов.

CNews: Правильный выбор подрядчика для такого проекта важен. По каким критериям банк выбирает подрядчика из конкурсантов?

Анна Акпарова: Конкурс на создание ЕХД в "Банке Москвы" был открытым и принять участие в нем могла любая компания, удовлетворяющая минимальным требованиям к участникам. Объявление об открытии конкурса было размещено на сайте банка. Наиболее заметным компаниям на российском  рынке BI технологий банк направил персональные приглашения к участию в тендере, запросив коммерческие предложения на первый этап внедрения и оценку TCO (общую стоимость владения) на 3 года предлагаемых решений.

Основными критериями выбора для нас выступили: предлагаемая проектная команда со стороны компании претендента, наличие у претендента опыта реализации подобных проектов в крупных банках, стоимость первого этапа проекта и ставки специалистов, соответствие предлагаемых решений и технологий требованиям банка. Рассмотрев список претендентов и их предложения, прослушав презентации всех участников, на основании экспертных оценок по указанным критериям банк сформировал шорт лист участников для детального обсуждения, проработки и уточнения предложений в рамках конкурса с последующим выбором подрядчика.

CNews: Какие компании вошли в шорт-лист?

Анна Акпарова: В шорт-лист вошли компании, получившие наиболее высокие оценки экспертной группы, это "ГлоуБайт Консалтинг", R-Style Softlab, Teradata и Neoflex.

CNews: Проекты реализации ХД в крупных банках обычно занимают не один год. Какова оценочная длительность проекта и какие этапы выделяет банк?

Анна Акпарова: На активную фазу построения ЕХД, выполняемую поэтапно, банк отводит 2-2,5 года. Фаза развития и адаптации под изменяющиеся требования наступит после первой фазы. Первый этап – развертывание платформы и формирование выгрузок из основных источников в ODS планируется сделать за 6 месяцев. Следующие три этапа, каждый длинной 6–8 месяцев, состоят из работ по формирования сделочной модели данных в DDS в части продуктов выбранных в этапе, реализации/доработке витрин для перевода аналитических приложений на витрины  и данные ЕХД. Деление на этапы идет по областям: главная книга, кредиты и депозиты, пластиковые карты, финансовые инструменты. После завершения каждого из этапов предполагается наличие периодов опытной эксплуатации решения в течении трех месяцев. На  поддержку решения, второй и третий уровни поддержки, Банк планирует использовать ресурсы подрядчика.

CNews: подобные ИТ-проекты имеют определенные риски. Каковы основные риски проекта, на ваш взгляд?

Анна Акпарова: Да, конечно, частью наших задач в ходе работы над проектом стала идентификация проектных рисков, их оценка и определение способов минимизации. Основными рисками были признаны – риски качества первичных данных, риски проектирование целевой модели данных и согласования ее атрибутного состава, риски согласование архитектуры интеграции систем, риск влияния смежных проектов и их требований к ЕХД, риски изменений ИТ-ландшафтов банка, риски превышения сроков и бюджета программы внедрения. В ходе работы была выработана методика управления рисками программы на базе общей методологии "Банка Москвы".

CNews: Создание ЕХД – очень масштабный проект. Какая методология будет использована для управления им?

Анна Акпарова: Что касается подхода к управлению проектом создания единого хранилища данных, то проект ведется центром управления проектами "Банка Москвы" в соответствии с внедренной в банке методологией управления крупными общебанковскими проектами.

Создан управляющий комитет, состоящий из топ-менеджеров банка. Для такого крупного и инвестиционно емкого проекта особенно необходима сильная поддержка и постоянное внимание со стороны членов правления, а так же наличие сильного основного заказчика проекта, которым в нашем случае является финансовый блок. Создана рабочая группа проекта, в которую вошли ключевые эксперты от всех заинтересованных подразделений. При этом глобальные технологические решения утверждаются на общебанковском Комитете по банковским и информационным технологиям.

CNews: Спасибо.