Обзор подготовлен
При поддержке
Пример решения: Построение системы управления нормативно-справочной информацией в ВТБ
Задачи проекта
Реализация системы управления нормативно-справочной информацией (НСИ) является частью масштабного проекта РДТЕХ по созданию корпоративного хранилища данных банка ВТБ. В качестве базовой платформы для хранилища используются локализованные специалистами РДТЕХ бизнес-приложения Oracle Financial Services Applications (OFSA). OFSA представляет собой типовую аналитическую модель банковской деятельности и набор бизнес-приложений, работающих с этой моделью. Модули OFSA позволяют автоматизировать различные аспекты банковской деятельности, включая бюджетирование и управленческую отчетность, управление финансовыми рисками, процесс подготовки обязательной отчетности по МСФО и для Банка России.
Основное назначение корпоративного хранилища данных ВТБ заключается в решении задач сбора и подготовки к анализу данных целого ряда транзакционных систем, а также представления результатов аналитики и отчетности бизнес-пользователям и всем подразделениям банка. Однако получение качественных аналитических отчетов было бы невозможно без ведения единой непротиворечивой нормативно-справочной информации банка.
До внедрения модуля по управлению НСИ в банке было множество информационных систем, имевших собственную локальную НСИ. При этом возникали сложности с определением того, как справочники в разных системах соотносятся друг с другом, что, в свою очередь, затрудняло получение согласованных данных при построении аналитических отчетов для управленческих целей.
Избавиться от этих недостатков позволило централизованное ведение системы управления НСИ, реализованное специалистами РДТЕХ в модуле управления нормативно-справочной информацией (МУНСИ).
Основное назначение МУНСИ – консолидация, очистка, хранение и предоставление потребителям непротиворечивой справочной информации. Справочная информация включает в себя как содержимое эталонных справочников, так и соответствие кодов источника кодам эталонных справочников.
МУНСИ является решением класса Master Data Management, что предусматривает наличие главного экземпляра данных, по которому равняются все локальные системы. При этом модуль интегрирован с хранилищем OFSA и адаптирован под крупные банки. Преимуществом предложенного компанией РДТЕХ решения является гибкий подход к количеству поддерживаемых источников для синхронизации, а также количеству потребителей синхронизованной эталонной информации. Отличительная особенность системы - простота добавления справочников при появлении новых положений в банках. При этом использование механизма глобальных ключей позволяет МУНСИ работать не только в режиме получения справочных данных из источника, но и их обратной отправки в источники в случае внесения каких-либо правок.
Создание МУНСИ было крайне необходимой и первоочередной задачей, без решения которой консолидация данных множества источников была бы невозможна.
При создании МУНСИ применялись инструментальные средства Oracle. В качестве ядра системы для хранения основных технологических областей МУНСИ, описанных в логической модели, была использована СУБД Oracle 10g. Процедуры загрузки и трансформации данных из систем-источников реализованы с использованием Oracle Warehouse Builder. При этом кроме стандартных операторов трансформации использовались собственные процедуры РДТЕХ, написанные на языке PL/SQL. Oracle Application Express был применен для создания интерфейса пользователя и инструментов управления МУНСИ в виде Web-приложения.
Решение
В итоге внедрение модуля по управлению НСИ в банке ВТБ обеспечило решение следующих задач:
Создание и ведение централизованных справочников
Модуль позволяет создавать справочники, осуществлять их классификацию, создавать иерархические связи между справочниками, а также иерархические связи между данными одного справочника. Управление структурой справочников осуществляется на уровне метаданных модуля и не требует вмешательства ИT-специалистов. Пользователи, имеющие доступ к просмотру НСИ, могут принимать участие в наполнении справочников путем подачи запросов на корректировку их содержимого. При этом система подачи заявок отправит сообщение соответствующему эксперту, ответственному за наполнение данного справочника. Преимущество такой возможности в том, что есть единый механизм обновлений, позволяющий учитывать потребности пользователей всех подразделений.
Консолидация справочных данных из разных источников
Функционал модуля позволяет каждому подразделению банка иметь свою исторически сложившуюся версию справочника, который также централизованно ведется в МУНСИ, например, справочник валют или классификатор клиентов. При этом существует возможность установить и поддерживать в актуальном состоянии соответствие эталонных справочников модуля со справочниками подразделений, как в ручном, так и в автоматическом режимах. В качестве источников могут выступать автоматизированные системы и файлы общепринятых форматов, такие как XLS, XML, CSV. Для получения данных из автоматизированных внешних систем используется инструмент ETL Oracle Warehouse Builder (OWB). Загрузка данных из файлов осуществляется напрямую в модуль путем разработанных РДТЕХ механизмов загрузки.
Предоставление справочных данных во внешние системы
МУНСИ предусматривает автоматическую отправку любых изменений в эталонных данных в корпоративное хранилище в online режиме. Вместе с эталонными данными передается информация о соответствии кодов записей в одном источнике этим же записям в другом источнике, которая накапливается в процессе синхронизации эталонных данных модуля с этими источниками. Механизм передачи реализован с использованием очередей сообщений с гарантированной доставкой. При этом есть возможность индивидуальной для каждого потребителя настройки перечня передаваемой из модуля информации.
В процессе создания модуля был выработан регламент ведения НСИ, обеспечивший ускорение процесса внедрения. Регламент определяет роли участников работы с модулем, последовательность действий в рамках каждой роли при введении нового справочника, правила разграничения доступа к данным и т.п. У каждого справочника в модуле имеется так называемый "паспорт", в котором указано, в каких источниках присутствует справочник, описаны ответственные за сопровождение справочника сотрудники, способ его ведения, регламент поступления и синхронизации данных.
При создании модуля управления НСИ специалисты РДТЕХ реализовали возможности по разграничению прав доступа и поиску дублей. Для разграничения прав доступа различных групп пользователей к функционалу модуля и к справочной информации применяются механизмы Oracle Internet Directory, интегрированные с Active Directory.
Для задачи синхронизации данных из внешних по отношению к модулю источников и данных самого модуля применяется механизм поиска дублей, основанный на алгоритме Левенштейна и на использовании функций нормализации данных.
Центральное место в модуле заняла область эталонных данных, которая содержит эталонную справочную информацию. Ее взаимодействие с пользователями, потребителями и источниками данных осуществляется с помощью вспомогательных подсистем модуля:
Подсистема on-line доступа и управления метаданными
Подсистема предназначена для управления метаданными модуля и предоставления справочных данных конечным пользователям. Состоит из четырех функциональных блоков (автоматизированных рабочих мест): Пользователя, Эксперта, Функционального администратора и Администратора по безопасности.
Пользователь МУНСИ, являясь потребителем справочной информации, имеет возможность просматривать содержимое эталонных справочников и изменять в них данные посредством формирования запросов для последующего их рассмотрения экспертом МУНСИ.
Эксперт МУНСИ отвечает за корректность данных эталонных справочников, обрабатывает запросы пользователей на изменение нормативно-справочной информации, вносит необходимые изменения и дополнения в НСИ и выполняет загрузку и синхронизацию данных.
Функциональный администратор МУНСИ осуществляет администрирование и техническую поддержку справочников, изменяет атрибутный состав справочников, создает новые справочники и логически удаляет уже существующие, формирует иерархии из справочников, сопровождает реестр систем, с которыми взаимодействует модуль, и ведет карту соответствий между эталонными справочниками и справочниками источников.
Администратор по безопасности МУНСИ проводит аудит действий пользователей и выдает пользователям привилегии на доступ к эталонным справочным данным.
Подсистема загрузки/выгрузки данных
Подсистема отвечает за загрузку данных из источников, а также за предоставление информации потребителям. Загрузка данных в МУНСИ разделяется на первичное наполнение эталонных справочников данными (первичная загрузка) и регламентное обновление данных в технологической области с последующим автоматическим запуском синхронизации. Отличие между этими типами в том, что в случае первичной загрузки не происходит заполнение таблиц трансляции, загрузка идет напрямую в эталонную область, минуя процесс синхронизации. При этом никаких проверок чистоты загружаемых данных не производится. После загрузки у эксперта есть возможность проверки данных эталонного справочника на дублирование с помощью системы построения рейтингов.
Подсистема трансформации данных
Подсистема отвечает за приведение в соответствие данных источника с данными эталонной области. Проверка соответствия между справочниками в источниках и эталонными справочниками, а также соответствия между полями справочников построена на сравнении уникальных идентификаторов, присвоенных справочникам и полям в них. Кроме того, в подсистеме осуществляется нормализация данных, то есть преобразование атрибутов справочников к однородному формату.
Подсистема синхронизации
В подсистеме производится синхронизация данных источника с данными эталонной области. В свою очередь, результатом процедуры синхронизации являются данные в таблице соответствия, в которой отражается взаимосвязь кодов справочника из источника и эталона для каждого справочника из каждого источника. Таким образом, на основе данных таблицы соответствия можно однозначно сказать, какие записи из соответствующих справочников источников соответствуют данной записи эталона, либо установить, что данная запись эталона в определенном источнике отсутствует. Заполнение таблицы соответствия может происходить в ручном и автоматическом режиме.
Итоги проекта:
В результате внедрения модуля по управлению нормативно-справочной информации в банке ВТБ были решены следующие задачи:
- создано единое централизованное хранилище эталонной нормативно-справочной информации и разработаны алгоритмы преобразования локальной НСИ информационных систем банка в эталонную (и обратно). Актуальная консолидированная и очищенная эталонная нормативно-справочная информация доступна для использования любыми информационными системами банка, а также его сотрудниками в режиме 24 часа в сутки;
- разработана эффективная технология управления эталонной НСИ, основанная на оптимальном сочетании ручного труда и автоматизации процессов управления НСИ, четком распределении полномочий и персонификации ответственности участников процессов формирования нормативно-справочной информации;
- выполнена нормализация и гармонизация НСИ в масштабе банка за счет создания механизмов приведения множества различных несвязанных друг с другом источников НСИ, используемых в разнородных информационных системах, к единому стандарту, в том числе, механизмов трансляции НСИ, полученной из внешних систем, в эталонную НСИ.
Внедрение системы НСИ позволило повысить качество и скорость решения информационно-аналитических задач Банка ВТБ за счет стандартизации и унификации нормативно-справочной информации, используемой в различных его подразделениях.
Централизованное ведение системы НСИ гарантировало полноту, целостность и актуальность входящих в ее состав справочников и классификаторов, тем самым обеспечивая необходимые условия для формирования отчетности банка.
Сергей Кругликов, руководитель проектной группы управления финансовых приложений, компания РДТЕХ.
