Миграция баз данных

По мере развития бизнеса любая компания сталкивается с ростом объемов данных, в том числе необходимых для работы систем бизнес-аналитики. Чтобы использовать новую информацию для принятия верных решений, а не утонуть в ней, приходится искать способ адаптации инструментов BI, которые в некоторых случаях могут потребовать замены.

Системы BI уже давно присутствуют на рынке и успешно используются многими компаниями для работы с большими массивами данных, получаемых из различных источников. Но если раньше большая часть внедрений производилась в "тестовом" режиме, когда заказчик хотел попробовать новый для него инструмент, сегодня систему BI выбирают, предусматривая запас прочности на 5–10 лет, чтобы по возможности избежать миграции данных и перехода на другую платформу хотя бы в обозримом будущем.

Однако реальность такова, что количество пользователей систем BI неуклонно растет, а также увеличивается количество аналитических инструментов: сегодня в компаниях используются регламентированные отчеты, информационные панели, ad-hoc аналитика, проактивная аналитика, мобильная аналитика, сбалансированные системы показателей, сегментация и многое другое. И чтобы обеспечить возможность выполнения всех поставленных перед системой BI задач, нередко приходится инициировать проекты перехода с более старой версии системы на более новую. А в тех случаях, когда бизнес требует принципиально нового функционала, не предусмотренного разработчиком, – на решение другого производителя.

Когда нужна миграция

Поскольку переход на новую систему является процедурой затратной как с точки зрения рабочего времени сотрудников, так и в финансовом смысле, подобные проекты чаще всего запускаются, когда необходимость миграции становится очевидной.

В данном вопросе многое зависит от архитектуры хранения данных в BI-системе. При правильном подходе даже ежедневный и масштабный их прирост не ведет к необходимости замены системы, а требует лишь масштабирования системы хранения. Более вероятна потребность в миграции при необходимости масштабировать систему BI по количеству пользователей, а также реализовать в ней более сложные аналитические запросы, о которых раньше и задумываться не приходилось.

"Большое количество данных, накопленных за последнее десятилетие – результат бума автоматизации. Особенно остро эта проблема стоит в банках и телекоме. Зачастую миграция – переход с одной версии продукта на другую, реже смена вендора. Причина тому сокращение издержек и минимизация рисков. В целом, решение о миграции принимается при достижении пределом аппаратного масштабирования хранилища данных", – говорит Роман Колеченков, руководитель отдела аналитических решений компании "Техносерв Консалтинг".

Как происходит миграция

По словам Алексея Молчанова, эксперта направления BI-систем компании "Астерос Консалтинг", в процессе миграции данных старая и новая системы существуют бок о бок и живут параллельно. Этот период может занять от нескольких месяцев до нескольких лет. И именно в это время обычно возникают главные проблемы с миграцией и синхронизацией данных.

"Главный вопрос заключается в разночтении и расхождении информации в этих системах. Например, в новой системе может быть другое количество объектов анализа или другая методика расчета некоторых показателей, – отмечает Алексей Молчанов. – Часто тот факт, что сотрудники доверяют старой системе в большей степени, чем новой, дополнительно усложняет и затягивает проект по миграции данных. В российской практике есть примеры, когда в компании одновременно работали два BI-решения в течение двух лет. Все это время велась выверка и синхронизация данных двух систем".

К миграции нужно тщательно подготовиться. Опыт компаний, работающих на рынке, показывает, что аналогичные проекты могут длиться несколько недель и моментально окупаться или же тянуться годами и требуют значительных вложений. "Чтобы проект не был сложным, затратным и не занял много времени, следует заранее задуматься о том, какие данные вы хотите переносить и готовы ли эти данные к миграции. Если есть понимание того, где находятся требуемые, при этом очищенные, данные, то проект не будет затратным и сложным. Если же данные нужно получить,  но нет понимания того, где их найти, а когда они найдены, становится ясно, что с ними еще нужно работать, – тогда и временные рамки проекта будут другими, и затраты на его реализацию возрастут", – говорит Ирина Терещенко, специалист по продажам решений по бизнес-аналитике, IBM в России и СНГ.

Как выбрать подходящую замену

При выборе исходного продукта и разработке архитектуры комплексной системы автоматизации обычно используют стандартные параметры, такие, как объем первичных данных в системах, являющихся источниками для анализа, количество пользователей системы и сложность настройки подсистемы безопасности доступа к данным, а также требования к технологии представления данных для каждой из анализируемых областей (OLAP, плоские отчетные формы, панели управления и так далее).

С учетом данных факторов, а также прогноза роста объемов информации на основе статистики последних лет, определяется необходимая производительность будущей системы. В большинстве случаев для систем BI предусматриваются стандартные процедуры масштабирования, которые позволят поддерживать производительность системы по мере роста количества пользователей и объемов данных. "При вводе системы анализа в эксплуатацию часто возникают ситуации, связанные с постоянно растущими пожеланиями заказчика к функциональности системы, другими словами "аппетит приходит во время еды". Поэтому при проектировании обычно закладывается 4–10-тикратный запас емкости и производительности BI-системы. Но иногда и этого не хватает", – говорит Сергей Борисов, директор департамента аналитических систем компании "Микротест",

Зачастую обновление системы BI происходит под девизом упрощения и повышения прозрачности. "BI-системы всегда многокомпонентны: собственно BI-приложение, хранилище данных, ETL-среда, возможны дополнительные модули. Особенностью проектов миграции является необходимость аудита существующей системы, и, как правило, в техническом задании появляются пункты, требующие от новой системы более простой логической структуры и высокой скорости работы", – комментирует Андрей Тиунов, генеральный директор компании BI Partner. По описанной схеме сейчас идет проект по миграции аналитической системы в "Юнилевер-Русь" на новую версию КИС.

Объем российского рынка СХД, $млн

Источник: IDC, 2011

Оценка емкости нового решения

Как отмечает Олег Щербинин, руководитель направления аналитической отчетности и хранения данных "Ситроникс ИТ" в России: "Отталкиваясь от стратегии компании, можно оценить, насколько в принципе велика потребность в инструментах аналитики и посчитать предполагаемую мощность системы BI на ближайшие годы. Однако это сиюминутная оценка: ситуация может резко измениться и потребовать быстрой  реакции, в том числе и со стороны BI, для решения новых бизнес-задач. Поэтому правильней использовать корпоративную BI-платформу, которая обладает более широким функционалом и легко масштабируется посредством добавления нового аппаратного обеспечения. С использованием существующих технологий виртуализации решить эту задачу не составит труда".

Также достаточно просто реализовать наращивание серверных мощностей в вычислительном кластере или количество дисков в системе хранения. Главное – выбрать ту систему, которая сможет агрегировать данные из нужного количества источников и обрабатывать вопросы требуемой сложности. Чтобы сделать это, придется провести серьезный анализ доступных на рынке решений вместе с партнером, который будет заниматься внедрением новой системы и передачей данных из существующих БД.