HSM — прошлое или будущее систем хранения данных?

Сторонники концепции ILM (управления жизненным циклом информации) стремятся побыстрее списать иерархические системы хранения данных в архив. Однако, по мнению многих игроков рынка, вряд ли они столь быстро утратят актуальность, являясь на сегодня наиболее доступным решением для хранения больших объемов данных.

С появлением концепции ILM, претендующей на наиболее эффективное управление жизненным циклом информации, среди экспертов активно ведутся разговоры о том, что иерархические системы хранения данных (HSM, Hierarchical Storage Manager) все больше превращаются в архаизм. Некоторые утверждают даже, что HSM — всего лишь устаревшая форма ILM, а на данном этапе развития технологий экономически выгоднее будет полностью отказаться от использования морально устаревшей концепции и достраивать архитектуру системы хранения за счет новых, постепенно дешевеющих носителей.

Однако это мнение разделяют далеко не все. Многие специалисты полагают, что пропагандистами идей ILM, прежде всего, выступают сами производители систем хранения, а концепция HSM с ее иерархическим структурированием файлов и использованием ленточных библиотек и в ближайшие годы не утратит своей актуальности. Ведь, несмотря на то, что стоимость носителей информации постоянно снижается, расходы на покупку новых все еще остаются очень высокими. Кроме того, технологический прогресс и все увеличивающиеся объемы корпоративных данных, измеряемые зачастую терабайтами, привели к заметному усложнению систем хранения. Современные СХД представляют собой сложнейшие иерархические структуры. Стоимость обслуживания подобных систем порой может в разы превышать стоимость аппаратных средств. Проверенные временем HSM-решения на сегодняшний день – наиболее доступные решения для хранения больших объемов информации. Эксперты считают, что для компаний, ограниченных в средствах, а также для тех, кто умеет и любит считать деньги, иерархические системы хранения данных по-прежнему подходят идеально.

Что такое HSM

Системы иерархического хранения данных (Hierarchical Storage Manager, HSM) с самого момента своего появления предназначались для обработки больших объемов нерегулярно используемой информации. Концепция HSM предполагает иерархическое разделение данных и размещение менее востребованной информации на менее производительных носителях (магнитооптические диски, диски WORM, магнитные ленты). На каждом уровне иерархии данные находятся строго регламентированное время, после чего (если они за это время не были востребованы) перемещаются на следующий уровень системы хранения, использующий более медленные и дешевые носители информации. При этом пользователь в любой момент может обратиться к любым данным и получить к ним доступ. Запрос любого пользователя к старым файлам запускает процесс их автоматического копирования обратно на жесткие диски первого уровня иерархии.

Всего системы, выстроенные в соответствии с концепцией HSM, включают два или три уровня хранения информации. Перенос файлов с первого уровня на любой другой называется миграцией. И наоборот, перенос файлов со второго и третьего уровня на первый — демиграцией. Процесс миграции проходит по расписанию при выполнении ряда критериев (интервал времени с момента создания/обновления файлов и достижение предела заполнения хранилища текущего уровня). Первый уровень иерархии — это обычные жесткие диски / дисковые массивы. Они могут применяться и на других уровнях иерархии, особенно в сфере резервирования данных, но чаще всего там используются иные, более дешевые, носители: магнитооптические диски, оптические диски с однократной записью (Write Once Read Many, WORM) и магнитные ленты. Все перечисленные носители имеют сравнительно небольшую емкость, поэтому для HSM обычно применяют ленточные библиотеки. Магнитные ленты и по сей день остаются самыми вместительными и дешевыми носителями.

Типичная схема хранилища HSM

Источник: LAN

В чем проблема с HSM

Несмотря на актуальность и востребованность HSM-систем, имеется целый ряд проблем, связанных с их использованием. Прежде всего, это оперативность доступа к данным. Поскольку магнитные ленты представляют собой носители с последовательным доступом, среднее время доступа может достигать 80 секунд. Чем больше времени прошло с момента создания, обновления или последнего доступа к файлу, тем больше времени требуется для его загрузки. Наиболее остро данная проблема встает при одновременном обращении нескольких пользователей к старым файлам.

Кроме того, системы HSM весьма требовательны в отношении аппаратного обеспечения. Далеко не каждая библиотека магнитооптики или магнитных лент подойдет для конкретной системы HSM. Хотя магнитные ленты являются перезаписываемыми носителями, копировать их можно только целиком: один файл или каталог с магнитной ленты удалить невозможно. В результате магнитные ленты можно применять лишь в качестве самого последнего уровня HSM. При правильной эксплуатации магнитные ленты имеют весьма высокие показатели надежности.

Еще один существенный недостаток HSM связан с поиском информации внутри файлов. Речь идет не о поиске самих файлов, а о поиске информации внутри них. Обычными средствами поиска, поставляемыми с операционными системами, пользоваться категорически не рекомендуется. Их применение приведет к тому, что при поиске файлы начнут демигрировать и могут целиком заполнить весь первый уровень иерархии. Хотя справедливости ради надо сказать, что в состав некоторых HSM-решений входят специализированные средства поиска.

HSM демонстрируют экономическую эффективность

Подтверждением того, что HSM-решения по-прежнему востребованы, является множество проектов по развертыванию иерархических систем хранения данных, которые реализуются многими крупными компаниями и демонстрируют экономическую эффективность. В частности, в конце августа компания IBS Platformix завершила проект создания отказоустойчивого иерархического хранения данных на базе EMC Clarion CX3-20 для компании Gallery. Ядром решения является система хранения данных ЕМС CLARiiON CX3-20 с установленными в ней дисками Fibre Channel и Serial ATA. В процессе миграции данные приложений были перенесены с внутренних дисков серверов на диски системы хранения разных типов, в зависимости от требований по доступности данных. Для наиболее критичных данных использованы диски Fibre Channel, а для файлового архива и некритичных приложений - диски SATA.

Высокопроизводительный программно-аппаратный комплекс ФГУНПП "Аэрогеология" создала в конце 2006 года "Корпорация Юни". Система электронного архивирования с иерархическим хранением данных была реализована на основе оборудования IBM - серверов IBM pSeries 550 под управлением ОС AIX 5L и двух типов носителей данных: с оперативным доступом — массивов IBM TotalStorage DS4300 и с доступом по требованию — ленточной библиотекой IBM TotalStorage 3584. Серверы, система хранения и ленточная библиотека объединены в единую сеть хранения данных (Storage Area Network — SAN) посредством двух FC-коммутаторов IBM TotalStorage SAN-switch. При этом за счет дублирования адаптеров в серверах, коммутаторов и кабелей обеспечивается отсутствие "единой точки отказа" в рамках SAN.

Один из наиболее громких проектов в России, суперкомпьютер, созданный в НПО "Сатурн" совместными усилиями компаний "Крок", IBM и Intel, также использует для создания архива результатов расчетов иерархическую систему хранения данных, что наиболее экономически выгодно при работе с огромными массивами информации — общая емкость дискового пространства составляет 6 терабайт. Система состоит из трех уровней разной производительности и емкости — это диски SCSI, SATA и ленточный носитель стандарта LTO2. Все устройства хранения объединены в сеть SAN. В качестве программного обеспечения для организации иерархического хранилища используется HSM-решение IBM Tivoli Storage Manager for Space Management.

Об актуальности HSM-решений говорят и цифры, не так давно опубликованные IDC. В сегменте ПО репликации данных по итогам 4 квартала 2006 года рост достиг 14,4% по сравнению с аналогичным периодом предыдущего года. Наиболее высокие темпы роста отмечены в сегменте ПО архивирования и управления иерархическим хранением данных (Hierarchical Storage Management, HSM) — 25,5% по сравнению с предыдущим годом. Согласно последним данным, темпы роста не спадают вплоть до текущего момента. Популярность концепции HSM говорит сама за себя — рынок пока не готов к полному отказу от концепции иерархического хранения данных.