Истоки качества "фундамента" для ЦОД - в продуманности

По определению американского стандарта EIA/TIA-942, Центр обработки данных - здание (или его часть), первичной функцией которого является размещение оборудования обработки и хранения информации, а также вспомогательных (инженерных) средств, обеспечивающих его работу. Значимость последних нередко характеризуется термином "жизненно важные системы". Собственно, именно они "ответственны" за равномерное распределение (и снижение) различного рода нагрузок, и, главное - за нормальное функционирование объекта в целом. Любой сбой или аварийная ситуация в системах инженерного обеспечения могут обернуться очень серьезными последствиями.

Инженерная инфраструктура современного ЦОД, по мнению экспертов, должна проектироваться в среднем на 10-15, а то и на 25 лет вперед. Столь большие сроки обусловлены, в первую очередь, увеличивающимися с каждым годом потребностями в ИТ-сервисах. Данная тенденция сохраняется, несмотря на то, что оборудование нового поколения, на порядки превышающее возможности (мощность, объемы информации) предыдущего, требует все меньше места.

Сегодня, как никогда, очевидно, что качество инженерного обеспечения основного оборудования ЦОД напрямую зависит от четкого соблюдения всех стандартов и требований еще на стадии разработки инфраструктуры. Впрочем, то же самое можно отнести и к ее эксплуатационной составляющей. Из стандартов, на которые, как правило, ориентируются при создании инфраструктуры, можно выделить CH 512 78, ANSI/TIA 942, TIA-942. Для того, чтобы понять "откуда и почему" возникли столь жесткие требования, достаточно перечислить набор элементов, в нее входящих. Это система бесперебойного электроснабжения; система поддержания климатических параметров; кабельная система ЦОД; монтажные конструктивы, фальшпол, кабельные каналы; система автоматического газового пожаротушения; система мониторинга параметров окружающей среды; система контроля и управления доступом; система теленаблюдения; системы охранной и пожарной сигнализации. Хозяйство получается не маленькое, и все в нем должно быть "увязано" в единый, отлаженный и работающий (в идеале, как швейцарские часы) механизм. Набор инженерных коммуникаций также зависит от того для каких целей строится центр обработки данных. Есть несколько вариантов. При организации ЦОДа для услуг collocation набор инженерных систем будет одним. Возведение же ЦОДа для собственных нужд и бизнес-задач предполагает другие технические решения. Для комбинированных ЦОДов характерно совмещение этих подходов к организации инженерной инфраструктуры.

Есть еще ряд важных моментов, на которые при выборе оборудования для "инженерки" следует обратить внимание. Все входящие в нее системы должны иметь стоимость, соответствующую проекту; должно быть также предусмотрено ее масштабирование и высокая степень надежности (последняя во многом связана с возможностью резервирования основных блоков). Иными словами, предполагается комплексный подход, в основе которого - предпочтение одного вендора. Такой вариант существенно уменьшает шансы получить сбои в работе оборудования.

Главное - учет и контроль

Перед тем как приступить к проектированию инженерной инфраструктуры ЦОД, нужно уделить особое внимание выбору площадки для строительства. По мнению Сергея Андронова, начальника департамента проектирования, внедрения и сопровождения Центра сетевых решений компании "Инфосистемы Джет", есть ряд аспектов, на которые стоит обратить особое внимание: "Важно понимать, что любая площадка для строительства центра обработки данных "завязана" на земельном участке, поэтому вопрос разрешения строительства на этой земле должен быть решен заблаговременно.

Второй, но не менее значимый, по мнению эксперта, момент - обеспечение физической безопасности объекта. На прилегающих территориях не должно быть аэропортов, химзаводов, нефтеперерабатывающих предприятий и т.п. Здание должно находиться вне зоны потенциальных затоплений, землетрясений и других катаклизмов. Желательно учесть уровень преступности и криминогенности в районе, в котором будет находиться ЦОД.

ЦОД - энергоемкая система, поэтому наличие свободных электромощностей в месте постройки является, пожалуй, одним из самых важных аспектов. В столице и области электричество является дефицитным продуктом, поэтому выбирая площадку под ЦОД нужно четко понимать какой объем электроэнергии вам будет предоставлен. В противном случае можно столкнуться с серьезными и затратными работами: реконструкция трансформаторной электроподстанции, восстановление шахт или колодцев, строительство газогенераторных подстанций и т.д. Стоимость подобных активностей вполне может быть сопоставима со стоимостью самого ЦОДа, а в ряде случаев и превышать ее.

При выборе площадки нужно обратить внимание на наличие как транспортных, так и инфокоммуникаций. Подъезд к ЦОД должен быть максимально удобным для фур и грузовиков. Желательно иметь возможность подключения к нескольким (от двух) операторам связи, это позволит исключить зависимость от одного поставщика услуг".

Итак, площадка есть. Однако перед работой по проектированию инженерной инфраструктуры не лишним будет внимательно ознакомиться с основными предъявляемыми к ней требованиями. Они стандартны и неизменны: полноценное обеспечение физической безопасности техники с размещенными на ней данными (защита от воды и противопожарной жидкости, самого пожара, электромагнитного излучения, вандализма, несанкционированного доступа, падающих обломков, а также дыма и пыли); проведение сервисных операций без отключения системы, круглогодичное и круглосуточное обеспечение работоспособности техники, неукоснительное соблюдение климатических условий необходимых для функционирования оборудования; разделение зон ответственности в зависимости от задач доступа персонала к различным устройствам; возможная масштабируемость/переносимость решения в целях наращивания /резервирования.

Все это, кстати, "заложено" и в делении инженерной инфраструктуры на две подсистемы: функционирования и обеспечения безопасности. Первая включает системы бесперебойного, общего, а также гарантированного электроснабжения, технологического кондиционирования, а также монтажные конструктивы. В подсистему безопасности входят охранно-пожарная сигнализация, системы автономного газового пожаротушения и видеонаблюдения, контроля и управления доступом.

Последний пункт можно, без каких-либо натяжек, отнести к самым важным. Весомым подтверждением этому будут результаты исследования, проведенного The Uptime Institute, которые показали, что более 6о% отказов инженерной инфраструктуры на этапах проектирования, монтажа или эксплуатации было вызвано человеческим фактором. Причем на период эксплуатации приходится более половины отказов, что в очередной раз подтверждает необходимость более качественной подготовки персонала для обслуживания ЦОД. Должна быть также тщательно продумана и организована, прежде всего, в плане безопасности, и система его (персонала) доступа на объекты. Например, недорогие и надежные индивидуальные промиксити-карты вполне подходят для обеспечения возможности нормального передвижения в помещениях ЦОД, и позволят также четко разделить время и права доступа сотрудников.

Конечно, для контроля над событиями на всех площадках ЦОД обязательно наличие видеокамер. Все сигналы должны записываться на специальную аппаратуру и храниться положенное время, просмотр же происходящего на объектах в режиме реального времени, как всегда, остается прерогативой службы безопасности организации.

На противопожарных системах и контроле климата экономия не уместна

Особое внимание еще на стадии проектирования следует уделить выстраиванию противопожарных систем. Главным критерием здесь, безусловно, становится эффективность оборудования, поэтому "урезание" средств, выделяемых на эту крайне важную статью, просто неуместно. Эффективность при этом, не в последнюю очередь, определяется спецификой пожаротушения: для компьютерного оборудования одним из предпочтительных вариантов будет техника, работающая на основе хладонтов или инертных газов.

Оптимальность при создании системы пожарной безопасности означает комплексность подхода. Потребуются пожарные извещатели с предельной чувствительностью. И при всей (обязательной) разности принципов - оптическом, химическом, спектральном - работы, функционировать они должны в определенном заданном режиме, подконтрольные единой "умной" управляющей системе. Именно ее использование сделает возможным быструю ликвидацию очага возгорания на самой начальной стадии его возникновения.

Важнейшей и очень серьезной составляющей инженерной инфраструктуры является надежное электроснабжение. Поэтому еще на начальном этапе (при разработке) уделяется столь повышенное внимание резервированию систем его бесперебойной подачи и поддержания климатических параметров.

Схемы резервирования системы электроснабжения и системы контроля климата могут быть различными, в зависимости от требований, предъявляемых к работе ЦОД. Уровень "загруженности" здесь зависит от наличия независимых вводов электроснабжения, схемы подключения ИБП и их количества, задействованности ДГУ и т.п. Однако резервировать блоки системы поддержания климатических параметров следует и в том случае, если резервируемая система электроснабжения отсутствует. Вполне очевидно, что при возникновении непредвиденных обстоятельств, оборудование ЦОД может получать питание от общей сети, тогда как при поломке системы управления климатом последует резкое повышение температуры, грозящее серьезными сбоями в работе всего оборудования ЦОД.

Следует заметить, что, несмотря на активное внедрение новейших разработок в сфере "управления климатом", системы, отвечающие за режим "холодно-горячо" довольно-таки "капризны" и непредсказуемы.

В Uptime Institute определяют три класса систем бесперебойного охлаждения, выбор которых зависит от загруженности стоек и объема воздуха в машинном зале в расчете на стойку: класс A (вентиляторы кондиционеров и циркуляционные водяные насосы питаются от ИБП, между чиллером и кондиционером имеется гидроаккумулятор в водяной петле), класс B (вентиляторы кондиционеров работают за счет ИБП), класс C (традиционное электроснабжение системы охлаждения: только от гарантированного электропитания с перерывом на время запуска ДГУ и повторного включения системы охлаждения).

Директор департамента автоматизации инженерных систем компании КРОК Александр Ласый подчеркивает, что из всех систем инженерного обеспечения серверных комнат самые сложные в проектировании и реализации - системы кондиционирования и вентиляции. При этом примерно половина всей электроэнергии, потребляемой центрами обработки данных, расходуется на охлаждение. Эксперт считает, что под нормальной организацией бесперебойной и гарантированной работы электроснабжения ЦОД, в первую очередь, помимо потребляемых оборудованием мощностей, надо понимать требуемую степень надежности систем бесперебойного и гарантированного питания. Другими словами степень резервирования этих систем. Вторым этапом определяется список подсистем требующих бесперебойного питания и список подсистем, допускающих кратковременное выключение. Для последних хватит и гарантированного электропитания. Выбирается время работы от аккумуляторных батарей, достаточное для запуска дизельного генератора. Так, собственно, на основе вышеперечисленных данных, и рассчитываются системы бесперебойного и гарантированного питания.

Чем больше, тем дешевле

Инженерная система, со всеми входящими в ее состав подсистемами, или, если угодно, элементами - безусловно, дорогостоящая составляющая, но ведь только благодаря ей действует все размещенное в ЦОД оборудование. Есть, правда, одна закономерность: чем крупнее ЦОД, тем дешевле стоимость инженерного оборудования в расчете на единицу потребляемой мощности.

Структура бюджета на содержание современного ЦОД

Источник: APC, 2007

Разумеется, надо учитывать, что так называемый нижний - вспомогательный, инженерный - слой - это, по сути, фундамент, который остается неизменным на протяжении всего существования ЦОД. Но именно ему всегда уделяется повышенное внимание теми, кто выстраивает свой бизнес на перспективу.