Инженерная инфраструктура ЦОД, по мнению Алексея Ефанова, руководителя направления кабельных систем и систем бесперебойного гарантированного электроснабжения компании «АйТи», — это взаимоувязанный комплекс вспомогательных систем, обеспечивающий работу основного оборудования центра обработки данных. Сюда входят такие системы, как: система бесперебойного электроснабжения; система поддержания климатических параметров; кабельная система ЦОД; монтажные конструктивы, фальшпол, кабельные каналы; система автоматического газового пожаротушения; система мониторинга параметров окружающей среды; система контроля и управления доступом; система теленаблюдения; системы охранной и пожарной сигнализации.

Выбор оптимальной инфраструктуры ЦОД базируются исходя из реалистичных прогнозов развития и роста Центра. При том, что средний период обновления оборудования на сегодняшний день составляет примерно два-три года, «инженерка» строится на сроки раз в пять большие. Учитывая, что инфраструктура ЦОД проектируется с учетом срока эксплуатации в 12—15 лет, это накладывает требования соответствующей жесткости. В период эксплуатации на нее воздействуют как человек, так и окружающая среда, и совокупность этих факторов весьма значительна. Помимо многолетней надежности, сопутствующая аппаратура должна позволять модифицировать и наращивать активную часть ЦОД, причем перерывов в работе быть не должно.

Можно ли рассматривать инженерную инфраструктуру ЦОД отдельно от основного оборудования ЦОД, такого как серверы и системы хранения данных? «При правильном построении данный подход настолько же оправдан, насколько оправдано создание СКС и ЛВС безотносительно того, какое именно оборудование будет включено в сеть, при условии, что оно снабжено стандартными интерфейсами. Безусловно, строительство ЦОД представляет собой более сложную задачу, чем создание сети. Тем не менее, и в этом случае применение сходных принципов стандартизации, универсальности и избыточности дает свой положительный эффект», — рассуждает Алексей Ефанов.

Несмотря на то, что сегодня известны многие удачные проекты инженерных систем, утверждать, что существуют некие стандартные решения, гарантирующие идеальную работу абстрактного ЦОД, было бы некорректно — слишком уж специфичны запросы заказчиков и прочие входящие условия. Единственное, о чем можно говорить в этой связи — правила и нормы, принятые в строительстве и телекоммуникациях. Среди стандартов, применяемых при создании инфраструктуры, можно привести в качестве примера ANSI/TIA 942, СН 512 78, TIA-942.

Общие принципы базируются на понимании того, что готовая система должна иметь приемлемую стоимость, поддаваться масштабированию, иметь высокую степень надежности, которая во многом достигается посредством резервирования блоков, при построении системы необходимо следовать по комплексному пути. Последний подразумевает, приоритет при выборе оборудования поставщикам, предлагающим широкий спектр продуктов. Считается, что лучше всего стыкуется и наиболее слаженно работает аппаратура одного и того же вендора.

Что касается конкретных ходов, то в первую очередь исполнитель в тесном сотрудничестве с заказчиком должен провести вдумчивый анализ реально необходимых мощностей ЦОД и при этом смотреть в будущее, с тем, чтобы заложить в проект возможности для развития дата-центра. Второй этап подразумевает углубленную работу над деталировкой построения инфраструктуры во взаимосвязях ее структурных элементов. В рамках второго этапа выбираются непосредственная шкафная (либо с задействованием фальшпола) схема прохождения холодного воздуха, блочный (либо модульный) способ организации системы бесперебойного электропитания, степень регулировки и контроля уровня влажности, варианты интегрирования в систему резервных модулей оборудования, а также структура интеграции с центральной вентиляцией и системой электроснабжения здания, где находится ЦОД. Немаловажной темой для рассмотрения является и удельная стоимость кВт бесперебойного питания для будущей системы.

К сожалению, типовой ЦОД не может быть создан, даже несмотря на использование известных стандартов при проектировании. Это означает, что в каждом конкретном случае придется учитывать всевозможные требования заказчика к архитектуре ЦОД и совокупности элементов инфраструктуры.

Общие требования к инженерной инфраструктуре ЦОД

С точки зрения инженерной инфраструктуры большинство видов основного оборудования ЦОД может быть охарактеризовано следующими основными параметрами: размеры оборудования — в U; мощность энергопотребления оборудования — в Вт; количество вводов электропитания; количество и тип сетевых подключений.

Определив указанные параметры для всего оборудования ЦОД, в итоге можно получить следующие основные количественные требования к инженерной инфраструктуре ЦОД: количество монтажных шкафов (используемых и резерв на расширение); мощность системы электроснабжения (используемая и резерв на расширение); мощность системы поддержания климата (требующаяся на данный момент холодопроизводительность и резерв на расширение); количество монтажных шкафов или площадь для размещения силового распределительного оборудования; количество монтажных шкафов для размещения кроссового и коммутационного оборудования.

Особенности деятельности организации, для которой строится ЦОД, учитываются в требованиях по непрерывности работы ЦОД. Подобный подход позволяет полностью абстрагироваться от задач, решаемых каждой единицей оборудования, и сосредоточить усилия на создании необходимых условий для функционирования оборудования ЦОД.

Оптимальное месторасположение

Первое, на что стоит обратить пристальное внимание — это помещение, в котором будет располагаться аппаратура. Если речь идет о Москве, то ранее при определении его территориального расположения старались рассматривать варианты не далее третьего транспортного кольца. Однако при этом нужно было помнить о том, что при продвижении к центру столицы осложняется доставка на объект крупногабаритного тяжелого оборудования. Сегодня же, с учетом возрастающего энергодефицита в Москве сталкиваются с проблемой, что внутри ТТК разместить ЦОД мощностью в 1 МВт невозможно. В связи с чем эксперты рекомендуют располагать подобные объекты в регионах, которые в ближайшее время не станут энергодефицитными, а в столицах строить резервы.

При выборе между старым и новым зданием предпочтение предполагается отдавать последнему. Желательно, чтобы оно было построено по последнему слову строительной науки, соответствовало всем СНИПам и не содержало потенциальной опасности в виде посторонних инженерных сооружений, в том числе расположенных в подвалах, снижающих катастрофоустойчивость возводимой структуры.

Каждый 19-дюймовый компьютерный шкаф должен подразумевать наличие площади под него порядка 2 кв. м. Пол под шкафами должен иметь реальную (а не декларируемую) несущую нагрузку не менее полутоны на каждый квадратный метр технического помещения. При построении ЦОД необходимо изначально закладывать возможности его дальнейшего роста. Соответственно, нужно обеспечить «с запасом» площади, фальшпол и закладные трассы для будущих систем кондиционирования и пожаротушения.

Безопасность объекта

Обеспечение физической и пожарной безопасности — крайне важная работа при построении инженерной инфраструктурой ЦОД. Один из основных принципов — модули необходимо размещать таким образом, чтобы при возгорании одного не загорался соседний. В частности, не рекомендуется помещать аппаратуру и связное оборудование в одни и те же модули.

Физическая безопасность подразумевает грамотно организованную систему прав доступа сотрудников. Как вариант, для ее реализации подойдут приемлемые по цене и довольно надежные решения, подразумевающие владение пользователями индивидуальными промиксити-картами, обеспечивающими перемещение людей между комнатами ЦОД. Данное решение позволяет четко разделять время доступа и права доступа каждого отдельно пользователя.

Слежение за событиями на объекте обеспечивается видеокамерами, позволяющими контролировать все площади ЦОД — как скрытые, так и технические. Особое внимание следует уделить проходам объекта, а также входам и выходам из него. Получаемые сигналы записываются на специальную аппаратуру и хранятся в течение времени, диктуемого политикой безопасности конкретного предприятия. Просмотром в режиме реального времени должна заниматься служба безопасности, занятая на охране объекта.

Противопожарные системы

При построении противопожарного сектора инфраструктуры ЦОД не следует экономить, ибо опыт показывает, что в настоящее время второй стороной относительной дороговизны того или иного решения является его эффективность. Поэтому экономия в случае наступления негативных последствий может обернуться гораздо большими потерями. При этом эффективность складывается не только из скорости срабатывания, но и из «деликатности» систем пожаротушения по отношению к компьютерной технике. Оптимальным в этом смысле является техника, работающая на основе инертных газов или хладонов.

Наилучшее техническое воплощение системы обеспечит комплексный подход к ее созданию.  Для реализации этого подхода потребуются пожарные извещатели, обладающие максимально возможной чувствительностью и работающие на разных принципах, а именно: химическом, оптическом, дымовом и спектральном. При этом они должны работать слаженно, то есть иметь в своей основе «умную» управляющую систему (подобные предложения на рынке существуют, так что выбрать есть из чего). Это позволит обеспечить срабатывание датчиков, когда возгорание находится в зачаточной фазе, или даже блокировать губительный процесс на стадии возникновения благоприятных условия для перегрева и воспламенения оборудования.

Надежное электроснабжение

Большое внимание при разработке технического решения инженерной инфраструктуры ЦОД необходимо уделять резервированию систем бесперебойного электроснабжения и поддержания климатических параметров.

Как считает Алексей Ефанов, в зависимости от требований по непрерывности работы ЦОД могут быть применены различные схемы резервирования системы электроснабжения и системы контроля климата. «Степень резервирования системы электроснабжения зависит от количества независимых вводов электроснабжения, количества и схемы подключения ИБП, дублирования распределительной электрической сети, наличия ДГУ. Резервировать блоки системы поддержания климатических параметров целесообразно даже при отсутствии резервируемой системы электроснабжения. При поломке ИБП оборудование ЦОД может продолжать работу с электроснабжением от общей сети, тогда как при выходе из строя системы поддержания климата, температура в помещении ЦОД будет весьма быстро повышаться, ставя под угрозу работу всего оборудования ЦОД», — считают в «АйТи».

На данном этапе крайне важно выбрать такого вендора, решения которого наиболее полно отвечают определенным для конкретного ЦОД требованиям. При этом учитывается наличие у вендора комплексных решений систем электропитания и кондиционирования, типовых решений для масштабирования бесперебойного питания, включая резервирование по схеме N+1. Безусловный плюс при выборе производителя — наличие у него сервисных центров в регионе заказчика.

Возможность масштабирования системы

Одним из важнейших вопросов при строительстве инженерной инфраструктуры ЦОД является  возможность его дальнейшего расширения. Потенциальную потребность в этом очень важно учитывать уже на этапе определения основных технических требований ЦОД. В «АйТи» отмечают общую тенденцию — каждое последующее поколение оборудования ЦОД занимает меньше места, причем обладает большей вычислительной мощностью и возможностью хранить больше информации, но с другой стороны, потребности в ИТ-сервисах растут еще быстрее, чем вычислительная мощность и объемы хранимой информации в расчете на 1U высоты. Для развивающейся организации в обозримом будущем сохранится потребность в наращивании таких показателей инженерной инфраструктуры ЦОД, как пространство для оборудования, мощность потребления электроэнергии и, фактически она же, мощность тепловыделения.

При определении технических требований следует закладывать точное количество резервных мест для монтажных шкафов, в которые устанавливается основное оборудование ЦОД, и обязательно иметь в виду возможность повышения мощности электроснабжения и охлаждения.