ЦОД расшифровывается как центр обработки данных, синонимами термина в специализированной литературе являются названия дата-центр или ЦХОД — центр хранения и обработки данных. Из самого названия следует, что в ЦОД производятся операции, связанные с обработкой информации. Обработка подразумевает создание или генерирование  информации, последующее архивирование и хранение, предоставление информации по запросу, и, наконец, ее безопасное уничтожение. Помимо обработки, необходима защита информации на всех стадиях жизненного цикла. Связано это с тем, что, во-первых, информация становится необходимым активом бизнеса и приобретает самостоятельную ценность, во-вторых, современное законодательство предъявляет к субъектам экономики ряд серьезных требований по защите персональной информации, что обязывает компании применять технические и программные меры по ее защите от утечек, несанкционированного доступа и потери.

По своей сути информация может носить совершенно разный характер. Например, есть информация, которая нацелена на обеспечение бизнеса или процесса. Так, для выполнения банковских операций, связанных со снятием денежных средств, необходимы данные о количестве средств на счете владельца. Существуют фонды информации — пенсионный фонд РФ, кадастры земли, различные библиотеки и т.д. — они выполняют задачи сбора и хранения информации. Существует информация, которая сама генерирует бизнес, например, информация, которую используют различные справочные службы. Есть информация, которая не участвует в бизнес-процессах, но необходима для их осуществления, например, базы данных кадровых служб и базы данных учетных записей пользователей информационных систем. Промышленные холдинги используют данные для выполнения расчетных задач, создают электронные архивы для хранения документации, автоматизируют бизнес-процессы. Таким образом, у разных компаний и организаций сосуществуют разные виды информации и задачи, связанные с ее обработкой. Для решения этих задач и создаются ЦОД.

Когда нужен ЦОД?

Задачи обработки информации решались в разное время при помощи разных технических средств. В ХХ веке электронно-вычислительные устройства взяли на себя выполнение больших вычислительных задач, а появление устройств для хранения информации позволило перейти от бумажных архивов к более компактным и доступным ленточным и электронным носителям. Уже для размещения первых ЭВМ требовалось создание специальных помещений — машинных залов, в которых поддерживались определенные климатические условия, чтобы предотвратить перегрев оборудования и обеспечить его стабильную работу. С началом эпохи персональных компьютеров и компактных серверов вычислительное оборудование компаний сосредоточилось в серверных комнатах. В большинстве случаев под серверной комнатой на предприятии понимается отдельное помещение, оснащенное бытовым кондиционером и источником бесперебойного питания (ИБП), которые создают минимальные условия для непрерывной работы техники. Однако сегодня это годится только для тех предприятий, бизнес-процессы которых незначительно зависят от вычислительных ресурсов и информации.

«По большому счету, центр обработки данных является увеличенной копией серверной комнаты. У них много общего: эти помещения должны быть оборудованы инженерными системами, позволяющими поддерживать непрерывность работы вычислительного оборудования предприятия, обеспечивать требуемый микроклимат и должный уровень безопасности, — считает Алексей Трояновский, технический директор компании «Черус». — Но есть и ряд принципиальных отличий. Как только бизнес-информация становится ключевым фактором работоспособности предприятия и надежность работы  корпоративной информационной инфраструктуры определяет непрерывность всех бизнес-процессов, требуются другие, более надежные решения, подразумевающие гарантированное энергоснабжение (дизель-генераторные установки); бесперебойное энергоснабжение (ИБП); прецизионное кондиционирование; комплексную систему безопасности (газовое пожаротушение; охранно-пожарная сигнализация; контроль доступа и видеонаблюдение), автоматизированную систему диспетчеризации и контроля работы оборудования».

Итак, необходимость создать и поддерживать эффективный ЦОД возникает тогда, когда у предприятия появляется реальная потребность в бесперебойности, управляемости и масштабируемости, когда от ИТ-инфраструктуры зависит стабильность бизнеса в целом. Принципиальным отличием ЦОД от серверной комнаты является его комплексное оснащение всем спектром инженерных систем и применение специальных мер по обеспечению работы информационной инфраструктуры предприятия в том режиме, который необходим бизнесу.

Кому нужен ЦОД?

В России первые ЦОД стали появляться в 2000-м году. Их заказчиками были банковские структуры, предприятия нефтяной отрасли и государственные органы. Еще в 1999-м году заработал первый опытный российский ЦОД при одной из налоговых инспекций, который обрабатывал декларации и справки о доходах жителей Москвы и Московской области. Одним из первых крупных российских ЦОД был центр «Сбербанка». В 2003-м году при поддержке «Ростелекома» в Чувашии открылся первый в России республиканский центр обработки данных, который использовался для систематизации архивных данных, обеспечивал органы местной власти, а в 2006-м был открыт ЦОД при научном центре «Курчатовский институт» (РНЦ КИ). В 2007-м запущены в эксплуатацию ЦОД компаний Yandex и ВТБ-24.
Сегодня собственный ЦОД нужен большинству крупных территориально-распределенных компаний, в которых существует высокая зависимость бизнеса  от организации ИТ. Примерами могут служить многофилиальные банки, операторы связи, компании-ритейлеры, транспортные и туристические компании, промышленные холдинги, медицинские учреждения, государственные организации и т.д.

ЦОД может быть предназначен как для использования одним предприятием, так и являться  многопользовательским.  Многопользовательский ЦОД предоставляет широкий спектр услуг, среди которых business continuity & disaster recovery (непрерывность бизнеса), хостинг, аренда сервера, размещение сервера и т.д. Обращение к услугам многопользовательского ЦОД наиболее целесообразно для компаний среднего и малого бизнеса, т.к. позволяет избежать капитальных затрат на модернизацию ИТ-инфрастурктуры и получить высококачественный сервис и гарантию надежности.

Подходы к проектированию ЦОД

Грамотное проектирование ЦОД позволит избежать серьезных проблем в будущем и сократить расходы в период эксплуатации. В целом структуру ЦОД можно разделить на четыре основных составляющих — здание, инженерная инфраструктура, активное оборудование, программное обеспечение. Для строительства зданий и помещений под ЦОД разработано множество стандартов, направленных в основном на обеспечение надежности и безопасности. В западных стандартах встречаются весьма серьезные требования, например, здание должно располагаться на расстоянии минимум 90 метров от самой высокой точки, до которой доходила вода при наводнении за последние 100 лет. Существуют принятые на Западе требования к проектируемым помещениям, инженерной инфраструктуре, системам безопасности, которые применяются к дата-центрам: в США это стандарт EIA/TIA-942, в Европе — например, EN 50173-5. Российские стандарты пока не успевают за развитием технологий и требованиями заказчиков.

При проектировании решения стоит задуматься, как скоро потребуется увеличение общей производительности ЦОД и его «пропускной способности» и, самое главное, во сколько обойдется модернизация. Часто, пытаясь сэкономить на начальном этапе, компании ориентируются на плохо масштабируемые решения (они, разумеется, гораздо дешевле). Но наступает момент «насыщения» инфраструктуры, и выясняется, что для ее расширения требуются затраты, сопоставимые с первоначальными. Как отмечает Андрей Воробьев, технический директор компании APC-MGE, в России многие компании строят дата-центры, исходя из текущих бизнес-задач и ограниченных ИТ-бюджетов. Руководитель службы рисует краткосрочную перспективу, определяя, где находится компания в данный момент и что необходимо реализовать в ближайшее время. Но если организация планирует развивать свой бизнес постоянно, а не в течение ближайших 2-3 лет, и, соответственно, наращивать возможности центра обработки данных, необходимо учитывать существующие технологические тенденции и законы развития дата-центров.

Итоговая успешность проекта определяется глубиной проработки технического задания. Уже на стадии разработки этого документа имеет смысл привлечь для консультаций компанию, обладающую большим опытом проектирования и создания ЦОД, владеющую последними данными о характеристиках специализированного оборудования, понимающую возможности подключиться к источникам энергии в различных районах, рассматриваемых для размещения ЦОД.  Привлечение специализированных компаний на стадии разработки технического задания целесообразно, так как необходимо предусмотреть сотни параметров, и ошибки в проектировании могут обернуться многомиллионными убытками или неоправданными затратами.

Уровни надежности ЦОД и средства их достижения

Приступая к проектированию ЦОД, необходимо в первую очередь определить, какие требования предъявляет бизнес к надежности функционирования информационной инфраструктуры. Эти требования можно формализовать двумя параметрами. Во-первых, время, которое прошло с момента последнего сохранения данных до момента сбоя. Очевидно, что все операции, произошедшие в системе в этот промежуток времени, просто не будут существовать в вашей информационной среде после ее восстановления. Во-вторых, время восстановления работоспособности системы после сбоя. Сумма двух этих параметров является общим временем не работы системы.

От того, какие параметры надежности будут заданы в техническом задании,  зависит набор аппаратно-программных решений, реализованных в ЦОД. В том случае, если требования таковы, что совокупное время не работы системы и количество потерянных данных равны 0, это означает, что к ЦОД предъявляются высшие требования надежности, подразумевающие работу в режиме 24/7/365.

Время восстановления системы	Время последнего сохранения данных перед сбоем
	моментально	1 минута	1 час
моментально	+
4 часа		+
2 суток			+

Можно сказать, что на сегодняшний день минимальные требования к надежности ЦОД задаются стандартами РФ на строительство машинных залов и требованиями СНиП на строительство технологических помещений.

Приведем ряд рекомендаций, которые необходимо учитывать при проектировании ЦОД.

Во-первых, выбор помещения — начинается с определения площади, которая необходима, и выбора места расположения будущего ЦОД. Здесь есть несколько правил. Нужно рассчитывать площадь под ЦОД с учетом перспектив развития предприятия. Необходимо заранее выяснить энергетические ресурсы подстанции, к которой будет подключен ЦОД. Также надо проверить, что прилегающая к ЦОД территория охраняется или может охраняться по всему периметру и имеет достаточное количество круглосуточных парковок для персонала.

Если ЦОД предполагается разместить в многоэтажном офисном здании, по возможности лучше выбирать первый этаж, поскольку лифты могут не вмещать крупногабаритное оборудование или их грузоподъемность окажется недостаточной. С целью снижения вероятности затопления, пожара и других бедствий для размещения дата-центра нельзя использовать подвальные помещения. Лучше всего разместить ЦОД в недавно построенном индустриальном или офисном здании. Идеальным решением является специально построенное здание.

ЦОД необходимо защитить от электромагнитных излучений, при отделке помещений нужно использовать пылезащитные материалы, так как серверное оборудование крайне чувствительно к пыли и при отсутствии пылезащитных покрытий может быстро выйти из строя.

Во-вторых, архитектура ЦОД: современный дата-центр состоит из нескольких помещений, каждое из которых берет на себя выполнение определенных функций. Машинный зал (серверная) — «сердце» дата-центра, в котором размещается серверное оборудование. Комната ввода кабелей — помещение, в котором кабельная система дата-центра соединяется с кабельными системами операторов сетей общего пользования. Вспомогательные помещения предназначены для систем обслуживающих помещения дата-центра (телекоммуникации, система вентиляции и кондиционирования, ИБП, пожаротушение). Должны быть предусмотрены помещения для персонала, обслуживающего системы жизнеобеспечения дата-центра; а также общая офисная зона и складские помещения.

К проектированию перечисленных помещений следует отнестись с особым вниманием: некоторые из них рекомендуется размещать в комнатах, не имеющих наружных стен (машинный зал), другие — на территории, предполагающей возможность масштабирования. В дата-центре существуют также «несовместимые» помещения. Хорошим примером могут служить машинный зал и помещения, генерирующие пыль (склад, принтерная). Помимо того, что эти помещения необходимо размещать в раздельных комнатах, в них должны быть установлены раздельные системы кондиционирования и вентиляции.

Внимательно нужно отнестись к проектированию высоты (не менее 2,6 м) и ширины (не менее 1,5 м) дверей, не забыв прибавить к высоте дельту от фальшпола. Предусмотрительность здесь также связана с ввозом оборудования в помещение дата-центра. Чтобы повысить уровень безопасности ЦОД, можно разместить оборудование систем электропитания, кондиционирования и т.д. за пределами машинного зала. Таким образом, сотрудники, обслуживающие оборудование, не будут иметь туда доступа.

В-третьих, системы бесперебойного гарантированного энергоснабжения - надежность дата-центра напрямую зависит от степени резервирования системы электроснабжения. Если не обеспечить резервирования источников общего энергоснабжения, ИБП и проводов заземления, то при любом плановом ремонте и, тем более, отказах оборудования, работа по обработке данных будет прервана до момента восстановления систем.

Наиболее высокий уровень безопасности предусматривает одновременную работу по меньшей мере 2-х путей распределения, как правило в конфигурации «Система+Система». С точки зрения электрооборудования это означает наличие двух отдельных систем ИБП, в которых каждая система предполагает резервирование каждого ее модуля.

В-четвертых, телекоммуникации — для повышения надежности необходимо резервировать комнаты ввода кабелей от сетей общего доступа, размещая их в разных огнезащитных зонах. Комнаты не должны иметь общих распределительных щитов питания и общего оборудования для кондиционирования воздуха.

Существенно повышает надежность дата-центра подключение его сразу к  двум провайдерам. При этом  офисы поставщиков услуг должны находиться в разных зданиях и кабельные трассы к ним должны пролегать по разным маршрутам. Наличие нескольких провайдеров является обычной практикой и обеспечивает непрерывность связи в случае банкротства одного из них или масштабной аварии, затрагивающей его системы.

В-пятых, системы вентиляции и кондиционирования в дата-центре отвечюет за климатические условия (температуру, влажность) и включают в себя меры по отводу тепла и влаги из помещения. Вычислительному оборудованию дата-центра следует обеспечить оптимальный режим отвода выделяемого в процессе работы тепла, иначе оно может перегреться и выйти из строя. Для решения данной задачи в дата-центре внедряется система технологического кондиционирования.

Уровень системы кондиционирования напрямую зависит от задач, поставленных перед дата-центром. Если ЦОД необходимо выполнять большой объем операций по обработке информации, то мощное оборудование, установленное в дата-центре, будет выделять много тепла, и, система охлаждения должна быть спроектирована с учетом этих параметров.

Как показывает практика, система холодоснабжения представляет собой самую критичную составляющую комплекса ЦОД: перерыв в ее работе всего на 30 минут может повлечь за собой выход из строя оборудования, обеспечивающего функционирование ЦОД, поэтому необходимо проектировать, строить и эксплуатировать ее максимально профессионально и ответственно.

Самый лучший гарант надежности — это резервирование, которое для системы холодоснабжения может выполняться по схеме N+1 (система, состоящая из (N+1) модулей, один из которых (любой) является избыточным) или 2N (100-процентное резервирование системы).

Резервирование системы по схеме N+1

Резервирование системы по схеме 2N

Независимо от уровня надежности дата-центра следует уделить особое внимание поддержанию в помещении ЦОД необходимой влажности. Эта задача также ложится на плечи системы кондиционирования. Сухой воздух опасен для серверных помещений, т.к. при понижении влажности повышается электростатический потенциал, что может быть причиной выхода из строя оборудования. Нормой для ЦОД считается влажность в пределах 40-50%.

Существуют серверы, не очень требовательные к влажности. Для них допустимые параметры составляют от 10 до 90% относительной влажности воздуха (например, серверы таких производителей, как HP, Cisco). Но вот компания Sun Microsystems может снять технику с гарантии при условии, что влажность воздуха выходит за пределы 40-60%.

В-шестых, система водоснабжения и водоотвода — является неотъемлемой частью дата-центра, так как вода необходима для увлажнения помещений и охлаждения техники в ЦОД. В то же время оборудование необходимо защищать от возможных протечек, т.к. в результате контакта с водой оно  может выйти из строя. Поэтому в высоконадежном отказоустойчивом дата-центре через его помещения и над ними не должны проходить водопроводные или канализационные трубы, не связанные с оборудованием дата-центра. Водопроводные пути, поддерживающие оборудование дата-центра, следует заключить в кожухи или специальные защитные оболочки от протечек.

Все процессы, связанные с влагой, нужно обязательно контролировать. Для контроля протечек в помещении дата-центра необходимо установить систему технических сигнализаций, представляющих собой набор датчиков, которые устанавливаются в районах расположения потенциальных источников влаги и срабатывают в случае, если на них попадает вода.

Комплексная система безопасности дата-центра, как и любая другая, состоит из трех подсистем:

1. Система контроля доступа;
2. Система охранной сигнализации;
3. Система пожарной сигнализации и пожаротушения.

Защита дата-центра от несанкционированного доступа является одной из первоочередных задач. Часть ответственности в данном случае ложится на архитектуру ЦОД: наиболее критичные помещения должны находиться в зоне ограниченного доступа. Неотъемлемой частью защиты ЦОД являются системы видеонаблюдения и охранной сигнализации. Системы биометрического контроля внедряются в России пока не очень активно, так как достаточно дороги и не обеспечивают требуемой надежности.

Минимальные требования к системе пожаротушения включают в себя наличие спринклерной системы и огнетушителей, не загрязняющих оборудование. Проектировать спринклерную систему надо так, чтобы вода при разбрызгивании не заливала дорогостоящее оборудование.

В дата-центрах более высокого уровня обычно устанавливается система автоматического газового пожаротушения и звуковой сигнализации. Газ не вредит работе оборудования, но очень опасен для человека, поэтому эти системы проектируются с учетом времени эвакуации персонала и совмещены с дополнительными мерами по оповещению персонала и контролю за эвакуацией. Пожарная сигнализация в обязательном порядке должна быть интегрирована со схемой управления системой охлаждения, чтобы в случае необходимости произвести аварийное отключение кондиционирующего оборудования.

«Несмотря на высокую надежность систем кондиционирования и охлаждения, есть риск мелких неисправностей и поломок, которые могут оказать негативное влияние на работу центра обработки данных. Поэтому для защиты сетей и систем от подобных физических угроз необходимо использовать средства мониторинга состояния физической среды, — говорит  Андрей Воробьев. — Они позволяют отслеживать визуально фиксируемые события и параметры окружающей среды, включая температуру, влажность, движения воздуха и т.д. А также собирать данные с видеокамер и датчиков, реагируя на приказы в соответствии с заданными пользователем действиями и сигналами тревоги».

Система мониторинга и диспетчерского управления существенно повышает уровень надежности дата-центра, т.к. позволяет упреждать сбои в работе его систем. В задачи АСДУ входит локальный и дистанционный контроль механического, электрического и другого оборудования. Система позволяет обеспечить безаварийную работу ЦОД и сократить эксплуатационные расходы.

«Необходимость АСДУ хорошо иллюстрирует пример, когда компания, сэкономив на АСДУ, не получила своевременно сигнал о севшем аккумуляторе в ИБП, соответственно, при отключении энергоснабжения, резервный ИБП не завелся. Работа ЦОД была остановлена на 2 часа до момента выяснения причин и устранения неисправности. Прямые убытки компании за 2 часа составили несколько сотен тысяч у.е., плюс репутационные потери», — отмечает Владимир Лонгинов, руководитель направления компании «Черус».

Катастрофоустойчивые ЦОД

Если надежность направлена на защиту дата-центра от собственных поломок, то под катастрофоустойчивостью ЦОД понимается способность выдерживать те или иные катаклизмы и воздействия внешней среды: пожары, затопления, воздействие вредных газов, землетрясения, наводнения, удары молний, военные действия и т.д. Требования катастрофоустойчивости регламентируются такими параметрами как шкала бальности землетрясений, молниезащита, мощность взрывной волны и т.д., поэтому понятия надежности и катастрофоустойчивости не тождественны друг другу (хотя некоторыми специалистами эти понятия не разделяются). Понятно, что можно создать надежный, работающий в режиме 24/7/365 ЦОД, но он не будет при этом катастрофоустойчивым. И наоборот — катастрофоустойчивым может быть ЦОД не самого высокого уровня надежности.

«Сегодня руководство большинства компаний в России выделяет достаточно серьезные средства на развитие структуры ИТ, а также на техническую и логическую безопасность. Но при этом зачастую физическая безопасность ИТ-ресурса остается вне поля зрения и не финансируется в достаточной мере. Такая ситуация не может длиться долго», — считает Станислав Заржецкий, директор Lampertz Россия. «Общеизвестно, что существует как минимум семь основных факторов риска потери информации от физического воздействия: огонь, вода, дым и коррозийные газы, взрыв, обрушение (падающие обломки), несанкционированный доступ, вандализм. Отсутствие должного внимания к защите от такого рода воздействий ставит под угрозу существование и работу всей ИТ-структуры компании, что, в свою очередь, грозит потерей инвестиций, престижа и средств, вплоть до полного банкротства».

Какие технические меры позволяют говорить о катастрофоустойчивости ЦОД? Требования к ЦОД по катастрофоустойчивости, как и требования надежности, необходимо закладывать на стадии подготовки задания на проектирование ЦОД, т.к. это требует применения специальных технических средств при строительстве ЦОД. Например, если необходимо обеспечить устойчивость ЦОД к землетрясениям, проектировщики предусматривают специальную систему крепления оборудования в ЦОД, которая позволяет выдерживать подземные толчки без разрушения оборудования, кабельной сети и т.д. Для защиты от ударов молний, высокой температуры, наводнений используются специальные герметичные комнаты, в которых размещаются все системы и экранируется электромагнитное излучение. Катастрофоустойчивость также подразумевает способность работы ЦОД без обслуживающего персонала и управление всеми системами в удаленном режиме. Но, пожалуй, единственным решением для достижения полной катастрофоустойчивости является территориальное резервирование ЦОД. При этом необходимо реализовать схему, по которой основной и резервный ЦОДы будут обмениваться информацией и синхронизировать происходящие изменения.