Выбор климатического оборудования для энергоэффективного ЦОДа

Витор Гаврилов, технический директор, АМДтехнологии

На рынке климатического оборудования огромное количество предложений, разработанных специально для отвода тепла в центрах обработки данных. Как не запутаться этом многообразии и сделать правильный выбор? 

Представим, что мы хотим построить ЦОД с оптимальным соотношением капиталовложений и затрат на эксплуатацию системы кондиционирования, и на примерах посмотрим, на что необходимо обращать внимание при выборе климатического оборудования. В каждой позиции оборудования будем сравнивать несколько моделей от разных производителей, которых, чтобы не поддаваться «магии бренда», будем обозначать латинскими буквами: ААА, ВВВ, ССС и т.д. Примем в качестве постулата, что все вендоры выпускают только качественное оборудование, и наша задача состоит в том, чтобы среди множества различных предложений выбрать вариант, полностью отвечающий поставленной задаче и удовлетворяющий требованиям конкретной площадки.

Предположим, что расчетный PUE нашего дата-центра должен быть не хуже, чем 1,3. За основу возьмем классическую систему кондиционирования, состоящую из холодильных машин и шкафных прецизионных кондиционеров, работающих на высокопотенциальном теплоносителе с температурой 22/16°С. В соответствии с рекомендациями Uptime Institute для региона, в котором будет строиться ЦОД (предположим, это Москва), максимальную температуру наружного воздуха будем считать равной 37°С.

При сравнении различных моделей особый акцент будем делать на технических характеристиках, влияющих на энергоэффективность системы, а также на рабочих ограничениях оборудования, закладываемого в проект, и на обеспечении его стабильной работы на протяжении всего срока эксплуатации. Для корректности сравнения все технические параметры будем приводить для одних и тех же условий – например, одинаковой температуры наружного воздуха, равного процентного содержания гликоля в теплоносителе и одинаковой его температуры и т.д. Отметим, что для краткости в таблицах, в которые мы сводим данные для сравнения конкурирующих вариантов, приведены отнюдь не все параметры рассматриваемого оборудования, а только основные. Но хотя в действительности подобные таблицы намного обширнее, общий подход целесообразно применять именно такой, как в наших примерах.

Моноблочные чиллеры с фрикулингом

Рассмотрим дата-центр с тепловыделением серверного оборудования 11 МВт, в котором предусматривается поэтапный ввод машинных залов. Предположим, на первом этапе тепловыделение составит 2,6 МВт. Проведем сравнение нескольких вариантов моноблочных чиллеров наружной установки со встроенной секцией свободного охлаждения (табл. 1а). Про­из­во­ди­тель­ность одной холодильной машины должна быть не менее 870 кВт.

В первую очередь обратим внимание на температуру наружного воздуха, при которой холодильная машина переходит в режим 100%-ного свободного охлаждения (фрикулинга). Для достижения высокой энергетической эффективности системы холодоснабжения мы предполагали, что температура теплоносителя составит 22/16°С, однако, как оказалось, часть рассматриваемых холодильных машин может перейти в режим свободного охлаждения и отключить компрессоры только при отрицательных температурах. Чиллеры производителей DDD и GGG обеспечивают переход в режим фрикулинга при температуре наружного воздуха –4°С, в то время как холодильная машина ССС начинает работать в режиме 100%-ного свободного охлаждения при температуре на улице +6°С. Разница температур в точке перехода составляет 10°С. Для выбранного региона расположения ЦОДа это дает 3290 ч работы в год.

Основные различия в конструкции и параметрах чиллеров объясняются их различным назначением. Некоторые из представленных в табл. 1а холодильных машин разработаны для обеспечения комфортных условий в торговых и офисных центрах, где потребность в охлаждении помещений снижается и повышается в зависимости от времени года. В ЦОДе тепловыделение серверного оборудования не зависит от температуры на улице, поэтому производители чиллеров делают все возможное для увеличения площади поверхности теплообменника свободного охлаждения, чтобы как можно раньше начать использовать низкую температуру наружного воздуха для отвода тепла. Безусловно, чиллеры с меньшими теплообменниками имеют меньшую стоимость.

Таблица 1а. Рабочие параметры и рабочие ограничения моноблочных чиллеров с секцией фрикулинга

Проверяем срок окупаемости (выравнивания стоимости холодильных машин за счет экономии затрат на электроэнергию) рассматриваемых вариантов, сравниваем все модели с самым дешевым предложением (табл. 1б).

Таблица 1б. Энергоэффективность и окупаемость моноблочных чиллеров

Один из самых дорогих чиллеров, ССС, окупается за счет экономии средств на оплату электроэнергии в течение двух месяцев работы в режиме свободного охлаждения. Далее затраты на эксплуатацию у этого чиллера будут самыми низкими по сравнению с конкурентами. Чиллеры DDD и GGG не окупятся на протяжении всего срока эксплуатации. Срок окупаемости остального оборудования составляет менее года. Поэтому первый наш вывод будет таким: при выборе оборудования ориентироваться только на стоимость неправильно.

В соответствии с рекомендациями Uptime Institute не следует применять оборудование, которое функционирует на пределе рабочих ограничений, заявленных вендором. Минимальный запас производительности должен составлять 5–15% требуемой. Применяя чиллеры, предназначенные для работы с высокопотенциальным теплоносителем, особенно внимательным нужно быть к ограничениям, указанным в технической документации: допустимой температуре наружного воздуха и температуре теплоносителя. Ведущие мировые производители холодильных машин специально разработали модельные ряды высокотемпературных чиллеров, которые отличаются компрессорами с электродвигателями большей мощности и большей площадью теплообменной поверхности. Чиллер DDD не может быть использован в нашем проекте, так как расчетная температура теплоносителя 22/16°С находится за пределами рабочих ограничений, указанных в технической документации производителя. Чиллер ААА имеет стандартное исполнение, однако вендор гарантирует сохранение работоспособности машины во всем рабочем диапазоне температур. В нашем примере в чиллере ААА и чиллерах высокотемпературного исполнения ВВВ и ССС установлены одинаковые по производительности компрессоры, но с разными электродвигателями. На сайте поставщика этих компрессоров мы находим программу для проверки их рабочих диапазонов.

Рис. 1. Рабочий диапазон компрессора ААА

Рис. 2. Рабочий диапазон компрессоров ВВВ и ССС

Следующие расчеты сделаны с помощью упомянутой программы в режиме онлайн. Рабочая точка компрессора, установленного в чиллере ААА, находится на пограничной кривой рабочего диапазона компрессора (рис. 1, красная точка на графике). Рабочая точка указана для расчетного диапазона рабочих температур теплоносителя: 22°С на входе, 16°С на выходе из машины. Температура конденсации (tc) хладагента принята равной 50°С, температура испарения (to) – равной 12°С.Рабочая точка компрессора, установленного в чиллерах BBB и ССС, лежит практически в середине рабочего диапазона (рис. 2). Данные приведены для тех же условий, что и для компрессора ААА.

Безусловно, производительность компрессора будет меняться в зависимости от температуры конденсации: чем она выше, тем меньше производительность компрессора. Но в данном случае это не принципиально, так как сравнение делается при одинаковых условиях. Не стоит забывать о том, что производительность холодильных машин указывается для чистых теплообменников. По этой причине не стоит буквально воспринимать расчетную температуру наружного воздуха, указанную в технической документации. Подъем температуры конденсации выше предельно допустимых значений возможен и при более низкой температуре окружающего воздуха – из-за загрязненности теплообменной поверхности. Известный способ борьбы за сохранение работоспособности чиллеров при повышении температуры на улице, обильный полив водой теплообменника-конденсатора, – это компенсация некорректного подбора оборудования.

Вывод номер два: при выборе холодильных машин следует внимательно относиться к рабочим ограничениям, указанным в технической документации на поставляемое оборудование.

Еще один важный параметр – это гидравлическое сопротивление испарителя и теплообменника свободного охлаждения. Чем ниже потери напора, тем меньше потребляемая мощность насоса, обеспечивающего циркуляцию жидкости. В нашем примере перепад температуры теплоносителя не случайно принят равным 6°К, поскольку увеличение перепада температуры ведет к снижению расхода жидкости, что, в свою очередь, снижает гидравлические потери в системе, позволяет уменьшить диаметр трубопроводов и арматуры и, соответственно, сократить затраты.

Подбирая циркуляционный насос, следует отдавать предпочтение насосам с инвертером, так как в холодный период года последовательно с испарителем чиллера включается теплообменник свободного охлаждения и гидравлическое сопротивление машины возрастает. Наличие инвертера позволяет загружать электродвигатель насоса в точном соответствии текущему режиму работы, что дает возможность дополнительно экономить электроэнергию в теплый период года.

Чиллеры внутренней установки и драйкулеры

Еще больше снизить затраты на оплату электроэнергии можно, применяя чиллеры внутренней установки. Вопреки распространенному мнению, замена моноблочных чиллеров на холодильные машины внутренней установки и драйкулеры («сухие» охладители) не приводит к значительному увеличению стоимости системы холодоснабжения. Чиллеры внутренней установки с винтовыми компрессорами в комплекте с драйкулерами позволят даже снизить капитальные затраты на закупку основного оборудования. При этом мы получаем дополнительную экономию энергии за счет того, что переход в режим свободного охлаждения может происходить при более высокой температуре. В нашем примере он возможен уже при температуре наружного воздуха 9°С, а это еще дополнительные 975 ч в год работы в режиме фрикулинга. Применение чиллеров с турбокомпрессорами удорожает систему холодоснабжения не более чем на 15%, однако эти затраты окупаются в течение первого года эксплуатации системы из-за более высокого коэффициента энергетической эффективности (EER). У турбокомпрессоров EER ≈ 10, в то время как у винтовых компрессоров EER ≈ 4.

Разрабатывая систему холодоснабжения на базе холодильных машин внутренней установки, нужно тщательно выбирать драйкулеры. От правильного выбора «сухих» охладителей будет зависеть не только энергетическая эффективность системы, но и температура воздуха, при которой будет осуществляться переход в режим свободного охлаждения, а также надежность всей системы холодоснабжения, особенно в случаях использования чиллеров с турбокомпрессорами. При выборе драйкулеров следует принимать в расчет потребляемую мощность, площадь теплообменной поверхности, расход воздуха и потери напора жидкости (табл. 2). Данные в таблице приведены для 40%-ного водного раствора этиленгликоля с расходом 183 м3/час и температурой на входе в блок, равной 50°С.

Таблица 2. Основные технические характеристики «сухих» охладителей

Для того чтобы снизить потребляемую мощность вентиляторов драйкулера, нужно увеличить площадь теплообменной поверхности. При этом снижается расход воздуха, что вполне логично. В нашем примере для оптимизации коэффициента PUE стоит обратить внимание на производителя ККК, у которого минимальная потребляемая мощность аппарата обеспечивается большей по сравнению с конкурентами площадью теплообменной поверхности. В качестве потенциальных поставщиков могут рассматриваться и производители SSS и PPP, несмотря на то, что потребляемая мощность их драйкулеров несколько выше. Большой расход воздуха гарантирует сохранение работоспособности оборудования при предельных температурах наружного воздуха. Однако за счет экономии затрат на электроэнергию после шести месяцев эксплуатации системы применение более дешевых по сравнению с ККК драйкулеров становится невыгодным.

Промежуточные пластинчатые теплообменники

Сам теплообменник, конечно, не потребляет электроэнергию, но его эффективность оказывает существенное влияние на потребляемую мощность системы в целом.

При сравнении пластинчатых теплообменников наиболее важными характеристиками являются площадь теплообменной поверхности, коэффициент теплопередачи и гидравлические потери в теплообменнике (табл. 3а). Данные в табл. 3а приведены для теплообменников производительностью 1,6 мВт. Рас­четы сделаны для 40%-ного водного раствора этиленгликоля с температурой 14/19°С и воды с температурой 21/15°С.

Таблица 3а. Основные технические характеристики теплообменников (расчетные данные)

Отметим, что при прочих приблизительно равных технических характеристиках теплообменник LLL выделяется самой большой пло­щадью теплообменной поверхности и самым низким коэффициентом теплопередачи. Этот теплообменник – самый дорогой из всех рассмотренных вариантов. С точки зрения технических характеристик он будет оптимальным, однако бюджет проекта никто не отменял. Выбор должен быть осознанным.

По­про­буем разобраться, в чем причина этих отличий. Коэф­фи­циент теплопередачи зависит от скорости течения жидкости в каналах теплообменника. Вообще говоря, чем выше скорость, тем лучше идет теплообмен. Но при увеличении скорости движения жидкости должно увеличиваться и гидравлическое сопротивление теплообменника. Однако потеря напора у всех теплообменников примерно одинакова. При расчете пластинчатых теплообменников для систем холодо­снабжения мы сталкиваемся с очень низким температурным напором, всего 1,5–1,7°С. Гораздо чаще подобные теплообменники рассчитываются для систем теплоснабжения, где температурный напор составляет не менее 20°С. По этой причине многие производители при расчетах теплообменников приводят результаты с точностью до одного целого градуса. Проверяем наше предположение – выполняем расчеты для теплообменника LLL в различных режимах (табл. 3б). Сначала увеличиваем гидравлическое сопротивление и сохраняем расход (режимы 1 и 2), затем, продолжая уменьшать количество пластин, увеличиваем скорость в каналах (режимы 3, 4 и 5), изменяя расход жидкости.

Таблица 3б. Расчет для теплообменника LLL

Полученные результаты подтверждают наше предположение: уменьшение количества пластин привело к тому, что коэффициент теплопередачи поднялся до уровня конкурентов. При этом площадь теплообменной поверхности также стала соизмерима с конкурентами, а температура воды на выходе из теплообменника увеличилась всего на 0,4°С, что находится в пределах погрешности измерений и округления до целого числа. Стоимость теплообменника также стала сопоставима с остальными моделями. Из этого можно сделать следующий вывод: если бюджет проекта позволяет, то стоит выбирать теплообменник с запасом по площади теплообменной поверхности.

Шкафные кондиционеры

Для повышения энергоэффективности системы необходимо исключить смешение холодного и горячего воздуха, для чего требуется обеспечить изоляцию холодного либо горячего коридора. Это обязательное условие надежной работы оборудования. При сравнении кондиционеров нужно учитывать потребляемую мощность, гидравлическое сопротивление водяного теплообменника, расход воздуха, а также алгоритм управления группой кондиционеров.

Как уже отмечалось, сравнение оборудования нужно проводить при одинаковых условиях. Для этого желательно задаться одинаковым расходом воздуха, который можно определить, зная количество серверных стоек и тепловыделение машинного зала, задать одинаковый свободный напор вентиляторов (в нашем примере – 100 Па), одинаковые параметры воздуха на входе в блок и температуру воды. Подчеркнем, что нас интересует холодопроизводительность Net – явная холодопроизводительность кондиционера за вычетом потребляемой мощности вентиляторов. Далеко не все вендоры указывают эту производительность в характеристиках кондиционера, довольно часто такие вычисления приходится проводить самостоятельно. В рассматриваемом примере нам требуется выбрать шкафный кондиционер, имеющий холодопроизводительность Net не менее 85 кВт, причем в работе одновременно находятся 130 блоков (табл. 4). Исходя из приведенных в таблице данных, можно сделать вывод, что явным лидером является кондиционер ННН. Эта модель окупается за первые четыре месяца эксплуатации, далее мы получаем минимальную по сравнению с конкурентами общую стоимость владения.

Таблица 4. Характеристики шкафных кондиционеров

                                                                                                                    *   *   *

Чтобы добиться оптимального соотношения между капитальными затратами и затратами на эксплуатацию, необходимо проводить тщательное сравнение вариантов для каждого элемента системы. При этом не существует второстепенных компонентов – даже пассивное оборудование вносит свой вклад в энергоэффективность. Нет плохого или хорошего оборудования – есть оборудование, не подходящее для данного проекта. Как нет и готового рецепта построения ЦОДа с низким коэффициентом PUE – он свой для каждой конкретной площадки. Если стоит задача оптимизации затрат, заказчик практически обречен на мультивендорное решение для своего проекта. А поскольку постоянно появляются новые технологии и производители выпускают все новые и новые модели, для каждого следующего проекта необходимо заново проводить мониторинг рынка, составлять новые таблицы сравнения. Без этого ЦОД с высокой энергоэффективностью не построить.