Серверный шкаф с водяным охлаждением

Обновлено: 07.01.2025

Монтируемый на боковой стороне модульный блок охлаждения для серверных стоек всехт ипов (10–30 кВт)

Представляет собой воздухо-водяной теплообменник для установки сбоку серверного шкафа и снятия тепла выделяемого оборудованием; система изолирована; теплый воздух забирается с задней стороны шкафа, а охлажденный поступает с фронтальной по всей высоте.

СoolLoop способствует охлаждению стойки независимо от температуры в комнате, с эффектом снижения шума в сравнении с автономной версией. Равномерная подача холодного воздуха происходит с лицевой части, эффективный забор воздуха в задней части, сверхнадёжное оборудование выполнено с изолированно установленным высокоэффективным воздухо-водяным теплообменником и разделителем в виде сотовых ячеек, высокая энерго-эффективность обеспечивается благодаря низкому сопротивлению воздуха и охлаждающей жидкости, преимуществом так же является отсутствие жидкости непосредственно в серверной стойки.

Блок Knürr CoolLoop® имеет модульную конструкцию и может быть оснащен 1–4 блоками вентиляторов. Благодаря этому охлаждение можно изменить в соответствии с фактическими потребностями центра обработки данных. Мощность охлаждения одного блока Knürr CoolLoop® составляет от 10 до 30 кВт. Выбор необходимой мощности осуществляется оператором центра обработки данных. Это позволяет сэкономить средства, поскольку обеспечивается только та мощность охлаждения, которая необходима для компенсации тепловой нагрузки, создаваемой центром обработки данных.

Блок Knürr CoolLoop® соответствует самым высочайшим стандартам в области охлаждения диспетчерских залов. При его разработке основное внимание было уделено выбору способов и процедур, способных обеспечить максимальную экономию энергии за счет применения самого современного оборудования. Именно поэтому в нем всегда используются надежные, проверенные и хорошо зарекомендовавшие себя электронно-коммутируемые вентиляторы. Воздушный канал постоянно контролируется и подстраивается за счет использования теплообменников и влагоотделителей, что минимизирует потребление энергии вентиляторами.

Knürr CoolLoop® не только задает стандарты в отношении потерь давления, но и обеспечивает более эффективную эксплуатацию системы охлаждения воды с высоким коэффициентом полезного действия (КПД) за счет относительно высокой предварительной температуры охлажденной воды для оптимального охлаждения сервера.

Конструктивное исполнение блока также обеспечивает высокий уровень естественного охлаждения, что в значительной степени снижает необходимость получения холодной воды. Небольшая длина воздушных каналов и расположение вентиляторов позади теплообменника также снижают потребление электроэнергии.

Воздухопроводящие жалюзи служат для направленного потока воздуха к серверам или распределению охлаждённого воздуха на несколько соединённых между собой корпусов. Охлаждающая способность может регулироваться между 0 и 100%. Ввод кабеля осуществляться как снизу, так и сверху шкафа. Скорость вращения вентиляторов происходит в зависимости от температуры, встроен микроконтроллер (сигнализация превышения температуры, датчик повреждения, датчик отказа вентиляторов); высокоэффективные радиальные вентиляторы расположены по высоте шкафа, с возможностью «горячей» замены с лицевой стороны, с энергосберегающими EС моторами, резервирование вентиляторов N+1, аварийный режим вентиляторов, двухходовой или трёхходовой клапан для контроля потока воды и температуры подаваемого воздуха; движением термоэлектрического клапана происходит регулирования потока охлаждающей жидкости для изменения величины отвода тепла (предотвращение более низкой температуры при частичной загрузки).

Блок CoolCon состоит из:

сигнальной системы управления;
двух температурных датчиков,
датчика утечки воды;
дополнительно можно установить датчик срабатывающий на открытие дверей, задымление, изменения влажности;
передача данных осуществляется через протокол TCP/IP или SNMP.
Цвет RAL 7021, порошковое покрытие.

Knürr CoolLoop® — это первое в мире решение для охлаждения серверов центров обработки данных, которое можно эксплуатировать и как открытую, и как закрытую систему. Блок можно использовать либо для прямого охлаждения смежного шкафа (закрытая система), либо в качестве дополнительного элемента системы охлаждения центра обработки данных (открытая система). Необходимый уровень охлаждения каждого сервера обеспечивается за счет системы клапанов.

Система охлаждения Knürr CoolLoop® T является дополнением к системе охлаждения центра обработки данных и служит для поддержки устройств кондиционирования воздуха в машинном зале (CRAC). При использовании вместе с системой герметизации «холодного коридора» Knürr CoolFlex® эта система является идеальным дополнением для оптимального охлаждения серверов средней мощности.

Knürr CoolTherm

Энергоэффективные технологии для серверных шкафов с водяным охлаждением, до 35 кВт

Наиболее энергоэффективный способ охлаждения сервера заключается в использовании шкафа с замкнутым воздушным контуром. Первым в мире изделием, в котором применялся такой способ, стал шкаф CoolTherm® компании Knürr, конструктивно выполненный с использованием замкнутой архитектуры. В одном шкафу располагаются воздушно-водяной теплообменник, вентиляторы и серверы. Самый короткий из возможных воздушный канал обеспечивает низкое энергопотребление применяющихся в инфраструктуре вентиляторов.

Использование электронно-коммутируемых (EC) вентиляторов также способствует снижению энергозатрат. Жесткое разделение теплой и холодной зон внутри шкафа с замкнутым контуром также минимизирует расход воздуха и позволяет максимально снизить энергопотребление. Конструктивное исполнение теплообменника обеспечивает оптимальную температуру охлаждения воздуха внутри сервера за счет подачи сильно охлажденной воды. Значительная разница между температурой охлажденной воды и температурой охлаждающего воздуха максимально увеличивает продолжительность периодов естественного охлаждения и значительно повышает коэффициент полезного действия (КПД) установки по охлаждению воды, что делает энергоэффективность просто поразительной. Система Knürr CoolTherm® также сводит к минимуму требования к площади центра обработки данных. Тепловая нагрузка на стойку с высокопроизводительными вычислительными машинами превышает пороговое значение в 35 кВт.

Особенности

Концепция охлаждения с высоким рассеиванием тепла для блейд- и стоечных серверов, использующихся в сфере ИТ.

высокопроизводительный воздушно-водяной теплообменник V35;
направленная подача потока воздуха по всей стойке;
отвод тепла при помощи охлаждающей воды;
вентиляторы с подстройкой частоты вращения в зависимости от температуры;
трехходовой клапан регулировки расхода охлаждающей воды (поставляется отдельно);
вентиляторы, резервирование n+1;
управление аварийной сигнализацией;
резервный высокопроизводительный блок распределения питания для электроснабжения серверов (поставляется отдельно);
удобство в использовании и оптимизация для обслуживания.

Преимущества

автономная серверная стойка, которая не зависит от условий окружающей среды;
безопасное и надежное отведение до 35 кВт с одного шкафа CoolTherm®;
высочайшая плотность расположения для высокопроизводительных серверов, что, в свою очередь, обеспечивает экономию до 80% площадей в центрах обработки данных;
снижение требований, предъявляемых к помещениям и зданиям (управление температурой, фальшполы, высота помещений);
самая надежная из возможных защита от протечек с жестким разграничением теплообменников и серверов;
повышение энергоэффективности системы охлаждения на 30%;
максимальная безопасность планировки со свободно выбираемой масштабируемостью; значительное снижение общей стоимости владения (ОСВ).

Технические характеристики

Эффективная охлаждающая способность	Ширина	Высота	Глубина	Полезная высота	Полезная глубина	Масса	Содержание воды	Электрические характеристики
4 кВт	800 мм 800 мм 800 мм	2000 мм 2200 мм 2400 мм	1200 мм	39 HU 43 HU 47 HU	840 мм	2,9 кг	207-243 В (перемен.) 50/60 Гц 190 Вт
8 кВт	800 мм 800 мм 800 мм	2000 мм 2200 мм 2400 мм	1200 мм	36 HU 40 HU 47 HU	840 мм	2 х 2,9 кг	207-243 В (перемен.) 50/60 Гц 380 Вт
12 кВт	700 мм 700 мм 700 мм	1800 мм 2000 мм 2200 мм	1200/1300 мм	29 HU 33 HU 38 HU	740/840 мм	290 кг	5,9 кг	200-264 В 50/60 Гц 550 Вт
17 кВт	800 мм 800 мм 800 мм 800 мм	1800 мм 2000 мм 2200 мм 2400 мм	1200/1300 мм	31 HU 35 HU 40 HU 44 HU	740/840 мм	310 кг	7,9 кг	200-264 В 50/60 Гц 850 Вт
25 кВт	800 мм 800 мм	2200 мм 2400 мм	1200/1300 мм	37 HU 42 HU	740/840 мм	340 кг	9,9 кг	200-264 В 50/60 Гц 1150 Вт
35 кВт*	800 мм 800 мм	2200 мм 2400 мм	1200/1300 мм	37 HU 42 HU	740/840 мм	340 кг	9,9 кг	200-264 В 50/60 Гц 1150 Вт

Температура охлажденной воды на входе и выходе:	22°С *25°С
Температура воздуха, подаваемого на сервер:	12/18°С *12/22°С
Температура воздуха, возвращающегося от сервера:	35°С *50°С
Соединение для теплообменника:	Г, внутренняя резьба
Подсоединение для лотка для сбора конденсата:	5/8”, соединение для водяного шланга

Электрические характеристики в соответствии с потребляемой мощностью:

Потеря давления (на теплообменнике):	0,5 бара
Макс. рабочее давление теплообменника:	10 бар
Макс. абсолютная влажность на месте эксплуатации:	8 г/кг
Стандартные цвета:	RAL7021 (темно-серый) RAL 7035 (светло-серый)

Актуальные серии диспетчерской мебели Knürr

Knürr Ergocon II

Серия технологической мебели Knürr Ergocon II устанавливает новые стандарты для операторских рабочих мест, при эксплуатации в режиме 24/7

Knürr Dacobas Advanced

Эргономические и изысканные пульты Knürr Dacobas гарантируют превосходный результат в центрах управления транспортными потоками, диспетчерских аэропортов и центров управления. Гибкое соединение модулей позволяет создавать самые разнообразные варианты рабочего места.

Knürr Elicon VC и VC-E

Диспетчерская мебель Knürr Elicon® серии VC и VC-E - модульная конструкция с учетом требований будущего

Knürr Electronic, Knürr Technical Furniture и Knürr Consoles — бренды компании Vertiv Co.

Компания KNÜRR GmbH с 2016 года вошла в группу компаний Vertiv. С 2018 года завершен ребрендинг KNÜRR под общий логотип Vertiv, а наименование KNÜRR стало частью названий серий продукции.

Компания Vertiv занимается разработкой, созданием и обслуживанием критически важных технологий, предназначенных для центров обработки данных, коммуникационных сетей, а также для коммерческого и промышленного оборудования.

Официальным дистрибьютором продукции Knürr Consoles и решений Vertiv Control Room в Российской Федерации является группа ICS

Москва

Жидкостное охлаждение серверов как восходящий тренд в оборудовании для дата-центров

Выставка SC (Supercomputing Conference) посвящена высоким технологиям. Если точнее, то на этой выставке демонстрируются суперкомпьютеры и сопутствующие технологии. С каждым годом на этой выставке показывается все больше систем с жидкостным охлаждением, плюс увеличивается количество компаний, которые эти технологии демонстрируют. Всего пару десятков назад жидкостное охлаждение для серверов показывали лишь такие известные технокомпании, как Cray-2 и IBM. И то, по большей части, в качестве концепта.

Сейчас же количество производителей выросло, а разнообразие технологий впечатляет: на новой SC показывались как полноконтакнтные системы, так и системы полного погружение. В общем-то, утверждение, что жидкостные системы в ряде случаев гораздо более эффективны, чем охлаждение воздухом, сомнений не вызывает. Но раньше эксплуатация жидкостных систем была проблемной. Сейчас появились новые практичные решения, которые не вызывают никаких сложностей в работе и обслуживании.

Кроме того, использование систем жидкостного охлаждения помогает экономить средства. По словам специалистов, снижение эксплуатационных расходов в случае работы с жидкостями вместо воздуха составляет вплоть до 40%.

Об эффективности этих систем можно судить и по тому, что в списке наиболее производительных компьютеров мира Top 500 представлено несколько систем, которые используют жидкостное охлаждение. Есть и схожий рейтинг, Green500, в котором показаны наиболее производительные системы, использующие те либо иные «зеленые» технологии. Здесь еще больше мощных компьютеров с жидкостными системами охлаждения, некоторые из них представлены в топ-10.

Достоинством жидкостного охлаждения является и возможность более плотного размещения оборудования. Тепло отводится более эффективно, чем в случае воздушных систем, так что расстояние между оборудованием может быть значительно меньшим, чем обычно. Отдельные элементы серверов могут работать в более активном режиме, чем обычно, поскольку, снова-таки, тепло отводится быстро и без проблем. А еще — меньше шума, чем в случае работы с системами, где есть активное охлаждение с вентиляторами. Поэтому можно избежать зависимости «больше серверов — больше шума». Жидкостные системы охлаждения тоже генерируют звук, но не такой сильный, как их воздушные «родственники».

Достоинств здесь много, но о них, по большей части, известно все. Давайте лучше посмотрим, какие компании представили новые технологии на выставке.

Компания Aquila продемонстрировала анонсированную ранее серверную систему Aquarius с водяным охлаждением. Эта система предназначена для размещения в стойках, изготовленных по стандарту Open Compute Project (OCP). Партнером этой компании стала Clustered Systems, которая предложила собственную технологию охлажденных пластин.

Специалисты Asetek показали собственный вариант прямоконтактных систем жидкостного охлаждения. Здесь используется теплая, а не холодная, вода. Партнеров у проекта довольно много. Из числа прочих можно назвать Cray, Fujitsu, Format, Penguin, HPE, NVIDIA и Intel. Решение компании уже используются — например, машина QPACE3 (разработана специалистами Университета Регенсбурга), которая находится на 5-м месте рейтинга суперкомпьютеров Green500 работает как раз с жидкостной системой охлаждения.

Вендор CoolIT Systems продемонстрировал еще несколько решений прямоконтактных систем. С ними работают Hewlett Packard Enterprise Apollo 2000 System, Dell PowerEdge C6320, NEC Blue Marlin, а также Lenovo NeXtScale. Эта компания показала и микроЦОД собственной конструкции.

Компания Ebullient показала систему двухфазного охлаждения для серверов внутри дата-центров. Здесь используется охлаждающая жидкость с низким давлением. Теплоноситель закачивается в герметичные модули, устанавливаемые на процессоры в серверах. Жидкость получает тепло от процессоров и уводит его по шлангам в центральный блок для охлаждения. Работать такая система может с практически любым сервером.

Еще одна универсальная система — CarnotJet System от Green Revolution Cooling. Она, как и предыдущий вариант, совместима практически со всеми стоечными серверами любого из производителей. Такие системы можно устанавливать в специализированных стойках, которые заполнены специальным минеральным маслом.

LiquidCool Solutions (о ней когда-то уже писали на Хабре) представила обновленные решения для полного погружения электроники в диэлектрическую жидкость. Эту жидкость компания разработала самостоятельно. Кроме того, производитель показал два новых сервера на основе платформы Clamshell. Первый сервер — Submerged Cloud Server (4-хузеловой сервер высотой 2U для облачных платформ ) и Submerged GPU Server (2-хузловой GPU-сервер высотой 2U. Последняя модель может быть оснащена сразу четырьмя GPU-картами или четырьмя ускорителями Xeon Phi.

HPE Apollo

Специалисты LiquidMips показали оригинальный вариант системы охлаждения сервера с одним процессорным чипом с погружением в хладагент 3M Fluorinert. К сожалению, это лишь концепт, который еще не реализован на практике.

Не обошлось и без китайских производителей. Так, компания Inspur Systems Inc., дочернее подразделение Inspur Group показала свои системы жидкостного охлаждения с двумя типами растворов. Одно из решений — охлаждение чипов путем прямого контакта с жидкостью. Китайцы утверждают, что их система позволяет значительно увеличить производительность и одновременно снизить эксплуатационные расходы.

Allied Control рассказала о своем достижении — совместном с другими компаниями создании дата-центра мощностью в 40 МВт, с использованием системы погружного охлаждения. В результате удалось добиться установки оборудования с плотностью в 252 КВт на одну стойку. В системе используется диэлектрическая жидкость 3M Novec.

Известный вендор из Китая, компания Huawei показала новый сервер HPC FusionServer X6000 с жидкостным охлаждением. Здесь используется отвод от процессора при помощи микроканалов. Охлаждающая жидкость течет через модули памяти. Температура жидкости на входе предлагается в районе 50 градусов Цельсия, что снижает показатель совокупной стоимости и одновременно обеспечивает высокую энергоэффективность.

Fujitsu показала новый тип дата-центра с «облачными» серверами, хранилищем и прочими элементами. В дата-центре используется объединенная система погружного жидкостного охлаждения, которая обычно используется для суперкомпьютеров. Но Fujitsu применила ноу-хау и добилась возможности использования такой системы для стандартных серверов.

Можно ли использовать жидкостное охлаждение для уже работающих серверов?

Как правило, нет. Использование ЖКО, как правило, устанавливается для новых систем. Конечно, при желании все возможно, но в общем случае дата-центру понадобится много времени и усилий для того, чтобы установить жидкостные системы охлаждения для уже установленного и работающего оборудования. Наверное, кое-какие системы такого типа есть, но они не слишком известны.

А модифицировать серверы все равно придется — так, в большинстве случаев нужно будет снимать кулеры, устанавливая новые охладительные элементы. Придется переоборудовать и стойки. В большинстве случаев, такого рода модификации потребуют не только много времени, но и значительных вложений.

Как бы там ни было, а рынок систем жидкостного охлаждения постепенно растет. Аналитики считают, что в 2020 году объем рынка составит около $960 млн. Выставка SC — это, можно сказать, окно в будущее, которое показывает нам, как изменится рынок систем охлаждения в ближайшее время. ЖКО могут оказаться незаменимыми для высоконагруженного оборудования, которое используется в таких сферах, как разработка ИИ, Big Data и т.п.

P.S: по просьбам Хабра пользователей мы продлили акцию «Пожизненная скидка -25%» до 22 марта 2017 включительно.

Погружная система охлаждения сервера или фермы на базе Novec как альтернатива воздушному охлаждению

Мы продолжаем рассказывать о наших продуктах и в прошлой статье Сухая вода Novec 1230 для защиты серверных и не только было много вопросов об инновациях в сфере охлаждения серверных, поэтому решили выделить ответы на многие вопросы в отдельный пост! К тому же, совсем недавно наше решение использовалось на крупнейшей крипто-ферме в Гонконге!

Узнаете формулы с доски?

В статье обсуждаются возможности и преимущества пассивной двухфазной погружной системы охлаждения серверов на основе фторкетонов. В статье вас ждут ~~интриги и расследования,~~ разбор технологии и эксперименты!

Воздушная система охлаждения

Вначале обсудим ограничения традиционной воздушной системы охлаждения. Причинами малой эффективности традиционной системы воздушного охлаждения являются: действие второго закона термодинамики (необратимость тепловых процессов) вследствие множества процессов теплопереноса, перемешивание потоков холодного и нагретого воздуха, высокие показатели мощности, потребляемой охлаждающим оборудованием – чиллерами, кондиционерами и т.д., а также использование воздуха в качестве теплопередающего звена. При внедрении данных технологий в настоящий момент учитывают, что их эффективность снижена по одной или нескольким вышеназванным причинам.

Охлаждаемые водой задние двери, канальная система воздушного охлаждения, стойки с принудительной циркуляцией ограничивают смешение воздушных потоков. Эти и некоторые другие технологии позволяют эксплуатировать систему без чиллера, переключаясь на использование экономайзера, когда позволяет погода.
Системы с постоянно работающим экономайзером проще в своем устройстве и могут достигнуть показателя эффективности использования энергии

Стоит также учитывать другие неотъемлемые экономические аспекты и влияние на окружающую среду. Возможность управления потоком воздуха на уровне шасси, стойки или серверной добавляет значительную стоимость при установке каждого нового или расширения существующего дата-центра.
Поэтому вопрос увеличения энергоэффективности стоит рассматривать не только с точки зрения того, как отвести избыточное тепло, но и с точки зрения того, как его использовать. Тем не менее, возможность и стоимость рекуперации отведенного тепла на любом расстоянии от дата-центра ограничены большим объемным потоком воздуха и низким значением его полезной работы.

Рассмотрим традиционные системы жидкостного охлаждения и их ограничения

Жидкостное охлаждение может уменьшить влияние вышеупомянутых причин низкой эффективности воздушного охлаждения, облегчить рекуперацию отведенного тепла и увеличить его термодинамическую доступность. В одном из исследований было проведено сравнение двух систем охлаждения для суперкомпьютера: гибридной системы воздушное/жидкостное охлаждение и воздушной системы. В том же исследовании была предсказана эффективность полностью жидкостной системы охлаждения и этой же системы, работающей в отсутствии чиллеров или с водным экономайзером.
Последняя конфигурация позволяет сэкономить до 90% энергии на охлаждение по сравнению с кластером на воздушном охлаждении.

Так в чем проблема?

Тем не менее, внедрение традиционных жидкостных систем охлаждения, будь они одно- или двухфазными, закрытыми или с погружением, осложнено количеством и вариацией производящих тепло устройств в сервере и требованием, чтобы для каждого сервера в пределах стойки могла быть осуществлена процедура горячей замены (hot swap). Это усложняет задачу направления всего тепла, производимого на печатной плате, к внешнему потоку охлаждающей жидкости.
Как результат, гибридная воздушно-жидкостная система охлаждения привносит расходы на дизайн и производство охлаждающих пластин, резервные насосы, подвод воды, быстроразъемные соединения, датчики и теплообменники.

Полностью жидкостная система охлаждения часто еще более сложна и требует установки дополнительных охлаждающих пластин, грейферов (подъемников с цепляющим устройством) и герметичных электрических разъемов. Эффективность многих таких систем ограничена вторичным или даже третичным термоинтерфейсом и температурным скольжением охлаждающей жидкости (это явление изменение температуры кипящей жидкости в результате изменения состава). Также в системах, где рабочими жидкостями является гидрофторуглероды или перфторуглероды, могут возникать протечки, что ведет к выбросу веществ с высоким потенциалом глобального потепления в атмосферу.

Таким образом, необходима простая, компактная система охлаждения, которая минимизирует использование природных ресурсов и выбросы вредных веществ. При этом должен осуществляться отвод всей выделяемой теплоты при минимизации разницы температур между активным слоем в чипе процессора и водой в качестве вторичного теплоносителя. Система должна быть модульной, масштабируемой с легкой настройкой под новое оборудование.

Существующие системы жидкостного охлаждения

Пассивная двухфазная погружная система охлаждения давно используется для охлаждения такого дорогостоящего электронного оборудования как трансформаторы, тяговые преобразователи, компьютеры специального назначения и клистроны. Данная технология относительно проста, надежна и эффективна.

Тяговый преобразователь карьерного самосвала.

В данных системах обычно используют емкости под давлением и герметичные электрические разъемы. Емкости вакуумируют и заполняются практически также как и холодильники и их обслуживание в полевых условиях невозможно. Создание аналогичной системы охлаждение для компьютеров будет дорогим и сложным вследствие огромного числа заменяемых компонентов и коннекторов. По этой причине многие вообще не рассматривают погружное охлаждение в контексте датакомовского оборудования.

Паровой обезжириватель с открытой ванной

Эти устройства широко используются в мире для прецизионной очистки различных деталей, начиная с шурупов и подшипников и заканчивая ортопедическими имплантами, печатными платами и инжекторными форсунками.

Установка парового обезжиривания компании Reibesam.
Этой технологии будет посвящена следующая статья.

Обезжириватель представляет собой открытую прямоугольную емкость с двумя рядами охлаждающих змеевиков, установленными сверху по периметру. До определенной высоты емкость поделена на две части, или ванны, заполненные летучим растворителем. В первой ванне растворитель нагревается снизу и кипит. Пары поднимаются на высоту первого ряда охлаждающих змеевиков, создавая ниже данного уровня зону насыщенного пара. Конденсат стекает вниз и через водоотделитель попадает в ванну для ополаскивания. Таким образом, в результате дистилляции в эту ванну попадает только свободный от загрязнений растворитель.

Схема устройства парового обезжиривателя.

Данные системы способны очищать тысячи деталей в смену, потребляя малое количество растворителя. При этом большую часть времени они либо полностью открыты, либо прикрыты горизонтально перемещающейся крышкой, когда не используются. Минимизация потерь растворителя в результате уноса осуществляется за счет вторичных охлаждающих змеевиков, работающих при температуре ниже 0°С.

Концепция погружного охлаждения в открытой ванне

Эта концепция базируется на предпосылке, что электронное оборудование может быть охлаждено погружением в полуоткрытую ванну, которые во многом схожа с паровым обезжиривателем, рассмотренным выше. Термин «полуоткрытая» означает, что ванна закрыта, когда не требуется доступ к оборудованию и в качестве примера подобной конструкции можно привести морозильный ларь для еды. Так же как и он, ванна работает при атмосферном давлении и не имеет специальных герметичных разъемов для подводимого и отводимого электричества.

В данной системе каждый сервер или узел подключен к объединительной панели на дне ванны (в отличие от задней стенки серверной стойки). Ванна частично заполнена летучей диэлектрической рабочей жидкостью.

Модель открытой погружной системы охлаждения.

Электрическая проводка ниже уровня жидкости заведена в канал, и выходит из него наверху емкости. Встроенный конденсатор паров охлаждается либо водопроводной водой, либо водой, используемой для комфортного отопления (да, есть такое понятие в США).
Кроме того, пары могут пассивно течь в так называемую градирню с естественной тягой, отдавая тепло непосредственно наружному воздуху, без использования воды как промежуточного теплоносителя.

Проект Allied Control с фторкетоном 3М – двухфазное погружное охлаждение в открытой ванне.

Концепция имеет множество преимуществ по сравнению с традиционными системами жидкостного охлаждения. Основной принцип состоит в том, что пропадает надобность в большей части оборудования, обязательного для воздушного и жидкостного охлаждения, а соответственно и не рассматриваются вопросы, связанные с его установкой, надежностью и потребляемой мощностью. Плотность мощности и надежность системы очень высоки. Более того, данной технологии априори присуще противопожарные свойства.
Конечно, в рамках данной модели следует рассмотреть и другие аспекты, например, потери рабочей жидкости в результате уноса. Но, так как они возникают в одном определенном месте, а не в бессчетном количестве разъемов, то легко могут быть посчитаны и снижены с помощью технических приемов, о которых мы расскажем далее.

Внутри ванн тепло от десятков серверов вызывает кипение жидкости Novec.
Её пары конденсируются на охлаждающем змеевике и возвращаются в систему.

Тепловая эффективность

Тепловая эффективность системы складывается их двух составляющих. Первое определяется конструкцией печатной платы и количественно выражается в разнице температур между активным слоем в чипе процессора, как основного элемента, который требуется охладить, и температурой рабочей жидкости. Второе составляющее определяется разницей температур между рабочей жидкостью и подводимой водой. При этом под температурой рабочей жидкости мы подразумеваем температуру её кипения при атмосферном давлении.

Процессор в его типичной конфигурации в виде чипа, подложки и теплораспределительной крышки со встроенным радиатором почти идеально подходит для пассивной системы погружного охлаждения. В большинстве случаев требуется лишь нанесение 100-микронного слоя пористого металлического покрытия, которое улучшает теплоотдачу при кипении. Данные покрытия обеспечивают коэффициент теплопередачи > 10 Вт/cм2*К при тепловом потоке 30 Вт/cм2.
Если внедрить операцию по нанесению покрытия уже на этапе производства процессора, то пропадет необходимость во вторичном термоинтерфейсе, обычно используемом в многих схемах жидкостного охлаждения.

Модель погружной 2-х фазной системы охлаждения 3М.

Следующим моментом, который стоит рассмотреть, будет оценка того, какую максимальную выделяемую мощность может охладить данная система. В одном из исследований авторы предполагают, что требуется 100 см3 рабочей жидкости, чтобы охладить 1кВт-й модуль при условии, что известна и учтена его конфигурация, то есть плотность расположения компонентов.

Провели эксперименты

Для эксперимента собрали модельную печатную плату с 20-ю тепловыделяющими керамическими элементами размерами 19*19 мм и мощностью 200 Вт каждый. При этом, с одной стороны к ним на эпоксидный клей крепится медный радиатор размером 30*30*3 мм, с нанесенным с противоположной стороны тем самым покрытием, увеличивающим теплопередачу при кипении. Термопары в рабочей жидкости и в каждом из элементов позволяют подсчитать индивидуальное тепловое сопротивление и убедиться, что элементы не переходят в режим пленочного кипения. Далее эту модельную печатную плату погружают в узкую вертикальную емкость той же формы с зазорами 4 и 7 мм между кипящей поверхностью и стенкой.

Кипение Novec на криптоферме.

В ходе эксперимента было показано, что данная конфигурация способна отводить 4 кВт тепла (200 Вт с каждого элемента) через 4 мм зазор при атмосферном давлении, если в качестве рабочей жидкости залит гидрофторэфир – С3F7OCH3. При этом 4 кВт эквивалентно тепловому потоку в 11,7 Вт/cм2 против потока в 1,7 Вт/cм2, наблюдаемом в суперкомпьютере Cray X1E при охлаждении распылением!
Результаты эксперимента позволяют предположить, что значение в 1 кВт отводимой теплоты на 100 см3 рабочей жидкости определенно достижимы. Также значительно снижается количество используемых материалов и различного рода выбросы.

Химия рабочих жидкостей

В таблице ниже представлены свойства одного гидрофторэфира и двух фторкетонов. Они обладают необходимыми теплофизическими характеристиками, являются безопасными и совместимыми с различными материалами и были протестированы в открытой погружной системе охлаждения.
Заметьте, диэлектрические характеристики фторкетонов схожи с аналогичными свойствами перфторуглерода С6F14, который часто использовался в погружных системах охлаждения. В тоже время, гидрофторэфир имеет более высокую диэлектрическую постоянную и более низкое сопротивление, что может ограничить его использование в некоторых случаях. Первый из представленных фторкетонов со значением потенциала глобального потепления всего лишь в 1, на сегодняшний день широко используется в мире как пожаротушаший агент.

Свойство	Рабочая жидкость
Молекулярная формула	С6F14	C6F9OH5	C6F12O	C7F14O
Тип	ПФУ (перфторуглерод)	ГФЭ (гидрофторэфир)	ФК (фторкетон)	ФК (фторкетон)
Ткипения, °С	56	76	49	74
Тзамерзания, °С	< -100	< -100	< -100	< -100
Твспышки, °С	нет	нет	нет	нет
σ, мН/м	12	13,6	10,8	12,3
k, Вт/м*К	0,057	0,068	0,059	~ 0,06
Сжид, Дж/кг*К	1050	1220	1103	1130
ρ, кг/м3	1680	1420	1600	1670
ν, сСт	0,4	0,41	0,4	0,52
Рнасыщ. пара при 25°С, кПа	30,9	15,7	40,4	15,7
Рнасыщ. пара при 100°С, кПа	350	206	441	228
Удельное сопротивление, ГОм*м	1000000	0,1	10000	10000
Диэлектрическая постоянная	1,76	7,3	1,84	1,85
Потенциал глобального потепления	9300	55	1	1
Среднесменная ПДК, ppm	Не определена	200	150	150

Экономичность системы с точки зрения потерь рабочей жидкости

Действительно, это главный фактор, влияющий на жизнеспособность представленной системы.
Существую формулы для подсчета потерь жидкости во время заполнения ёмкости, пуска и работы. Они позволяют сделать вывод, что наиболее эффективной мерой для уменьшения потерь в результате уноса паров будет создание такой конструкции, в которой восходящие пары будут улавливаться с помощью вторичного охлаждающего змеевика, который автоматически включается, когда температура системы превысит заданную допустимую температуру.

В этих стеллажах находятся платы ASIC для майнинга, погруженные в жидкости Novec (установка находится в Гонконге).

Результаты

В ходе описанных выше экспериментов было показано, что при использовании коммерчески доступного фторкетона с температурой кипения 49°С в открытой ванне и потоке воды в 15 галлон (что примерно равно 3,785 *15 = 56,8 литра) в минуту, температура в активном слое чипа процессора не будет превышать 60°С. При этом достаточно использовать воду с температурой 28°С.

Если же допустимо повышение температуры в активном слое процессора до 83°С, и при это объемный поток воды достигнет 30 галлонов в минуту, то можно использовать воду для первичных змеевиков с температурой уже 62°С.

Плотность мощности, которую способна охладить емкость, равно 130 кВт/м2, что значительно выше предела в 52 кВт/м2, типичного для стоек с воздушным или гибридным охлаждением. При переходе к масштабу серверной с полностью жидкостной системой охлаждения подобного типа мы получаем 25 кВт/м2 против 2,2 кВт/м2 для серверной с воздушным охлаждением.

Кроме того, данная система значительно экономит место, так как не требуется устанавливать дополнительное оборудование, обязательное для воздушной системы охлаждения. Отводимое тепло можно использовать для отопления зданий, обогрева теплиц и других объектов.

Практическая реализация

Пример реализации новой концепции охлаждения можно посмотреть здесь.

Где еще можно узнать информацию?

Где можно купить?

У вас есть еще что-нибудь почитать?

Если мы допустили какие-либо ошибки, пишите в ЛС, мы все оперативно поправим. Не забывайте, мы ошибку поправим, а ваш коммент останется висеть.

Как охлаждать серверные стойки и шкафы

Тепло — это форма «бесполезной» энергии, которая возникает в результате работы оборудования в типичном ИТ-сервере. В серверной комнате или в центре обработки данных управление «нагревом» и поддержание охлаждения серверных стоек является такой же важной проблемой, как и обеспечение защиты серверов от сбоев в электросети. Чрезмерный нагрев может привести к старению компонентов и ранним сбоям системы, неустойчивой работе и представляет потенциальную опасность пожара как внутри серверного шкафа, так и в его локальной среде.

Серверы получают электроэнергию от своих локальных источников питания, будь то блок распределения питания, система ИБП или розетка электросети через внутренние импульсные источники питания. Процессор работает, позволяя электрическим сигналам проходят через его микроскопические транзисторы или путем блокирования их. Когда электрическая энергия (постоянный ток) проходит через ЦП, накапливается тепло. Тепло рассеивается в окружающую среду. Чем мощнее ЦП, тем больше выделяется тепла. Чем больше количество серверов, тем больше тепла рассеивается по мере увеличения использования нагрузки на серверах. В ограниченном пространстве, например в серверном шкафу , нагревание может быть значительным и опасным, если его не контролировать. Более мощные процессоры, используемые для приложений машинного обучения, потребляют больше энергии и выделяют еще больше тепла.

Для серверных комнат и центров обработки данных, количество тепла, генерируемого и рассеиваемого в помещении, редко бывает однородным, и его необходимо направлять и регулировать, чтобы система кондиционирования воздуха или охлаждения работала как можно более эффективно и рационально. Управление охлаждением и влажностью необходимо для защиты критически важных систем и поддержания их эксплуатационной устойчивости.

При принятии решения о том, как лучше охладить окружающую среду, следует учитывать несколько аспектов. Для серверного шкафа наиболее подходящий уровень охлаждения и вентиляции будет зависеть от нескольких факторов:

Количество серверов, коммутаторов и маршрутизаторов и их тепловая мощность
Тепловая мощность дополнительных систем внутри шкафа (например, систем ИБП)
Механическая конструкция шкафа, перфорация, размер и использование пространства
Тепловые характеристики шкафа с точки зрения вентиляции
Расположение шкафа в помещении

Таблички с паспортными данными серверов могут ввести в заблуждение при расчете необходимого уровня охлаждения. Цифры обычно показывают максимальную потребляемую мощность в амперах, ваттах или киловаттах. Использование этих чисел может привести к завышению размеров, будь то система охлаждения или источник бесперебойного питания. Таким образом, цифры могут использоваться только в качестве ориентира для определения требуемого уровня охлаждения.

Варианты охлаждения серверного шкафа

Адекватный воздушный поток жизненно важен для обеспечения эксплуатационной надежности критически важных элементов внутри шкафа. Охлаждение и воздушный поток должны быть достаточно хорошими, чтобы предотвратить накопление тепла (горячие точки) и гарантировать, что все компоненты в стойке должным образом охлаждаются независимо от того, где они размещены (внизу, в середине или вверху стойки).

Итак, как обеспечить хороший воздушный поток и что нужно учитывать?

Когда требуется дополнительное охлаждение, выбор затем сводится к тому, какой метод охлаждения использовать, и они варьируются от естественной до активной конвекции.

Охлаждение естественной конвекцией

Эта форма охлаждения основана на том факте, что тепло переходит из более теплой среды в более прохладную. Если воздух вокруг серверной стойки холоднее внутренней температуры, тепло внутри шкафа будет естественным образом излучаться через боковые стороны и двери, и внутренняя температура соответственно снизится. Хотя это «бесплатная» форма охлаждения, она слабо эффективна, и ее эффективность зависит от внешней температуры воздуха за пределами серверного шкафа. Если дифференциал недостаточно велик, изнутри наружу шкафа будет поступать мало тепла.

Принудительное конвекционное охлаждение

Вентилятор, установленный внутри серверной стойки, может усилить воздушный поток и уменьшить барьер термического сопротивления между шкафом и окружающей средой. Вентиляторы могут быть установлены наверху шкафов или на направляющих 19 дюймов. Самый эффективный способ монтажа, это верхние вентиляторные модули . Внутренние вентиляторы 19" обычно используются для устранения локальных горячих точек. Объем циркуляции можно увеличить, добавив больше вентиляторов, но проблема с этим типом устройства заключается в качестве воздуха и температуре наружного воздуха. Если воздух загрязнен пылью, грязью, маслом или влагой, воздушный поток вентилятора приведет к их скоплению на вентиляторах и внутри узла внутренней стойки. Там, где это проблема, например, некоторых промышленных средах, воздушно-воздушный теплообменник с замкнутым контуром может стать решением.

Активное конвекционное охлаждение - воздушное

Кондиционирование воздуха, это форма активного конвекционного охлаждения, наиболее часто используемая, когда естественное или конвекционное охлаждение оказывается неэффективным. Существует несколько типов кондиционеров для серверных комнат и центров обработки данных, включая настенные и потолочные подвесные, встроенные блоки и кондиционеры для компьютерных залов в сборе, называемые CRAC.

Вместо охлаждения всей комнаты можно также встроить кондиционер в серверный шкаф. Эта конфигурация образует замкнутую систему (с внутренним испарителем) и может быть идеальной для промышленных или экстремальных сред, где существует опасность загрязнения из-за грязи и пыли или влаги, воды и других жидкостей. Такие системы с замкнутым контуром имеют экономическую выгоду, поскольку они более эффективны, так как они ориентированы на охлаждение одного шкафа, а не всего массива. Для этого типа охлаждающей системы жизненно важно, чтобы кондиционер был точно подобран по размеру.

Активное охлаждение - на жидкостной основе

Жидкостное охлаждение — еще одна форма принудительного активного охлаждения. В системах этого типа используется специальная жидкость для охлаждения воздуха внутри шкафа, горячего/холодного коридора или всего объекта обработки данных. Двери с жидкостным охлаждением могут быть установлены в некоторые серверные шкафы, чтобы обеспечить индивидуальное решение. Утечки жидкости стали менее важны для более современных решений благодаря самовосстанавливающимся системам.

Решения для охлаждения естественным воздухом

Естественное воздушное охлаждение, это метод охлаждения больших серверных залов или центров обработки данных, который может быть подходящим решением для объектов с низкой температурой наружного воздуха. Это решение больше подходит для больших помещений, чем для отдельных серверных стоек и шкафов, и может полагаться на адиабатические процессы охлаждения.

Заключение

Существует много вариантов охлаждения серверных шкафов и стоек, а также центров обработки данных. Нет единого решения, подходящего для всех установок. Некоторые системы охлаждения и кондиционеры могут быть установлены относительно легко, а другие требуют более сложную установку и даже нестандартных или изготовленных на заказ элементов.

Если стоит выбор, где купить вентиляторные модули, выбирайте надёжного поставщика. Компания « АнЛан » занимает лидирующие позиции на рынке РФ с 2007 года. Разумная цена и европейское качество — то, что отличает продукцию компании от других организаций.

Читайте также: