Сравнение жидкостей Novec и Coolant — почему мы остановились на собственной разработке
В последние годы появились десятки составов, которые позиционируются как жидкости для иммерсионного охлаждения. В основном речь идёт о разновидностях минеральных масел, ПАОМ, кремнийорганических маслах (силоксанах ПМС, ПДМС, ПЭС) или фторкетонах. Почему для нашей установки мы решили провести серию экспериментов и выбрать оптимальный и недорогой состав?
Как появился Novec
Первоначально для охлаждения трансформаторов использовали минеральное масло. В 50-ые гг. компания 3M впервые изготовила фторсодержащий хладагент для военной авионики. Его назвали Fluorinert. В 1996 году появился новый тип жидкости под маркой Novec, в которой не было озоноразрушающих веществ.
Жидкость первого поколения относилась к перфторуглеродам. Её свойства:
без цвета и запаха;
отличные диэлектрические свойства;
совместимость со многими материалами;
высокие точки кипения.
Главным недостатком Fluorinert было то, что испарения жидкости долго оставались в атмосфере и косвенно способствовали глобальному потеплению. Поэтому их использовали в тех установках, где можно было обеспечить герметичность и минимизацию выбросов жидкости в окружающую среду. Особое внимание уделялось тому, чтобы жидкость не попадала на кожу и в глаза. В результате многолетней эксплуатации в суперкомпьютерах Cray-2 выяснилось, что она расщеплялась и выделяла очень токсичный перфторизобутан. В ЦОДах при длительной эксплуатации появлялись проблемы с блоками питания, проводами, конденсаторами и пр.
Большую популярность жидкости Novec имеют на Западе. Во-первых, бренд хорошо известен и зарекомендовал себя как безопасное средство тушения при возгораниях электроники. Во-вторых, 3M позиционировал жидкость как доработанную для майнеров. В-третьих, майнеры США и Западной Европы готовы вкладываться в майнинг с долгосрочным «прицелом». И, что немаловажно, они готовы инвестировать солидные средства в систему охлаждения. На просторах СНГ иммерсионное охлаждение больше связано с экспериментами и реализацией штучных проектов, причём жидкость якобы должна быть дешёвой и столь же безопасной как Novec. Но так не бывает.
С применением Novec появилась возможность создавать двухфазные системы иммерсионного охлаждения (2 PIC) с полуоткрытыми контейнерами.
Система двухфазного охлаждения на базе Novec
В двухфазной системе охлаждения используют ёмкость, в которой размещены платы или другое оборудование. Диэлектрической жидкостью выступает, например, Novec 7100 с температурой кипения 61 градус Цельсия. В процессе работы оборудование выделяет тепло, жидкость нагревается, закипает и начинает испаряться. При этом Novec забирает тепло от наиболее горячих элементов и переносит к конденсаторам, в которых циркулирует охлаждающая жидкость (вода). Она является промежуточным теплоносителем, при помощи которого тепло, выделяемое при конденсации хладагента, отводится в окружающую среду.
Для испарения 1 г Novec необходимо 120 Дж энергии. Видеокарта мощностью 200 Вт за 1 секунду испаряет около 2 г жидкости. За минуту произойдёт испарение 120 г. Таким образом, эффективность теплоотвода при кипении очень высока и позволяет отказаться от радиаторных пластин. Для двухфазного охлаждения обычно применяют Novec 7000, 7100 и 7200.
При испарении происходит переход Novec из жидкого состояния в газообразное. Поэтому процесс называется двухфазным. Если ёмкость оставить открытой, жидкость будет испаряться и её постоянно потребуется доливать. В закрытой ёмкости пар поднимается к крышке, где устанавливают конденсатор (несколько труб или змеевик ) с охлаждающей жидкостью (можно даже с холодной водой), то есть тот же теплообменник. Газ конденсируется, появляются капли и струями стекают обратно в ёмкость. При этом не нужны насосы и постоянный долив жидкости. Так формируется один закрытый рабочий контур.
Разумеется, жидкость в конденсаторе тоже нагревается. И мощность нагрева прямо пропорциональна выделяемой видеокартами мощности, необходимой для кипения жидкости. Поэтому постоянно требуется охлаждение жидкости. Для этого формируют второй закрытый контур. Вода, которая бежит по трубам, попадает в воздушный теплообменник с вентилятором, вынесенными на улицу. Он отводит тепло и вода вновь пригодна для охлаждения.
Для двухфазной системы намеренно используют жидкость-диэлектрик с низкой точкой кипения. Это сделано для того, чтобы точка кипения жидкости не превышала рабочий температурный режим элементов, а теплообмен происходил интенсивнее. При этом на видеокарты, например, часто устанавливают медные пластины. С них снимают теплопроводящие прокладки и удаляют термопасту. Затем устанавливают медную пластину по толщине зазора. Её подбирают по примерной толщине удаленной термопасты или прокладки. Теплопроводность меди, напомним, одна из самых высоких среди других элементов. То есть доработка оборудования перед погружением происходит и при охлаждении в двухфазке.
Преимущества двухфазной системы охлаждения на базе Novec:
безопасная для электроники и негорючая жидкость (используется для тушения пожаров);
экономия на системах охлаждения погружённого оборудования;
Источник
Погружное охлаждение электроники
Взрывной рост интернета, искусственного интеллекта, облачных сервисов и высокопроизводительных вычислительных систем привели не только к кардинальным изменениям в работе дата-центров (ЦОД), но и в самом качестве жизни. Но всё имеет свою цену. Сегодня дата-центры потребляют колоссальное количество электроэнергии, в США оно доходит до 2% от общего объема энергопотребления страны. Энергия, потребляемая подсистемой охлаждения, может варьироваться от 2-6% до 60-70% от общего количества энергии ЦОД. Один дата-центр потребляет в день электроэнергии столько же, сколько небольшой город в 9 тысяч жителей. При этом основная часть электричества уходит на работу охлаждающих устройств и вентиляторов. Поэтому вопрос эффективности отвода тепла в современном ЦОД – это вопрос построения максимально эффективной системы отвода тепла от массива серверов.
Для сокращения затрат на охлаждение серверов и уменьшения вредного воздействия выбросов в окружающую среду компания 3М разработала революционный метод охлаждения для дата-центров – технические жидкости для иммерсионного охлаждения в однофазных и двухфазных системах. Внедрение такого метода охлаждения позволяет сократить энергозатраты на 97% (!) при уменьшении площадей серверных помещений на порядок и поддержке оптимальной рабочей температуры процессоров.
Иммерсионное охлаждение осуществляет теплоотвод методом непосредственного погружения печатных плат в непроводящую диэлектрическую жидкость. Тепло, выделяемое комплектующими, напрямую и эффективно передается жидкости, устраняя необходимость в активных компонентах охлаждения (таких как термоинтерфейсы, радиаторы и вентиляторы). Такая организация теплоотвода повышает эффективность используемых энергоресурсов и уплотняет размещение серверов в стойках. А «собранное» тепло можно использовать для последующих инноваций.
В США энергоэффективность государственных дата-центров регулируется указом президента Обамы от 2015 года, согласно которому PUE всех дата-центров должна составлять менее 1.5, а новые дата-центры должны достичь уровня 1.2-1.4 к 2025.
В 2014 году компания 3М получила бронзовую медаль Эдисона (награда, вручаемая институтом инженеров электротехники и электроники IEEE) за технологию двухфазного охлаждения посредством жидкостей Novec.
Основные типы иммерсионного охлаждения
Основными методами охлаждения электроники являются воздушное (преимущественно) и жидкостное.
Сегодня большинство ЦОД построено на воздушном или воздушно-водяном охлаждении. Сравнение с воздушным методом охлаждения приведено в таблице.
Таблица. Сравнение воздушного и жидкостного охлаждения (данные ГК РСК).
| Метод охлаждения | Воздушное | Жидкостное | Разница |
|---|---|---|---|
| Время выполнения теста | 63 мин. 21сек. | 59 мин. 29 сек. | 6,5% |
| Средняя электрическая мощность | 491 Вт | 425 Вт | 15,5% |
| Потребленная сервером энергия | 0,518 кВт/ч | 0,421 кВт/ч | 23% |
| PUE | 1,6 | 1,06 | 50% |
| Оценка общей потребленной энергии для теста | 0,83 кВт/ч | 0,44 кВт/ч | 88% |
Преимущества двухфазного охлаждения перед воздушным:
— увеличение плотности мощности на стойку
— повышение производительности в расчете на 1 кв.м.
— существенное снижение энергопотребления
В качестве жидкостного охлаждения сегодня используются различные материалы: вода, деионизированная вода, ингибированные гликоли (этиленгликоль и пропиленгликоль), диэлектрические жидкости. Принципиальное значение при выборе типа жидкости имеет вопрос совместимости жидкости со смачиваемыми материалами (что позволит избежать коррозии при долгосрочном использовании).
Таблица. Совместимость материалов с различными охлаждающими жидкостями
| Материал | Вода | Гликоли | Деионизированная вода | Диэлектрические жидкости |
| Медь | + | + | + | |
| Алюминий | + | + | ||
| Нержавеющая сталь | + | + | + | + |
Вода является отличным решением для охлаждения, она имеет хорошую теплопроводность и совместима с медью. Для ее использования в системе охлаждения необходимо озаботится дополнительными фильтрами или деионизаторами воды, поскольку примеси в водопроводной воде очень быстро приведут к образованию коррозии. Для защиты от коррозии в воду добавляют фосфаты, они являются эффективной антикоррозионной добавкой для нержавеющей стали и большинства алюминиевых компонентов, а также обеспечивают pH контроль. Их единственный недостаток – отложение осадка вместе с кальцием.
Этиленгликоли широко используются в автомобильной промышленности (антифриз), однако их нельзя использовать для охлаждения электроники, поскольку они содержат ингибиторы с силикатами, которые разрушают герметизирующие прокладки и способствуют гелеформированию. Сегодня этот тип охлаждения используется в оборудовании для пищевой промышленности.
По сравнению с водопроводной водой деионизированная вода является хорошим изолятором, но отличается высокой резистивность и коррозийностью, поэтому в нее добавляют антикоррозионные добавки. Кроме того, трубки должны быть выполнены из сверхчистого материала, а любая арматура иметь покрытие никелем.
Технические жидкости Novec имеют ряд преимуществ перед другими диэлектрическими жидкостями, например, минеральным маслом. Помимо того, что жидкости 3М являются невоспламеняющимися и невзрывоопасными, они имеют необходимую точку кипения и термостабильность для построения двухфазной системы охлаждения. Обслуживание и ремонт оборудования не вызовет проблем, поскольку погруженные в жидкость платы остаются чистыми и сухими (именно сухими, несмотря на то, что они погружены в якобы «жидкость»). Кроме того, масло вызывает множество проблем с очисткой как охлаждаемой аппаратуры, так и помещений, где оно расположено (в случае протечки).
Диэлектричекие жидкости 3М совместимы с любыми материалами, в то время как масло плохо совместимо с пластиковыми кабелями, может оставлять осадок на компонентах. Также масло долго сохраняет тепло, что затрудняет быстрое и своевременное обслуживание оборудования.
Таблица 1. Совместимость жидкостей Novec с различными материалами
| Металлы | Пластмассы | Эластомеры |
| Алюминий Медь Углеродистая сталь Нержавеющая сталь 302 Латунь Молибден Тантал Вольфрам Cu/Be-сплав С172 Mg-сплав AZ32B | Акрил (РММА) Полиэтилен Полипропилен Поликарбонат Полиэстер Эпоксидная смола PEТ фенол ABS | Бутиловый каучук Натуральный каучук Нитрильный каучук EPDM |
Диэлектрические охлаждающие жидкости 3М
В 1950 годы компания 3М выпустила первую фторсодержающую охлаждающую жидкость для военной авионики (Fluorinert). 70-е и 80-е годы XX века стали эрой расцвета материалов для прямого контактного охлаждения, благодаря чему стало возможным развитие радарной техники, силовой электроники и суперкомпьютеров.
В 1996 году 3М разработали новый тип жидкости для замены озоноразрушающих веществ (таких как CFC, HFC) – жидкости под торговой маркой Novec.
Жидкости Fluorinert 3M относятся к классу полностью фторированных жидкостей, известных как перфторуглероды (PFC). Прозрачные, без цвета и запаха, невоспламеняемые, жидкости имеют ряд особенностей, делающих их привлекательными для иммерсионного охлаждения печатных плат, в их число входят отличные диэлектрические свойства, широкий диапазон точек кипения и хорошая совместимость с различными материалами. Эти жидкости используются для решения сверхсложных и ответственных задач теплоотвода более чем 50 лет, например, в пассажирских экспрессах в Японии и в экспериментальном космическом модуле Kibo (Hope) на МКС. Также они широко используются как практический материал для прямого охлаждения силовых конвертеров и в испытательных лабораториях.
Несмотря на то, что жидкости Fluorinert не разрушают озоновый слой, они имеют долгий срок жизни в атмосфере и обладают высоким потенциалом глобального потепления. При этой причине, как и все перфторуглероды, они должны использоваться только в тех приложениях, где требуются их уникальные свойства, при этом особое внимание следует уделить контролю выбросов и их минимизации.
Жидкости Fluorinert должны использоваться только в закрытых резервуарах и системах, особые меры безопасности требуются для предотвращения попадания в глаза и на кожу. Несмотря на то, что жидкость инертная, практика ее применения в суперкомпьютерах Cray-2 показала, что в течение продолжительного срока эксплуатации она расщепляется и выделяет высокотоксичный перфторизобутан. Для его удаления необходимо использовать катализаторные очистители.
Практика использования перфторуглеродных жидкостей была показана в научно-фантастическом фильме «Бездна» (1989), где насыщенная кислородом Fluorinert жидкость использовалась дайверами для погружения на большие глубины. Проводился эксперимент с крысами, которые дышали в банке с такой жидкостью, но сцена была вырезана из фильма как жестокое обращение с животными.
| Техническая жидкость Fluorinert | FC-40 | FC-770 |
| Технология | 1-фазное охлаждение | |
| Температура кипения, °С | 155 | 95 |
| Температура застывания, °С | -57 | -127 |
| Критическая температура, °С | 270 | 238 |
| Молекулярная масса, г/моль | 650 | 399 |
| Критическое давление, МПа | 1.18 | 2.47 |
| Давление пара, кПа | 0.43 | 6.6 |
| Теплота парообразования, кДж/кг | 68 | 86 |
| Плотность жидкости, кг/куб.м | 1850 | 1793 |
| Коэффициент расширения, К | 0.0012 | 0.0015 |
| Кинетическая вязкость, сСт | 1.8 | 0.79 |
| Удельная теплота, кДж/кг-К | 1100 | 1038 |
| Теплопроводность, Вт/м-К | 0.065 | 0.063 |
| Поверхностное натяжение, мН/м | 16 | 15 |
| Диэлектрическая прочность, зазор 0.1°, кВ | >40 | >40 |
| Диэлектрическая постоянная при 1кГц | 1.9 | 1.9 |
Поскольку перфторуглероды (жидкости Fluorinert) имеют высокий потенциал глобального потепления, компания 3М разработала новый тип охлаждающей жидкости, который не наносит вреда окружающей среде. Это жидкости Novec 7100 на основе метокси-нонафторбутан (C4F9OCH3). Жидкость Novec 7100 (C4F9OCH3) состоит из двух неразделимых изомеров с практически идентичными свойствами. Это (CF3)2CFCF2OCH3 (CAS-номер 163702-08-7) и CF3CF2CF2CF2OCH3 (CAS-номер 163702-07-6).
Жидкости Novec позволяют создавать двухфазные (2PIC) иммерсионные системы охлаждения с полуоткрытыми контейнерами (т.н. open bath immersion, OBI). Уже сегодня применение этих жидкостей в дата-центрах демонстрирует непревзойденные результаты, экономя до 95% электроэнергии и сокращая в 10 раз занимаемые оборудованием площади. Благодаря эффективному теплоотводу достигается хороший разгон процессора. Двухфазные системы не требуют охладителей, вентиляторов или герметичных корпусов.
| Техническая жидкость | Novec 7000 | Novec 7100 | Novec 7200 | Novec 7300 | Novec 7500 > |
| Технология | 2-фазное охлаждение | 1-фазное охлаждение | |||
| Температура кипения, °С | 34 | 61 | 76 | 98 | 128 |
| Температура застывания, °С | -122 | -135 | -138 | -38 | -100 |
| Критическая температура, °С | 165 | 195 | 210 | 243 | 261 |
| Молекулярная масса, г/моль | 200 | 250 | 264 | 350 | 414 |
| Критическое давление, МПа | 2.48 | 2.23 | 2.01 | 1.88 | 1.55 |
| Давление пара, кПа | 65 | 27 | 16 | 5.9 | 2.1 |
| Теплота парообразования, кДж/кг | 142 | 112 | 119 | 102 | 89 |
| Плотность жидкости, кг/куб.м | 1400 | 1520 | 1420 | 1660 | 1614 |
| Коэффициент расширения, К | 0.0022 | 0.0018 | 0.0016 | 0.0013 | 0.0013 |
| Кинетическая вязкость, сСт | 0.32 | 0.38 | 0.41 | 0.71 | 0.77 |
| Удельная теплота, кДж/кг-К | 1300 — Пар конденсируется на крышке или катушке радиатора — Жидкость стекает в резервуар — Пар поднимается вверх — Жидкость, нагретая от работы компонентов, переходит в пар | ||||
Выбор жидкости для двухфазного охлаждения обычно основывается на ее точке кипения. Для оборудования пайки струей горячего пара точка кипения жидкости выбирается так, чтобы ее уровень соответствовал точке эвтектики припоя. Для систем охлаждения электроники точка кипения жидкости должна поддерживать требуемый рабочий температурный режим компонентов.
Также следует учитывать температуру оконечного радиатора. В некоторых случаях жидкость FC-72 используется не по причине того, что ее точка кипения 56°С является идеальной для работы электроники, а потому что эта точка кипения позволяет конденсатору выбрасывать тепло в окружающую среду без компрессора. Следует учитывать, что жидкостям Fluorinert или Novec обычно нужны тепловые потоки более 2 Вт/кв.см для поддержки кипения. Перегрев стенок обычно составляет 15-25°С в процессе кипения и критические тепловые потоки обычно составляют 15-20 Вт/кв.см для кипящего резервуара. Более подробно построение системы двухфазного охлаждения будет рассмотрено во второй части статьи.
Экологичность и безопасность для обслуживающего персонала
Организация дата-центров с иммерсионным охлаждением не должна идти в ущерб безопасности рабочей среды для обслуживающего персонала. Все технические жидкости 3М:
— превосходят все требования по безопасности
— имеют низкую токсичность
— не воспламеняются.
| Острая летальная ингаляционная концентрация | Более 100 000 ppm (4 часа) |
| Пероральное воздействие | Практически не токсичная (более 5г/кг) |
| Раздражение глаз и кожи | Практически не вызывает раздражения |
Снижение энергопотребление хорошо не только само по себе, это позволяет улучшить нашу экологию. Уменьшение потребляемой энергии означает сокращение выработки электроэнергии, меньшее использование нефтепродуктов и сокращение выбросов в атмосферу. Меньшие площади дата-центров экономят строительные материалы и ресурсы на обслуживание. «Зеленый» дата-центр с жидкостями 3М – это:
— благоприятный экологический профиль
— низкий потенциал глобального потепления
— нулевой потенциал разрушения озонового слоя земли.
Сегодня иммерсионное охлаждения посредством жидкостей 3М только выходит на российский рынок. Однако на мировом рынке она уже имеет 50-летнюю историю успеха. Эта технология сегодня используется в суперкомпьютерах Intel и SGI – ведущих игроках на рынке высокопроизводительных вычислений. В демонстрации технологии 3М используются чипы ES-2600 Xeon Intel. Тестовые испытания серверов Intel показали энергоэффективность 1,02-1,03 PUE.
Приведем несколько примеров успешного внедрения.
Суперкомпьютер Suiren («водяная лилия»), разработанный японской компанией PEZY Computing и ExaScaler Inc., использует однофазное охлаждение на основе жидкости 3М Fluorinert, что помогло ему войти в лист «Green 500» самых высокопроизводительных компьютеров. Этот рейтинг ведется с 2007 года, в основе критерия производительности лежит число операций, выполненных за 1 Вт. В 2014 году они заняли 2 место, достигнув производительности 4,95 Гфлопс/Вт, затратив на это 37,38 кВт.
Прорыв в эффективности дата-центров был сделан компанией Allied Control (сегодня принадлежит BitFury Group), ведущим провайдером Blockchain технологии. В 2014 году, компания, уже имеющая опыт двух проектов по иммерсионному охлаждению, запустила самый большой свой проект – масштабируемая система 40+ МВт на 160 емкостей с плотностью мощности 250 кВт на емкость и эффективностью энергопотребления PUE 1,02 (отметим, что сегодня лучшими мировыми стандартами являются значения 1,5). Это будет самый мощный дата-центр с погружным охлаждением в мире. В качестве охлаждающей жидкости был выбран Novec 7100.
Примеры совсем не ограничиваются зарубежным опытом, в России уже несколько компаний успешно применяют охлаждающие жидкости 3М. Например, интегратор и разработчик суперкомпьютерных решений компания РСК использует прямое жидкостное охлаждение в своей линейке ЦОД оборудования с 2010 года.
Технология, применяемая РСК, позволяет реализовать жидкостное охлаждение для стандартных серверных плат, процессоров и памяти, но также и дополнительных карт расширения, таких как ускорители или сопроцессоры, карты ввода/вывода и прочее. На основе технологии прямого жидкостного охлаждения РСК была создана архитектура высокоплотного размещения серверов в стойке с прямым жидкостным охлаждением всех серверов — РСК Торнадо, обеспечивающая плотность упаковки до 128 серверов в стойке размеров 80х80х200 см. Такая архитектура позволяет отвести до 100кВт тепловой энергии от одной стойки. Коэффициент эффективности использования энергии равен 1,06, т.е. на охлаждение тратится не более 6% электроэнергии, потребляемой вычислителем. Суммарная экономия затрат на охлаждение составляет до 68 % по сравнению с воздушной или воздушно-водяной системами охлаждения (у которых типичный коэффициент PUE равен 1.5-2).
Узел РСК Торнадо.
Другой пример отечественной разработки – суперкомпьютеры «СКИФ-Аврора ЮУрГУ», разработанные компанией «РСКСКИФ» при участии института программных систем РАН.
Суммируем основные преимущества построения ЦОД и вычислительных центров на иммерсионном охлаждении:
— уменьшение энергопотребления, используемого для охлаждения серверов, возможность построения «зеленых» дата-центров
— требуется всего несколько подвижных элементов для обслуживания и ремонта
— увеличение плотности размещения серверов, поскольку жидкость более эффективно отводит тепло
— возможность максимального использования ресурсов процессоров, поскольку температура поддерживается ниже термального предела
— простота обслуживания, не требуется чистка и сушка
— значительное сокращение шумового фона в серверных зонах
— защита IT оборудования от загрязнений окружающей среды, таких как пыль и сера
Иммерсионное охлаждения диэлектрическими жидкостями 3М – это новый этап в развитии систем охлаждения не только вычислительных центров, но и силовой электроники и железнодорожного транспорта, о чем пойдет речь в следующих статьях.
Источник
