Каждое обсуждение планирования объектов ИИ приводит к одной и той же развилке: холодные пластины для прямого охлаждения чипов или полное погружение (иммерсионное охлаждение). Обе технологии используют жидкость для отвода тепла и на порядок превосходят воздушное охлаждение, однако они различаются почти во всем, что определяет успех проекта: какую часть сервера они охлаждают, что должно обеспечивать здание, как техники обслуживают оборудование и что гидравлический контур требует от насосов. Сравнения от поставщиков, как правило, говорят в пользу той архитектуры, которую продает поставщик. В этом руководстве проводится сравнение обеих технологий с инженерной точки зрения, с цифрами, которые определяют реальные проекты, и последствиями для насосов и гидравлических контуров, которые пропускаются в большинстве сравнений.
Как каждая архитектура отводит тепло
Прямое охлаждение чипов (Direct-to-chip): целенаправленный отвод
При прямом охлаждении чипов герметичные холодные пластины устанавливаются на компоненты с самым высоким тепловым потоком, процессоры (CPU) и графические процессоры (GPU), и через микроканалы внутри пластин циркулирует водно-гликолевый хладагент со скоростью примерно от 0,5 до 2 литров в минуту (LPM) на пластину. Термическое сопротивление между кристаллом и хладагентом падает до 0,02–0,10°C/Вт, что в десять-двадцать раз лучше, чем у воздушного радиатора. Контур проходит через блок распределения охлаждающей жидкости (CDU), который изолирует технологический хладагент от воды объекта и поддерживает заданные значения расхода, температуры и давления. Отвод тепла покрывает от 60 до 80 процентов нагрузки на стойку; память, преобразователи мощности и устройства хранения данных по-прежнему отдают свое тепло воздуху, поэтому в зале наряду с жидкостным контуром сохраняется сокращенный уровень воздушного охлаждения.
Иммерсионное охлаждение: отвод тепла от всего сервера
Иммерсионное охлаждение полностью устраняет границу, погружая серверные платы в диэлектрическую жидкость. Однофазные системы прокачивают жидкость через теплообменник и обратно в резервуар. Двухфазные системы позволяют жидкости кипеть на горячих компонентах и конденсироваться на змеевике сверху, перемещая тепло посредством фазового перехода с минимальным перекачиванием. Отвод тепла достигает 98 процентов от ИТ-нагрузки, серверные вентиляторы убираются, а эквивалентная плотность стоек достигает от 100 до 250 кВт на резервуар. Компромисс заключается в эксплуатации: требуются модификации серверов, предназначенные для погружения, техническое обслуживание включает извлечение мокрого оборудования из жидкости, а объект получает программу управления жидкостями, которой у него никогда раньше не было.
Прямое сравнение: Цифры, которые определяют проекты
| Критерий | Прямое охлаждение чипов | Однофазное иммерсионное | Двухфазное иммерсионное |
|---|---|---|---|
| Практическая плотность стойки | От 60 до 120 кВт | От 50 до 150 кВт | От 100 до 250+ кВт |
| Доля отвода тепла | От 60 до 80% | ~98% | ~98% |
| Типичный PUE | От 1.05 до 1.15 | От 1.02 до 1.10 | От 1.01 до 1.08 |
| Модификация сервера | Холодные пластины на стандартном шасси | Оборудование, рассчитанное на погружение | Рассчитано на погружение, квалифицировано для герметичных резервуаров |
| Рабочий процесс обслуживания | Стандартная горячая замена (hot-swap) в стойке с быстроразъемными соединениями | Доступ к резервуару, обращение с жидкостью, процедуры сушки | Герметичный резервуар, контроль потерь жидкости, специальные процедуры |
| Хладагент | Вода-гликоль, от 20 до 35% | Диэлектрический углеводород | Специальная кипящая жидкость |
| Пригодность к модернизации (Retrofit) | Высокая, развертывание по стойкам | Слабая, выделенные модули или новое строительство (greenfield) | Самая слабая, специально построенные объекты |
Четыре оси принятия решения
Траектория плотности
Стойки с графическими процессорами текущего поколения работают в диапазоне от 40 до 120 кВт, что находится прямо в зоне прямого охлаждения чипов. Это ключевая причина, по которой рекомендованные OEM-производителями конфигурации для флагманских систем ИИ поставляются с холодными пластинами. Планы развития, указывающие на мощность свыше 150 кВт на стойку, усиливают аргументы в пользу иммерсионного охлаждения. Сопоставьте архитектуру с тем, какой будет ваша плотность через пять лет, с оговоркой, что гибридный путь позволяет вам отложить переход к крайним значениям.
Модернизация или новое строительство (greenfield)
Прямое охлаждение чипов внедряется в существующий зал ряд за рядом с использованием стандартных стоек, стандартных шасси и одного блока CDU на ряд или на стойку. Иммерсионные резервуары влекут за собой нагрузки на перекрытия, требования к удержанию разливов, стратегию пожаротушения и переделку электрики, что делает их плохим выбором для модернизации и сильным выбором для строительства с нуля. Большая часть заявленных мощностей ИИ до 2026 года находится в существующих или традиционных зданиях, что объясняет, почему внедрение холодных пластин доминирует в текущих установках.
Операционная модель
Обслуживание холодных пластин похоже на то, что уже делают команды технического обслуживания: быстроразъемные соединения, горячая замена (hot-swap), знакомые рабочие процессы в стойке. Иммерсионное охлаждение меняет операционную культуру в отношении чистоты жидкостей, проверки совместимости и процедур подъема. Архитектура, которая соответствует вашей имеющейся команде, превзойдет теоретически более совершенную, которая не соответствует никому на объекте.
Стандарты и гарантия
Прямое охлаждение чипов опирается на зрелые стандарты, включая спецификации интерфейса OCP ACS и широкий выбор холодных пластин от OEM-производителей с сохранением гарантий. Сертификация оборудования для иммерсионного охлаждения улучшается, но по-прежнему зависит от конкретного поставщика, а условия гарантии для работы в погруженном состоянии требуют подтверждения в каждом конкретном случае.
Что каждая архитектура требует от насосов и гидравлических контуров
Это тот уровень сравнения, который пропускают в большинстве статей, и именно тот уровень, где на самом деле происходят отказы.
Прямое охлаждение чипов: прецизионный водно-гликолевый контур
Технологический контур охлаждения — это схема с высоким сопротивлением: микроканалы холодных пластин, быстроразъемные соединения и сети коллекторов создают падение давления при умеренном расходе. Насосы работают непрерывно с переменной скоростью внутри блока CDU по схеме резервирования N+1, должны поддерживать стабильное давление по мере загрязнения фильтров и не допускают утечек в зал обработки данных. Вязкость гликоля при низких температурах требует снижения номинальных характеристик кривой. Бессальниковые циркуляционные насосы с магнитным приводом и проточной частью из нержавеющей стали идеально подходят для этой задачи, как подробно описано в руководстве по выбору насосов для жидкостного охлаждения дата-центров ИИ; вихревой магнитный насос MDW удовлетворяет требованиям к стабильному низкому расходу и нулевой утечке, а его способность работать в прямом и обратном направлении упрощает заполнение и продувку контура.
Однофазное иммерсионное охлаждение: циркуляция диэлектрика
Циркуляционные насосы резервуаров перекачивают специальные диэлектрические жидкости с низкой смазывающей способностью и специфическими требованиями к совместимости материалов. Локализация утечек имеет меньшее значение с точки зрения риска для электроники, поскольку сама жидкость не проводит ток, но имеет большее значение с точки зрения стоимости жидкости и поддержания чистоты. Материалы уплотнений и конструкция подшипников должны быть подтверждены на соответствие точному химическому составу жидкости.
Двухфазное иммерсионное охлаждение: минимальное перекачивание
Кипение и конденсация перемещают тепло, поэтому задача насоса сокращается до подпитки, фильтрации и перекачки конденсата. Инженерная нагрузка смещается на целостность герметичного резервуара и контроль потерь жидкости, особенно по мере того, как отрасль отказывается от жидкостей класса ПФАС (PFAS).
Заявления об эффективности заслуживают повторного рассмотрения
Публикуемые показатели PUE (коэффициент эффективности использования энергии) говорят в пользу иммерсионного охлаждения, и часть этого преимущества реальна: удаление серверных вентиляторов устраняет реальное потребление энергии. Однако часть этого — вопрос учета. Энергия вентиляторов исчезает из ИТ-части расчета PUE и смещает границу, что приукрашивает эту архитектуру при прямом сравнении. Оценка на уровне закупок объединяет PUE с эффективностью использования воды (WUE) и температурным классом отводимого тепла. Контуры прямого охлаждения чипов, работающие на теплой воде, открывают возможности для длительных сезонов фрикулинга (свободного охлаждения) и практического повторного использования тепла при полезных температурах. Иммерсионные контуры отводят тепло при аналогичных или более высоких температурах с меньшими затратами энергии на транспортировку. Архитектура с более низким PUE в техническом паспорте не означает автоматически самую низкую годовую счет за электроэнергию на вашем объекте, с вашим климатом и профилем нагрузки.
Отвод тепла заслуживает такого же пристального внимания независимо от архитектуры. Жидкостное охлаждение переносит тепло, оно не уничтожает его. Сухие градирни, градирни испарительного типа или система отбора тепла для повторного использования по-прежнему должны поглощать каждый киловатт, собранный контуром. Объект, на котором тщательно планируется технология охлаждения внутри стоек, но отвод тепла остается на потом, в итоге получает эффективный контур, подключенный к установке недостаточной мощности.
Реальность гибридного развертывания
Крупные операторы редко выбирают одну архитектуру для всего. Типичная компоновка сохраняет воздушное охлаждение для вычислений общего назначения, переводит стойки ИИ на ряды с прямым охлаждением чипов и резервирует иммерсионные модули (pods) для самых плотных кластеров обучения. Этот поэтапный путь позволяет постепенно наращивать возможности жидкостного охлаждения, сохраняет гибкость закупок для разных поколений оборудования и распределяет капитальные затраты во времени. Смешанная среда также определяет задачи для насосов: в каждой зоне используется своя химия контура и свой гидравлический профиль, поэтому циркуляционное оборудование подбирается для каждой зоны в зависимости от локального падения давления и данных о жидкости, и ни один насос не может охватить весь зал. Планирование общей инфраструктуры, температуры воды на объекте, мощности отвода тепла и резервной мощности блоков CDU имеет гораздо большее значение, чем выбор победителя между двумя архитектурами.
Чек-лист для принятия решения
- Пиковая плотность стойки сегодня и достоверная дорожная карта на пять лет, в расчете на стойку, а не в среднем по помещению.
- Ограничения здания: нагрузка на перекрытия, локализация разливов, маршруты трубопроводов и доступные температуры воды на объекте.
- Операционные возможности: команда технического обслуживания и рабочие процессы, которые будут фактически обслуживать оборудование.
- План оборудования: доступность холодных пластин от OEM-производителей и условия гарантии в сравнении с вариантами, рассчитанными на погружение.
- Программа по жидкостям: химия гликолевого контура или управление жизненным циклом диэлектрика, включая обращение по окончании срока службы.
- Проектирование насосов и контуров: бюджеты перепадов давления, модель резервирования и локализация утечек для выбранной архитектуры.
Aulank Pump производит бессальниковые вихревые циркуляционные насосы с магнитным приводом для технологических контуров прямого охлаждения чипов и блоков CDU. Они обеспечивают герметичность с нулевой утечкой и рассчитаны на работу со средами от −196°C до +400°C. Отправьте нам данные о расходе и падении давления в вашем контуре, и наша команда инженеров предложит вам подходящий насос с расчетом типоразмера. Свяжитесь с нами для получения поддержки в вашем проекте жидкостного охлаждения.
Свяжитесь с нашей командой: Связаться с Aulank | WhatsApp: +86 13773157367 | Электронная почта: info@aulankpump.com