Воздушное охлаждение достигает предела где-то около 20 кВт на стойку. Стойки для ИИ уже превышают 100 кВт, а анонсированные системы на базе GPU нацелены на 600 кВт на стойку в течение нескольких циклов продуктов. Жидкость отводит примерно в 3000 раз больше тепла, чем воздух на единицу объема, вот почему каждое серьезное внедрение ИИ теперь включает контур жидкостного охлаждения, и почему в центре каждого из них находится одно устройство: блок распределения охлаждающей жидкости, или CDU. CDU решает, какие температура, расход и давление фактически достигнут холодных пластин (cold plates) на процессорах, и изолирует воду объекта от чувствительного контура электроники. В этом руководстве объясняется, что такое CDU, как работает двухконтурная архитектура, что находится внутри устройства, какие типы представлены на рынке и какие спецификации имеют значение при чтении технического паспорта.
Что на самом деле делает блок распределения охлаждающей жидкости
CDU выполняет две работы одновременно. Во-первых, он изолирует: чистая охлаждающая жидкость, циркулирующая к ИТ-оборудованию, никогда не смешивается с водой объекта, потому что два контура встречаются только через пластинчатый теплообменник. Во-вторых, он контролирует: насосы, клапаны и датчики внутри устройства поддерживают технологический хладагент точно при тех параметрах расхода, температуры и давления, которые требуются для холодных пластин, адаптируясь в реальном времени при колебаниях рабочих нагрузок ИИ. Тренировочные нагрузки ИИ могут резко изменить энергопотребление за миллисекунды, и CDU — это тот компонент, который гидравлически поглощает эти колебания, чтобы чипы получали стабильное охлаждение. Думайте о нем как об управляемой границе между зданием и стойкой: все, что предоставляет объект, поступает с одной стороны, а все, что нужно серверам, выходит с другой.
Двухконтурная архитектура: FWS и TCS
Прямое жидкостное охлаждение чипов (Direct-to-chip) работает на двух замкнутых контурах, соединенных через теплообменник CDU:
- Первичный контур (Система водоснабжения объекта, FWS): сторона здания, питаемая чиллерами, градирнями или сухими охладителями. Он отводит тепло от CDU к установке сброса тепла объекта. Качество воды на этой стороне — то, что предоставляет здание.
- Вторичный контур (Технологическая система охлаждения, TCS): сторона оборудования, циркулирующая чистый, очищенный хладагент, обычно это 20-35-процентная водно-гликолевая смесь, от CDU через рядные коллекторы (manifolds), стоечные коллекторы и, наконец, холодные пластины, установленные на CPU, GPU, модулях памяти и питания.
Разделение важно по трем причинам. Оно защищает контур электроники от загрязнения водой объекта. Оно позволяет вторичному контуру работать под собственным давлением, независимо от гидравлики здания. И оно позволяет точно контролировать температуру подачи, включая поддержание температуры хладагента выше точки росы помещения, чтобы исключить риск конденсации на холодных пластинах и коллекторах.
Внутри коробки: Основные компоненты CDU
Пластинчатый теплообменник
Тепловой мост между контурами. Номинальная мощность CDU всегда указывается при температуре сближения (approach temperature), разнице между температурами вторичной и первичной подачи. Устройство, рассчитанное на 300 кВт при сближении 7°C, обеспечивает эту мощность только тогда, когда вода от объекта поступает достаточно холодной; то же самое оборудование выдает меньше при более широком сближении. Чтение мощности без учета температуры сближения — самая частая ошибка при анализе спецификаций.
Циркуляционные насосы
Насосы приводят в движение вторичный контур и определяют его гидравлический характер. Коммерческие CDU используют их с резервированием N+1 или лучше с автоматическим переключением, потому что остановившийся насос означает перегрев стойки за считанные секунды. Частотно-регулируемые приводы согласовывают расход с нагрузкой в реальном времени, сокращая энергопотребление в периоды простоя. Насос должен поддерживать стабильное давление во всем рабочем диапазоне контура, от одной стойки при частичной нагрузке до целого ряда при пиковой, одновременно прокачивая хладагент с гликолем через холодные пластины, чьи микроканалы создают существенное падение давления.
Расширительный бак, фильтрация и датчики
Расширительный бак поглощает изменения объема хладагента при нагреве и охлаждении контура и служит точкой заполнения при вводе в эксплуатацию. Встроенная фильтрация защищает микроканалы холодных пластин от мусора. Пакеты датчиков отслеживают температуру подачи и возврата, дифференциальное давление и расход в обоих контурах, с опциональным контролем проводимости и мутности для оценки состояния хладагента.
Средства управления
Контроллер замыкает контур между датчиками и оборудованием: модулирует скорость насоса и регулирующие клапаны для поддержания температуры подачи, следит за утечками, управляет логикой предотвращения конденсации и передает данные по восходящему каналу через Modbus, BACnet или SNMP в систему управления дата-центром (DCIM).
Резервирование как основа проектирования
Сеансы обучения ИИ стоят тысячи долларов в час за зарезервированные вычислительные мощности, и прерывание охлаждения завершает работу. Поэтому CDU рассматривают каждый активный компонент как кандидата на отказ: насосы в конфигурации N+1 с автоматическим переключением, двойные источники питания, резервные датчики и контроллеры, которые выдерживают одну неисправность, не прерывая работу контура. Техническое обслуживание следует той же логике. Лучшие блоки позволяют обслуживать насосы и фильтры без слива вторичного контура или отключения стоек, что превращает CDU из единой точки отказа в обслуживаемую подсистему с аптаймом, измеряемым относительно серверов, которые он питает.
Типы CDU и где они применяются
| Тип | Сброс тепла | Типичная мощность | Лучшее применение |
|---|---|---|---|
| «Жидкость-жидкость» (L2L), внутристоечный | Контур воды объекта | От 50 до 300 кВт | Стойки с GPU высокой плотности при наличии воды от объекта |
| «Жидкость-жидкость» (L2L), рядный | Контур воды объекта | От 300 кВт до 1.8 МВт | Ряды стоек ИИ, гипермасштабные и колокационные залы |
| «Жидкость-воздух» (L2A) | Воздух в помещении | До ~100 кВт | Модернизации (retrofits) и граничные (edge) объекты без трубопроводов воды |
Блоки L2L обеспечивают наилучшие тепловые характеристики и эффективность везде, где существует контур водоснабжения объекта или его установка может быть оправдана. Блоки L2A обменивают мощность на свободу развертывания: отсутствие трубопроводов к зданию, только питание и воздух в помещении, что делает их отправной точкой для внедрения жидкостного охлаждения в существующих корпоративных серверных комнатах.
С точки зрения насоса: что требует вторичный контур
С точки зрения насосной инженерии, контур TCS представляет собой специфическую и сложную задачу. Хладагент представляет собой водно-гликолевую смесь, чья вязкость возрастает при низких температурах, поэтому кривые производительности насосов нуждаются в корректировке (derating) на холодном конце. Микроканалы холодных пластин, быстроразъемные соединения и сети коллекторов накапливают сопротивление, требуя стабильного напора при умеренном расходе, где способность поддерживать давление перевешивает объем. Непрерывная работа 24/7 с переменной скоростью исключает любые устройства с изнашивающимся уплотнением вала, потому что утечка уплотнения внутри зала обработки данных угрожает оборудованию, стоимость которого на порядки превышает стоимость насоса. Бессальниковые циркуляционные насосы с магнитным приводом с проточной частью из нержавеющей стали, такие как серия MDW, идеально подходят для этой задачи: полное отсутствие путей утечки, стабильное давление при малом расходе, а также возможность прямого/обратного хода, что упрощает заполнение, слив и продувку контура во время пусконаладки и обслуживания. Логика выбора подробно описана в руководстве по выбору насосов для жидкостного охлаждения дата-центров ИИ.
Охлаждение CDU в более широком контексте жидкостного охлаждения
Подход «direct-to-chip» (напрямую к чипу) на базе CDU доминирует в текущих внедрениях ИИ, однако он делит нишу с другими архитектурами:
| Технология | Тепло стойки, отводимое жидкостью | Модификация сервера | Роль насоса |
|---|---|---|---|
| CDU direct-to-chip (напрямую к чипу) | От 60 до 80% | Холодные пластины на CPU/GPU | Привод циркуляции вторичного контура |
| Теплообменник на задней дверце (Rear-door) | От 40 до 60% | Нет | Циркуляция воды объекта |
| Однофазное иммерсионное | До 98% | Открытые платы в диэлектрическом баке | Циркуляция диэлектрической жидкости |
| Двухфазное иммерсионное | До 98% | Открытые платы в кипящей жидкости | Легкая подпитка и возврат конденсата |
Direct-to-chip лидирует, потому что он сохраняет нетронутыми стандартные шасси серверов, стандартные процедуры обслуживания и гарантии OEM. Оставшиеся 20-40 процентов тепла стойки от памяти, накопителей и блоков питания все еще отводятся воздухом, поэтому большинство внедрений CDU работают в гибридном режиме с дополнительным воздушным охлаждением.
Чтение технического паспорта CDU: Цифры, которые имеют значение
- Холодопроизводительность при указанной температуре сближения (approach temperature): никогда не сравнивайте мощности, указанные при разных значениях сближения.
- Расход во вторичном контуре и доступное давление: убедитесь, что устройство преодолевает падение давления в вашем контуре при расчетном расходе, включая коллекторы, быстроразъемные соединения и холодные пластины.
- Резервирование и переключение насосов: минимум N+1, с автоматическим переключением при отказе (failover) и возможностью горячего обслуживания.
- Диапазон температур подачи хладагента и контроль точки росы (dew point): логика предотвращения конденсации обязательна для работы с холодной подачей.
- Совместимость с жидкостями: диапазон концентрации гликоля и контактирующие с жидкостью материалы (wetted materials) в обоих контурах.
- Средства управления и интеграция: поддержка протоколов, логика сигнализации и совместимость удаленного управления с вашей системой DCIM.
Компания Aulank Pump производит бессальниковые вихревые циркуляционные насосы с магнитным приводом для CDU и вторичных контуров в дата-центрах ИИ, с абсолютной герметичностью, стабильным давлением при малом расходе и рассчитанные на рабочие среды от −196°C до +400°C. Если вы строите или выбираете спецификации для CDU и вам нужен циркуляционный насос, соответствующий гидравлике вашего контура, отправьте нам свои данные о расходе и падении давления. Свяжитесь с нами для инженерной поддержки.