01.蒸发冷却技术在数据中心的应用蒸发冷却技术利用干空气的干湿球温差驱动蒸发冷却空调达到给用户供冷的目的，充分利用干空气能减少空调对传统不可再生能源的依赖；同时风侧蒸发冷却技术与水侧蒸发冷却技术以水为冷却介质，无氟利昂等传统制冷剂不产生温室效应气体，对空调系统降碳有着显著的作用。相关实践表明，蒸发冷却技术应用于数据中心，可降低其空调对电力需求，提高在同等电力容量下IT机柜的安装数量，初投资可节省1/2、维护费用节省2/3、运行费用节省3/4。目前数据中心蒸发冷却技术根据承载介质不同可分为：风侧蒸发冷却技术、水侧蒸发冷却技术以及氟侧蒸发冷却技术。1.1 风侧蒸发冷却技术数据中心风侧蒸发冷却技术主要通过直接或间接的形式处理室外新风或机房回风，以实现数据机房空气温度满足IT设备运行需求。SIRIWARDANA等结合澳大利亚气候特征发现风侧蒸发冷却技术在其部分州具有较大应用潜力；ENDO等通过对东京某数据中心测试，发现应用蒸发冷却空调系统可节约20.8%电能；褚俊杰等通过对国内各地区气象参数分析，表明在西宁、拉萨、昆明等城市可完全采用风侧蒸发冷却技术对数据中心进行冷却，不需进行机械补冷；杜妍等预测风侧蒸发冷却空调机组在部分高湿度地区的完全自然冷却运行时长均达到6600h以上；于晔等通过对比分别应用传统集中式冷冻水系统与间接蒸发冷却空调机组的两栋数据中心，结果表明间接蒸发冷却空调机组的数据机房年均PUE小于1.25，耗水量可节约20%~30%。风侧蒸发冷却技术具有结构简单、初投资低、可快速响应负荷侧变化等优势，还可显著降低数据中心空调系统能耗，目前已得到广泛应用。哥伦比亚大学工程学院数据中心、以及我国宁夏中卫西部云基地360云计算数据中心、贵州省腾讯T-block西部实验室、福建省某联通通信机房、西藏某数据中心(图1)、华为内蒙古某数据中心均通过应用风侧蒸发冷却技术有效降低机房PUE值(图2)。国内外的学者都一致认为在数据中心应用该技术可实现高效降温，并有效减少过滤成本和年运行费用。1.2 水侧蒸发冷却技术水侧蒸发冷却技术应用直接或间接蒸发冷却的形式或耦合机械制冷辅助制取冷水，为数据中心内如风墙、背板空调等末端设备提供冷冻水，以降低IT设备周围空气温度。CHU等通过对蒸发冷却冷水机组进风预冷其制取的冷水温度降低至环境湿球温度下2.3℃，进一步降低数据中心空调系统运行能耗；YANG等将水侧蒸发冷却技术与转轮除湿技术相结合，其制取的冷水在高温高湿条件下可低于环境湿球温度10.2℃；KOBA YASHI等将水侧蒸发冷却技术与太阳能技术相结合进一步降低数据中心PUE；CHRISTY等通过对比分析水侧蒸发冷却技术与传统机械制冷系统，发现水侧蒸发冷却系统的性能始终优于传统机械制冷系统。当室外空气湿球温度足够低时，数据中心完全可完全依靠蒸发冷却冷水机组进行冷却，制冷系统能耗将大幅降低，田振武等在新疆夏季典型日进行全天测试，结果表明，蒸发冷却冷水机组温度在该条件下可制取出13.1~16.9℃之间的冷水(图3)。我国昌吉某数据中心完全依靠间接蒸发冷却冷水机组为数据中心运行提供冷源，其PUE可低至1.115；深圳某数据中心采用露点型间接蒸发冷却塔耦合机械制冷的冷水系统，如图4所示，其全年综合性能系数(GCOPA)达6.64，PUE低至1.23；北京电信某数据中心通过应用蒸发冷却冷水机组进行节能改造后，其每年节省运行费用约240万元，年均PUE从1.4降至1.28。1.3 氟侧蒸发冷却技术氟侧蒸发冷却技术中氟利昂做制冷剂，采用水做散热介质，通过喷雾预冷、湿膜预冷或蒸发式冷凝器的形式提高冷凝器换热效率，以降低系统运行能耗。HARBY等对比分析蒸发式冷凝器与风冷式冷凝器，结果表明，蒸发冷式冷凝器可降低58%的系统能耗；HAN等通过数值模拟分析分离式热管系统，发现应用蒸发式冷凝器可使系统工作温度上限提高2℃。
蒸发式冷凝器相对于其他冷却设备具有节电、节水、节地以及容易安装维护，运行费用低等优势，目前其已得到广泛应用。HAN等通过对比分析沈阳某数据中心，结果表明应用蒸发式冷凝器结合分离式热管技术相对于传统数据机房空调系统可节约31.31%的能耗；于晔等通过实际对比合肥市两栋分别应用氟侧蒸发冷却技术与传统集中式冷冻水系统，结果表明，应用氟侧蒸发冷却技术每年可节省约125万元运行费用；新疆某数据中心应用蒸发冷式冷凝器与冷水机组结合制取冷水，有效降低了其空调系统能耗；北京某数据中心应用一体化蒸发冷凝冷水机组，其相比传统水冷主机系统节水达50%、节地30%。02.智能计算对算力基础设施的需求智能计算指面向人工智能领域基于GPU、FPGA、ASIC等AI加速芯片用于AI训练、AI推理以及衍生应用场景等的高性能计算。承载其的智算数据中心具有高功率、高能耗、高洁净度以及更高的余热回收价值等特点。相比承载通用计算的通算数据中心，智能计算数据中心的GPU服务器占比大幅增加，其单台服务器的功率可超过10kW，数据中心单机柜功率取决于机柜放置服务器及网络设备的数量，智算数据中心可达30kW甚至更高，远超通算数据中心的2~8kW。智算数据中心对比通算数据中心如表1所示。智算服务器相对通算服务器在冷却形式中增设液冷冷却形式，结合当前智算应用案例，一般风冷智算单机柜功率范围为：12~25kW；液冷智算单机柜功率范围为:30~48kW。部分不同智算芯片物理参数对比如表2所示。智算数据中心内由于服务器价格更为昂贵、精密程度更高降低其运行维护成本，机房内部洁净度亦更高，智算数据中心内每立方米空气中粒径大于或等于0.5μm的悬浮粒子数应少于352万粒。传统典型的中小型数据中心可产生3.2MW到6.4MW的热值。对于机柜功率更大的智算数据中心，其具有运行安全要求高、热流密度大、能耗更高、碳排放高的特点，利用智算数据中心的余热为建筑供热、制冷、发电、农业生产等等，可以显著提高其能源效率，促进其可持续发展。目前我国已经建造大量通算数据中心，但平均上架率低于60%，为整合现有的数据中心资源，以及适应不同的算力应用场景，近年来智能算力出现在应用于如ChatGPT、华为盘古大模型等通用大模型训练的高单机柜功率的纯智算数据中心；还有如天翼云、字节跳动等重点发展训推一体公有云、头部互联网公司的将单机柜功率8~15kW的云计算机柜与智算机柜融合的数据中心；以及数据不出域的专属场景和极低时延的端侧推理私有云、政府及产数客户应用的2~8kW的普算机柜与智算机柜融合的数据中心。03.智算数据中心冷却形式当前智算数据中心冷却主要有风冷、水冷以及液冷3种冷却形式。3.1 风冷冷却技术风冷冷却技术具有技术简单、成本低，适用于大多数设备的特点。在搭载风冷型服务器的数据机房中，服务器内往往利用VC散热器或3DVC散热器与散热风扇结合将芯片表面热量输出服务器，再通过间接蒸发冷却AHU等空气处理设备将机房内空气温度降低；在搭载风冷式液冷服务器的数据机房中，由冷却液将服务器主要发热元件或全部发热元件的热量带出，通过换热器将冷却液中的热量排至机房空气中，再通过间接蒸发冷却AHU等空气处理设备将机房内空气温度降低；搭载冷板式液冷型服务器的数据机房中，风冷系统只需承担除CPU、GPU等AI芯片以外的机房冷负荷，可应用风侧蒸发冷却技术如间接蒸发冷却AHU等，以适应数据中心节能降碳需求。为适应智算服务器高单位面积发热量，智算数据中心需采冷却效率更高的行级冷却策略或机柜级冷却策略，以避免由机房内部流场与温度场发生混乱引起的局部过热现象。在应用行级冷却应用策略的风冷智算数据中心中，可采用封闭热通道的形式增强系统及设备节能性，同时当单机柜功率小于等于15kW时，建议将列间空调均匀分散布置在单个舱内，如图5(a)所示；当15kW≤单机柜功率≤25kW时，列间空调与机柜独立分布在不同列，如图5(b)所示。3.2 水冷冷却技术水冷冷却技术通常采用如集中式冷冻水系统等系统为智算数据中心内行级空调、背板空调等其他末端空调设备提供冷冻水，系统末端再将冷水中的冷量传递至机房空气中，通过冷却后的空气降低发热元件的温度。为满足智算数据中心机房内IT设备的安全运行，冷冻水供水温度上限值不超过21℃。水冷冷却技术由于将冷冻水引入了数据机房甚至进入数据机柜，故必须对进入机房的液体管路进行严格的质量控制，做好相应的防护措施与应急预案，以降低冷冻水泄漏导致的风险；冷冻水系统管路复杂需要精准控制，还需依靠大量人力进行定期巡查维护，故系统运行成本较大；同时冷水系统无法及时响应IT设备温度异常，启动应急，影响数据中心的运行效率和安全性。3.3 液冷冷却技术液冷技术根据冷却液是否与芯片直接接触可分为间接接触的冷板式液冷与直接接触的浸没式液冷和喷淋式液冷。冷板式液冷技术根据冷却液是否相变分为单相冷板式液冷与两相冷板式液冷。单相冷板式液冷通过铜、铝等高导热金属制成的冷板，芯片等发热元器件的热量间接传递给封闭在循环管路中的冷却液体，通过冷却液体循环流动带走芯片表面的热量，并将其传递到冷却液分配单元与室外侧冷却液换热；两相冷板式液冷利用液泵驱动制冷剂进入冷板，吸收芯片产生的热量后变为气态,，再利用风冷冷凝器或水冷冷凝器冷却为液态并将热量传递出服务器，冷却后的制冷剂进入集液器进行气液分离后进入过冷器过冷，以确保液泵吸入口为液态制冷剂，单相冷板式液冷冷板传热示意图如图6(a)所示，两相冷板式液冷冷板传热示意图如图6(b)所示。两相冷板式液冷系统较单相冷板式液冷传热效率更高，但其系统更为复杂，且在冷板中蒸发汽化可能会影响冷却液的流量稳定，使得系统的压力及温度波动，冷板温度均匀性降低，冷板的加工方式也会影响其换热效果，应用一体化设计，同时避免不同材料嵌合产生的接触热阻，可使其系统冷却效果更佳。王佳选等通过搭建泵驱动两相冷却系统进行试验，发现在相同的运行状态下两相冷板系统所需工质质量比单相冷板系统所需工质质量减少70%；战斌飞等通过对比不同沸点制冷剂的两相冷板式液冷系统，发现其制冷剂沸点越低冷板板面温度越均匀；刘凯等设计的钻孔冷板钻孔冷板在同等条件下冷板总温差比铝板铜管采用锡、环氧树脂复合的冷板总温差分别低4℃、11℃。应用冷板式液冷技术可有效降低冷却系统能耗，ADDAGATLA等在美国某数据应用冷板式液冷使其冷却系统供水温度可提升至27.5℃~45℃；HNAYNO等通过对比发现间接蒸发冷却系统与冷板式液冷结合的冷却形式可使数据中心年能耗降低了11%。浸没式液冷技术是将发热的电子元件，如服务器中的电子元件直接浸没在绝缘的冷却液体中，当电子元件工作产生热量时，热量通过热传导的方式传递给周围的冷却液，冷却液吸收热量后温度升高或者发生相变，然后通过热交换器将热量传递给室外侧冷却系统或直接排至机房空气中，使冷却液温度降低后再循环回到浸没容器中，持续带走发热元件产生的热量，如图7所示。其中单相浸没式液冷对冷却液的沸点要求较高，以降低其挥发量，减少冷却液的补充，减低系统维护成本；两相浸没式液冷利用液体相变将热量直接带走，其冷却效果更佳，但对冷却液以及系统制作工艺的要求更高，目前有广阔的发展空间。现有研究表明浸没式液冷系统比传统冷却不仅可降低空调系统能耗还可节省其占地面积。喷淋式液冷技术通过设置喷淋装置将冷却液通过重力或系统压力，直接喷淋至服务器设备的发热器件或与之连接的固体导热材料上，在其表面形成薄的一层温度边界层，通过较强的对流换热带走热量，在热交换的工作过程中，机柜底部的集液箱收集的高温冷却液被引导入热交换器，通过与室外侧冷却液进行热交换变为低温冷却液后再回流回机柜顶端，重复喷淋过程，如图8所示。其冷却液通常使用沸点较低的液体，具有较高的换热效果，但是喷淋式液冷在热源表面的不均匀冷却性也限制了其广泛应用。在液冷技术中冷板式液冷是目前国内应用最成熟和交付规模体量最大的液冷方式可以兼容多种服务器架构，容易与现有的空气冷却数据中心设计整合。冷板式液冷与浸没式液冷相比，冷板式液冷的设计和工程实施相对简单，冷板直接替代服务器芯片表面安装的传统芯片散热器，对服务器硬件的改造设计要求更低，更容易标准化，冷板式液冷系统相对容易维护，初期投资和运维成本相比浸没式液冷较低。冷板式液冷技术目前得到了大量的实践检验，其产业链成熟、应用规模大、对服务器影响较小，具备成本优势，应用广泛；而浸没式、喷淋式液冷由于其冷却介质缺少安全替代产品等因素。液冷系统相关参数对比如表3所示。液冷冷却技术使数据中心冷却系统的换热环节进一步减少，其一次循环侧回水温度可大于40℃，二次侧回水温度可大于50℃。肖新文等以上海某数据中心为例，对比风侧余热回收与液冷二次侧余热回收，结果表明，液冷二次侧余热回收热回收耗电效率是风侧的2.78倍；谷歌某数据中心将液冷技术的基础上进行余热回收后供给至园区办公区域，同时与所在城市共享热量，满足区域供暖需求，降低了数据中心园区整体能耗。液冷冷却技术在解决高发热密度数据中心冷问题的同时，进一步提升数据余热回收价值。04.蒸发冷与液冷融合4.1 风侧蒸发冷却与液冷融合目前，数据中心广泛采用冷板式液冷作为液冷服务器的主导冷却方式，其与一次循环侧冷源结合，即水侧蒸发冷却，同时还需采用间接蒸发冷却AHU机组作为风侧辅助冷却，如图9所示，间接蒸发冷却AHU机组内部结构更加紧凑，且相比传统风冷系统可节约30%的能源消耗。在智算场景下，风侧蒸发冷却技术与液冷技术相结合，冷板式液冷系统主要带走了有服务器芯片产生的热量，未全部带走服务器中其他电子元件产生的热量，还需采用风冷系统在承担机房内其他负荷的同时带走服务器中其他电子元件产生的热量。在应用液冷技术承担服务器主要发热元件热量之后，机房内空气温度对服务器性能影响降低，以华为Atlas800(型号9000)训练服务器为例，其液型服务器设计工作环境温度为5~40℃，对比风型服务器最高温度提高5℃，因此可大幅度延长风侧蒸发冷却设备自然冷却运行小时数，降低空调系统能耗；同时风冷系统的只承担30%的机房负荷，冷量需求更低可大大降低风冷冷却设备的外形尺寸，削减风侧蒸发冷却设备以风量换冷量的劣势；智算数据中心大模型集群或者高算力集群的波动频繁，需要就近捕捉热量，风侧蒸发冷却设备可快速响应负荷侧变化保证数据机房运行安全。4.2 水侧蒸发冷与液冷融合水侧蒸发冷却技术与液冷技术相结合，水侧蒸发冷却设备承担机房70%的负荷，其不仅作为液冷系统一次侧冷源，同时还可作为机房内辅助补冷系统冷源。液冷系统二次侧直接与热源换热，换热环节更少，其一次侧可应用高温冷水为其提供冷源，故可采用带预冷的开式冷却塔、闭式冷却塔或间接蒸发冷却塔与液冷一次侧冷却相结合，相对于传统冷却塔可降低30%的能耗。水侧蒸发冷却与液冷系统一次侧融合系统图如图10所示。在智算场景下，水侧蒸发冷却技术与液冷技术相结合，冷源采用蒸发冷却冷水机组，还可将补冷冷源与液冷冷源合二为一，换热环节如图11所示。在设备层面液冷通道采用液冷机柜(冷板式)，补冷采用液冷冷门或采用小端差换热器的列间空调，受限于服务器进风温度35℃上限值和运维人员舒适度，一次侧供水温度不高于31℃。目前，雄安新区某数据中心已采用水侧蒸发冷与液冷融合系统，水侧蒸发冷与液冷融合在加快液冷技术发展的同时使数据中心能耗进一步降低。4.3 蒸发冷与机柜级液冷融合智算数据中心蒸发冷与机柜级液冷融合，采用水侧蒸发冷却设备或耦合机械制冷制取冷冻水供给至末端列间空调等设备，如图12和图13所示。在搭载浸没式液冷与喷淋式液冷机柜的数据机房中，液冷系统几乎承担机房内服务器设备的全部负荷，水侧蒸发冷却设备制取冷水供给至末端空调承担机房其他负荷或作为补冷设备存在，此时所需蒸发冷提供冷量小，可使设备小型化、轻量化；在搭载风冷式液冷机柜的数据机房中，融合水侧蒸发冷却设备制取冷冻水供给至末端空调设备承担系统全部负荷，此时蒸发冷承担机房全部负荷，可耦合机械制冷制取冷冻水以满足供冷需求；在搭载冷板式液冷机柜的数据机房中，液冷系统承担机房60%以上负荷，水侧蒸发冷却设备制取冷水供给至末端空调设备承担除芯片外的其他发热元件的冷却，此时蒸发冷却设备承担负荷较小，可使其设备轻量化。4.4 蒸发冷与芯片级液冷融合蒸发冷与芯片级液冷融合，采用目前较为先进的冷却方式，即雾化喷射液冷冷却。其将液体通过雾化喷管借助高压气体或依赖液体自身压力喷射使其雾化，强制喷射至物体表面，以实现对物体的有效冷却，如图14所示。由于雾化喷射冷却依靠雾滴汽化吸收热量，利用液体的汽化潜热，可更大限度吸收芯片散发的热量，在未来伴随着单芯片功率不断增加、需要快速除去的热量更多的场景下其具有非常广阔的应用前景。05. 总结与展望1)随着我国算力需求不断提升，数据中心能耗也在快速攀升。蒸发冷却技术经过众多专家学者不断完善，目前无论是风侧蒸发冷却技术还是水侧蒸发冷却技术以及氟侧蒸发冷却技术已在我国众多数据中心中得到实际应用，为数据中心节能降耗贡献着巨大力量。2)承载智能算力的智算数据中心不同于通算数据中心其单机柜功率密度、机房洁净度需求更高、负荷波动更大，迫使其对冷却系统的要求也更高，同时智算数据中心发热量更大、具有更高的回收价值。3)智算数据中心目前还是以风冷冷却形式为主，液冷冷却形式也在机柜热量快速增长下迅速发展。在液冷技术中冷板式液冷应用最为广泛，接触式液冷的冷却液、建设成本等仍是需要解决的问题。4)蒸发冷与液冷融合发展中风侧蒸发冷却与液冷相结合、水侧蒸发冷却与液冷相结合、蒸发冷与机柜级液冷相结合均已得到实际应用或将得到实际应用，蒸发冷却与芯片级冷却融合也具有很大的研究价值与发展潜力。伴随着液冷技术的不断推广，其余热回收价值也越来越高，未来随着算力的飞速发展，蒸发冷与液冷也将紧密融合，同时液冷技术还需建立更加完善的运维管理体系和标准规范，其安全性、环保问题以及成本也都是制约蒸发冷与液冷融合发展的重要因素。