绿色高能效数据中心散热冷却技术研究现状及发展趋势

陈心拓 ,  周黎旸 ,  张程宾 ,  王树华 ,  张亮亮 ,  陈建峰

中国工程科学 ›› 2022, Vol. 24 ›› Issue (4) : 94 -104.

PDF (1060KB)
中国工程科学 ›› 2022, Vol. 24 ›› Issue (4) : 94 -104. DOI: 10.15302/J-SSCAE-2022.04.010
新时代、新态势下“互联网+”行动计划发展战略研究

绿色高能效数据中心散热冷却技术研究现状及发展趋势

作者信息 +

Research Status and Future Development of Cooling Technologies for Green and Energy-Efficient Data Centers

Author information +
文章历史 +
PDF (1084K)

摘要

数据中心是我国的重要基础设施之一，行业规模不断扩大，市场收入逐年增加，用电量与日俱增。我国当前投入运行的数据中心中，散热冷却系统以风冷为主，能量利用率低，节能潜力大，发展新型绿色高能效数据中心散热冷却技术势在必行。散热冷却技术需解决两个问题，一是设备发热量增加，散热冷却系统制冷能力需相应提高来实现产热与移热速率匹配；二是能源利用效率偏低，需发展具有工业应用前景的绿色高能效散热冷却技术。本文简要概述了数据中心散热冷却方式的发展现状，将散热冷却技术分为空调制冷、新风制冷、间接液冷、直接单相液冷、直接两相液冷五类；分析了散热冷却技术的发展趋势，新型绿色高能效数据中心应注重散热冷却系统效率提升、冷热流体通道优化、新型液冷材料应用、热回收系统推广等；根据“双碳”及“新基建”等国家发展战略，从优化顶层设计、突破关键技术、制定科学标准、完善产业布局、注重能源结构等方面为实现数据中心产业平稳有序发展提出了合理化建议。

Abstract

Data centers are important infrastructure in China, with constantly increasing industry size, market revenues, and electricity consumption. The major cooling systems of data centers currently in operation in China are air-cooled, with a low energy utilization rate and great potentials for energy saving. Therefore, it is imperative to develop novel cooling technologies for green and energyefficient data centers. The cooling technology needs to solve two problems. First, as equipment heat production increases, the cooling capacity of the cooling system needs to be improved to match heat production and transfer rates. Second, to address the low energy efficiency problem, green and energy-efficient cooling technologies with industrial application prospects need to be developed. This study reviews the development status of data center cooling methods and categorizes cooling technologies into air conditioner cooling, fresh air cooling, indirect cooling, direct single-phase liquid cooling, and direct two-phase liquid cooling. We analyze the development trends of cooling technologies and suggest that green and high-efficient data centers should focus on the improvement in the efficiency of cooling systems, optimizations of hot and cold fluid channels, applications of new liquid cooling materials, and promotion of heat recovery systems. Furthermore, we propose suggestions for the stable and orderly development of the data center industry from the aspects of optimizing top-level design, developing key technologies, formulating scientific standards, improving industrial layout, and focusing on energy structure.

Graphical abstract

关键词

数据中心 / 绿色节能 / 散热冷却 / 液体冷却

Key words

数据中心 / 绿色节能 / 散热冷却 / 液体冷却 / data center / green and energy saving / cooling method / liquid cooling

引用本文

引用格式 ▾
陈心拓,周黎旸,张程宾,王树华,张亮亮,陈建峰. 绿色高能效数据中心散热冷却技术研究现状及发展趋势[J]. 中国工程科学, 2022, 24(4): 94-104 DOI:10.15302/J-SSCAE-2022.04.010

登录浏览全文

4963

注册一个新账户 忘记密码

本刊网址：www.engineering.org.cn/ch/journal/sscae

一、 前言

数据是国家基础战略性资源和重要生产要素。21世纪以来信息技术（IT）飞速发展，物联网等大数据时代应用飞速崛起，负责计算、存储、数据信息交互的数据中心重要性日益凸显。作为我国“新型基础设施建设”战略、“互联网+”战略的重要载体，数据中心是我国进行产业数字化、生活智能化、服务信息化转型的重要基石，可支撑我国未来经济社会高质量发展。数据中心产业受到世界各国重视，市场规模逐年增加，投资及并购活跃，竞争激烈。2021年全球数据中心市场规模超679亿美元，预计2022年将达746亿美元，年增速在10%左右。我国重视数据中心行业发展，大型 / 超大型数据中心发展加速，行业收入提高。图1所示为我国数据中心机架规模及其变化图，2021年达到5.2×106架，五年年均复合增速超30%，其中大型数据中心的机架规模达到4.2×106架，占总机架数的80%。2021年我国数据中心行业收入达到近1500.2亿元，是2017年市场收入的近3倍，年均增长率近30% [1]。我国产业现代化建设不断推进，催生大量数据中心算力需求，市场前景广阔。电商、金融、通信等数字化程度较高的产业扩大用户市场，对数据中心产业需求持续增加；传统工业等行业也在积极进行数字化转型升级，优化产业结构，对于数据中心行业产生新的需求增长点。随着时间推移和产业信息化发展，数据中心产业与各行各业的联系会日益密切，最终成为支柱型基础设施产业之一。

我国数据中心在经历产业萌芽期和行业引导期后，目前已进入高速高质量发展的新阶段，伴随数据中心计算业务量爆发式增长，传统的数据中心网络越来越难以提供支持云计算、边缘计算等所需的延迟，为更好承载数据处理需求，充分发挥数据中心的规模效益，降低业务部署成本和维护成本，大规模及超大规模数据中心已成为新建数据中心的首选。随着数据中心规模扩大，算力和功率密度节节攀升，支撑IT设备运行的能耗也相应飞速提高。与数据运算、存储、交换高能耗相伴的是设备巨大的产热量，IT设备将99%以上的电能转换为热能，而其中70%的热能需数据中心通过散热冷却系统移除 [2]，进一步增加了数据中心的用电消耗。图2所示为近年来我国数据中心用电消耗情况。近五年来，我国数据中心耗电量保持15%以上的增长率，2020年耗电量突破2×1011 kW·h，占全国总用电量的2.7% [3]，折合二氧化碳排放量2×108 t（以燃煤发电折算）。作为辅助单元，散热冷却系统在大型数据中心的电能消耗与IT设备电耗基本相当。由此可见，数据中心的散热冷却系统具有极大的节能潜力。数据中心散热冷却技术的突破创新，是实现全行业绿色低碳发展的关键。

本文从数据中心高能耗和散热冷却难两方面亟待解决的问题出发，综述了已经发展和应用的各种数据中心散热冷却方式，阐述了各方式的原理和特点，总结了数据中心行业散热冷却方式发展趋势并针对数据中心绿色高能效发展目标提出了建议。

二、 数据中心散热冷却技术需求分析

数据中心面临能耗高和散热冷却难两大问题。依托区域能源供应优势和自然环境优势可降低数据中心的用电和散热冷却成本。因此，合理利用“东数西算”布局思路，将大型数据中心建设在我国能源充足、温湿度较低的西北部和西南部地区，可充分利用自然环境优势，降低数据中心的运行成本。但存在数据传输距离远的高网络延迟问题，难以满足高精度导航、在线控制等边缘计算需求。在我国人口稠密，经济发达的东部地区布局数据中心仍是现实需求。在能源供应紧张、自然环境不利等现实条件下，破解散热难与高能耗瓶颈，发展绿色高能效数据中心成为行业共识。绿色高能效数据中心需同时实现产热移热速率匹配及能源利用效率提升两个目标，发展和应用新型散热冷却技术成为未来我国数据中心高能效绿色化运行的重中之重。

（一） IT设备发热量增大，散热冷却系统移热速率亟需与产热速率匹配

数据中心连续稳定运行是基本目标，实现该目标的关键问题是产热与移热速率相匹配。随着单位服务器机柜包含的服务器数量增多，机柜发热量与日俱增，对散热冷却系统的要求不断提高。产热速率可用机柜功率密度衡量，其定义是单个机柜稳定运行所消耗的能量值（单位为 kW/r，r表示单个机柜）。机柜功率密度越高代表产热量越大，要求散热冷却系统移热速率越高。数据中心服务器机柜功率从低密度向高密度发展是必然趋势。低功率密度机柜在5 kW/r以下，中功率密度机柜为5~10 kW/r，高功率密度机柜为10 kW/r以上。目前已投用的数据中心机柜功率密度在5~10 kW/r居多，已有一些在用的超大型数据中心机柜功率密度在30 kW/r以上，甚至达100 kW/r左右，这对于传统散热冷却技术是极大的挑战。

如图3所示 [4]，目前发展的散热冷却技术主要有风冷和液冷两大类，其中风冷包括自然风冷和强制风冷，适用的机柜功率密度较低；液冷分为单相液冷和相变液冷。散热冷却系统所采用的冷却介质、冷却方式不同，移热速率差距大。传统风冷最高可冷却30 kW/r的机柜，对于30 kW/r以上功率密度的机柜无法做到产热与移热速率匹配，会使机柜温度不断升高导致算力下降甚至损害设备。因此，在机柜功率密度不断提高的大数据时代，要求散热冷却设备及方式的不断创新，提升移热速率。

（二） 能源利用效率偏低，需发展绿色高能效散热冷却技术

散热冷却需要消耗能量，移热速率的增大势必需考虑能源利用效率问题。衡量数据中心总体能耗水平的指标为能源利用效率（PUE），定义为数据中心总能耗与信息技术设备能耗的比值。在相同IT功耗下，PUE值越接近1，表明其非IT功耗越低，能源利用率越高。如图4所示，数据中心的总能耗由供配电、照明、散热冷却和IT设备功耗等构成。如图5所示，当前，我国数据中心能量消耗中的43%用于散热冷却（对应数据中心PUE值大于2），冷却成本高，节能潜力大 [5]。

为提高我国数据中心的能效水平，促进信息行业绿色发展，工业和信息化部发布《新型数据中心发展三年行动计划（2021—2023年）》，要求新建大型及以上数据中心PUE降低到1.3以下。国家发展和改革委员会等发布《关于严格能效约束推动重点领域节能降碳的若干意见》，明确鼓励重点行业利用绿色数据中心等新型基础设施实现节能降耗，本着“就高不就低”的原则，以国内外先进绿色数据中心能效水平为技术改造目标方向，到2025年数据中心PUE普遍不超过1.5。

三、 风冷技术发展现状

风冷是将冷空气送至IT设备进行换热的冷却方式，在信息技术产业起步阶段起到巨大作用。当时未明确数据中心概念，普遍被称为计算机房或计算机中心，业务少、规模小，计算机的数据处理能力低，机柜功率在1~2 kW/r，风冷是当时最适合小微型数据中心的冷却方式 [6]。当高功率密度的大型数据中心逐步成为主流后，风冷方式仍可满足机柜功率密度在30 kW/r以下服务器移热要求，但其能源利用效率普遍较低，不符合信息行业绿色发展要求 [7]。

根据空气流动的动力源，可将风冷分为自然风冷和强制风冷。自然风冷是利用空气密度随温度的变化产生空气循环，带走IT设备热量的冷却方式。IT设备附近的空气受热，温度升高导致密度减小，热空气向数据中心上部流动，产生压差使冷空气向IT设备自然流动。自然风冷空气流速小，对流传热不明显，制冷效果差，能量利用效率低，是已淘汰的冷却方式。

强制风冷是利用风机将冷空气进行强制流动，吹向IT设备进行冷却的技术方法，是当前数据中心采用的最广泛的冷却方式。该方法可通过增加IT设备散热面积或加快空气流动速率来实现良好的冷却性能。研究表明，采用合理的气流组织、智能通风、精确送风、智能换热、蓄冷空调、空调添加剂以及空调压缩机冷媒控制等技术，可降低强制风冷数据中心20%左右能耗 [8]。强制风冷按照空气来源的不同，目前主要包括空调制冷和新风制冷两种方式。

（一） 空调制冷

空调制冷是以空调来冷却数据中心内部空气的冷却方式，由于空调系统耗能较高，采用该散热冷却方式的数据中心PUE一般在1.7以上 [9]。空调制冷适配性好，维护方便，技术成熟，稳定性高。但冷却效率较低，只能冷却中小功率的IT设备，无法满足未来中大型数据中心的冷却要求。

（二） 新风制冷

新风制冷是指用数据机房外部空气（新风）作为冷却介质的冷却方式。当数据中心内部温度高于外部环境时，可以直接将外部冷空气通过风机输送进数据中心，再将升温后的空气通过通道排至室外，采用该方式可比空调制冷节能40%，但对空气质量条件敏感，需添加灰尘过滤系统和增加除湿系统来调控空气质量。雅虎位于纽约洛克波特的数据中心、Facebook位于俄勒冈州的普林维尔数据中心等均采用新风的方式冷却，PUE可降低至1.2以下。当前新风制冷技术发展迅速，如设计分布式气流冷却系统（DACS）和吹吸通风冷却系统（BDVCS）可实现数据中心全年无空调设备的温度控制 [10]。新风制冷数据中心对环境要求高，在全年平均气温低的温带或寒带地区，使用新风制冷方式能节约大量制冷成本。

四、 液冷技术发展现状

风冷技术使用的冷却介质为空气，其热导率低，而液体的热导率较气体可提高一个数量级，理论上可将传热速率极大提高，可满足高功率密度机柜的散热冷却要求。2021年我国数据中心市场收入中，液冷数据中心市场收入已达450亿~500亿元，占比30%以上，发展空间大。

国内外在数据中心液冷方面已有一定研究基础并已取得了突破性进展，正成为变革性技术。液冷技术根据液体与IT设备接触状态，可以分为间接液冷、直接单相液冷和直接两相液冷三类。

（一） 间接液冷

间接液冷是指液体与发热部件通过热的良导体间接接触，液体在通道内发生相变或非相变升温吸热，发热部件降温的冷却方式。在典型的间接液冷直流系统中，传统的风冷散热片被替换为蒸发器或者其他液冷散热片 [11]，并添加冷却介质分配输送系统。冷却介质从数据中心外部通过输送管路连接到数据中心IT设备上，升温后的冷却介质与外部冷却源换热后降温，并通过管路输送至数据中心内部进行循环冷却。由于芯片是热量的主要来源，冷却介质通常会通过间接冷却的方式对芯片冷却降温，而其余组件如硬盘等则会通过风冷来移除热量 [12]，目前除芯片外，其余组件还没有能够商业化实施的间接冷却方案 [13]。

间接液冷由于液体不与IT设备直接接触，因此液体选择范围较大，只需考虑导热系数是否满足技术要求，以及能否与换热导体管路兼容。间接液冷分为冷板冷却和热管冷却，目前实际应用的冷板冷却中液体大多不发生相变，而热管冷却过程中液体发生相变。

1. 冷板冷却

如图6所示，冷板冷却是将金属冷板与IT设备芯片贴合，液体在冷板中流动，芯片发热时将热传导给冷板金属，液体流过冷板时升温，利用显热将芯片热量带出，通过管道与外界冷源进行换热，是芯片级别的冷却方式，使用最多的冷却介质是水。冷板冷却是如今液冷数据中心采用最广泛的散热冷却方式，使用的是液冷和风冷相结合的方法，对芯片采用液冷，对硬盘等其他电器元件采用风冷，并非严格意义上的单纯液冷 [14]。与风冷最多冷却30 kW/r的机柜对比，冷板能冷却小于45 kW/r的机柜更节能且噪音小，不需要昂贵的水冷机组，与纯液冷对比也有一定优势 [15]。深圳市腾讯计算机系统有限公司采用冷板式冷却与IT设备微模块部署相结合，打造了液冷微模块数据中心，液冷模块的PUE接近1.1，机房整体PUE为1.35。2019年，微软将一个装有864台服务器的数据中心密封舱浸入海水中，将海水泵入密封舱内管道通过间接换热给服务器降温并进行冷却性能测试，测试后发现海底数据中心管理成本和建造费用等均比传统数据中心优异，在水中的故障率是陆地的八分之一。

2. 热管冷却

热管冷却是在IT设备中添加热管导热元件，充分利用热传导与液体相变的快速热传递性质，将设备的热量迅速传递到外界的冷却方式。液体在热管与发热部件接触端吸热相变，利用相变潜热吸收热量变为气态，气态介质在压差的作用下流向冷凝端，在冷凝端冷凝相变释放热量，凝结液通过热管吸液芯的毛细作用或者重力作用流回蒸发段，循环往复传递发热设备的热量，再通过风冷或液冷对冷凝段冷却换热 [16]。热管的导热能力超过所有已知的金属，冷却介质有水、甲醇、丙酮、氨、一氟二氯乙烷、水合二氧化硅等，冷凝端可以用水或空气冷却 [17]。热管没有连接芯片的冷却介质连接管路，降低冷却介质在IT设备内部的泄露风险，且没有泵的需求，利用毛细压差驱动气液两相自循环运动而发生热量交换。因冷却结构中没有运动部件，可靠性高 [18]。热管冷却机柜无需预留风冷对流散热冷却空间，在提升机架功率密度的同时达到良好的冷却效果，并能实现设备高效散热和余热回收再利用 [19]。清华大学基于环路热管技术，将多级环路热管应用于数据中心，研发环路热管机柜并且改造北京某数据中心，较空调制冷可节能41.6% [20]。由于热管冷却能力相较冷板提升不明显，现阶段基本不考虑应用于数据中心冷却。

（二） 直接单相液冷

直接单相液冷是将不影响IT设备部件正常工作的绝缘液体与部件直接接触，液体不发生相变来带走热量的冷却方式。

1. 单相浸没式液冷

单相浸没式液冷将IT设备浸没在装有冷却介质的密封槽中，在设备内无需加入活动部件，只需提前规划好流体流动通道，冷却介质经过设备换热不发生相变，利用升温显热来交换热量，升温后的液体在循环泵的作用下流出冷却介质槽，进入冷却器降温后流回冷却介质槽，达到循环换热的目的，可适用最高100 kW/r的服务器机柜。单相浸没式液冷原理较简单，如图7所示，技术难点在于液冷材料的筛选和IT设备的设计。

对于直接单相液冷材料，需满足绝缘性强、黏度低、闪点高或不燃，腐蚀性小，热稳定性高，生物毒性小等性能要求。液冷材料可采用矿物油或全氟胺、全氟聚醚等氟化物，如巨化集团“巨芯”直接单相液冷冷却液已迈入产业化阶段，主要性能指标与国外垄断产品基本一致。设备设计与风冷不同，内部需预留液体流道，且设备中不能含有与材料相作用的化学组成。浸没液冷的机柜没有密封外壳，且能有效保护设备不受灰尘或硫化物的侵害，允许维护程度较低的热插拔而无需断电 [12]，但需额外的维护程序防止冷却介质流失及去除渗透的空气和水分 [21]。如图8所示，阿里云计算有限公司采用自主研发的液冷服务器集群，在杭州建成目前全球规模最大的单相浸没液冷数据中心（仁和数据中心），是我国首座绿色等级达到5A级的液冷数据中心，PUE低至1.09。在该数据中心运行过程中选取数千台液冷样本和风冷样本进行分析，从服务器各个部件失效率情况来看，液冷服务器部件故障率下降53% [22]。浸没液冷能将温度维持在发热限值之下，可有效提升芯片效率。

2. 单相喷淋液冷

单相喷淋是利用液体喷嘴将冷却介质喷淋到发热部件表面，液滴尺寸较大且不发生相变，在部件表面形成薄边界层进行换热，能在局部产生单相强对流换热效果，利用升温显热带走热量的冷却方式 [23]。冷却介质接触到热源表面前，已雾化或者分散为小液滴。这一过程主要通过液体喷口的压差来进行 [24]。广东合一新材料研究院有限公司已研发集中供给喷淋液冷服务器，采用植物油对芯片喷淋，全程无相变，PUE可低至1.1以下。

喷淋冷却在增大喷嘴压力后，将冷却介质高速喷出，可形成射流冲击，冷却介质直接喷射到受热表面上后，高速撞击表面，利用高速强制对流传热的原理，冲程短，形成较薄的温度和速度边界层，在冲击区域产生强换热效果，与气泡诱导的流动混合和潜热传递结合，能产生理想的传热效率 [25]。

单相喷淋属于芯片级别换热，冷却效率高，在各个发热部件上设置喷淋口，技术难度大，目前还未大规模应用到数据中心冷却中。液体在喷淋过程中遇到高温热源会有飘逸和蒸发现象，雾滴和气体沿机箱孔洞缝隙散发到机箱外，造成机房环境清洁度下降或对其他设备造成影响，因此对机箱密封性要求较高。

喷淋冷却还可与冷板冷却结合使用，将液体喷淋到冷板上进行间接式换热，来代替IT设备内部的空气冷却，技术难度较小，目前已有应用。SparyCool公司为美国陆军指挥所平台（CPP）设计喷淋间接换热系统，提高车载指挥平台的便捷可拆卸性，将设备包装为单独的运输箱作为一个功能性的网络配置单元，方便移动和静态操作，只需要进行电源和网络连接，无需重新进行网络设备和硬件的配置及重新布线，适合移动作战 [26]。

（三） 直接两相液冷

直接两相液冷的创新点在于利用冷却介质相变的潜热进行冷却，一般采用沸点在80 ℃以下的冷却介质。

1. 两相浸没式液冷

如图9所示，两相浸没式液冷的液体在冷却介质槽内与热源接触，在热源表面形成的蒸汽气泡上升到冷却介质槽上方区域，蒸汽经过换热在冷凝器中重新变为液态，流回槽内。相变传热涉及潜热传递、重力驱动的两相对流和气泡诱导的流动混合 [27]，并且相变过程在IT设备发热部件上进行，形成气泡后对冷却介质后续移热等产生影响，技术难度大，对冷却介质槽的密封性要求高，使用过程中冷却介质易受污染。两相浸没式液冷材料在满足直接单相液冷要求前提下，需要较低的沸点，在IT设备稳定运行范围内进行相变吸热，利用相变潜热吸收热量，冷却介质可采用FC-72、Novec-649、HFE-7100或PF-5060等短链氟化物，可将芯片温度维持在85 ℃以下稳定运行 [12]，并且蒸汽在冷凝器冷却后可以通过重力作用返回液槽，无需额外提供循环动力，单机柜功率密度可达110 kW/r以上。如图10所示，2019年曙光信息产业股份有限公司发布了“硅立方”高性能计算机，采用浸没相变液冷技术方法，将单台计算机的能效水平逼近极限，PUE达到1.04，展现了液冷技术在高性能计算机上的优势，但在数据中心等计算机集群上的应用有待探索。

2. 相变喷淋液冷

相变喷淋是在单相喷淋的基础上，将冷却介质雾化成微小液滴后在发热部件表面形成液膜，不发生明显流动，液体汽化带走热量的冷却方式 [28]，冷却效率是非相变的3倍以上 [29]。喷淋冷却的传热机理复杂，已有研究人员提出薄膜蒸发、单相对流、二次成核等机制，未有统一的传热模型，有待深入研究 [30]。相变喷淋是目前已知冷却能力最强的冷却方式，前景广阔，耗能较高，适合机柜功率密度140 kW/r以上的IT设备散热冷却，尚未有商业化的数据中心应用方案。相变喷淋系统稳定性待验证，喷嘴易堵塞，维护检修困难，需要密封的蒸汽室和蒸汽回收装置，还需要考虑电子设备的可靠性等问题 [27,30]。

五、 绿色高能效数据中心散热冷却技术发展趋势

数据中心是互联网的基础设施，转型升级对我国社会现代化有重要作用。绿色高能效数据中心散热冷却技术发展方向主要有制冷系统效率提升，冷热流体通道优化，新型液冷材料应用，热回收系统推广等。

（一） 制冷系统效率提升

数据中心制冷系统中包含冷却塔、冷水机组、泵、冷凝器、流体输送管道等设备，合理的工况参数选择及设备选型能显著提升制冷系统整体效率，进而提高能效比。通过使用高效不间断电源、泵和冷却器的频率随负荷降低或季节灵活转变频率、优化数据中心内部布局等方式可提高能源利用效率 [31]。

（二） 冷热流体通道优化

冷热通道（HACA）技术最先应用于风冷数据中心，相邻机架入口或出口相对，形成间隔的冷热通道。空调系统输入服务器的冷空气和换热后的热空气区分开，分别由冷通道和热通道输入或输出服务器 [32]，从热力学角度提升冷却介质换热效率。保证冷热通道封闭性也有助于降低空调风扇功率15%左右，节约能源 [33]。未来液冷数据中心也可借鉴应用该技术，通过优化IT设备内部构造，形成冷却介质输入输出的流体通道，避免不同温度冷却介质相互混合，从热力学原理上实现换热效率最优化。其次，还可增加冷却介质换热的湍动程度，使换热边界层变薄，降低对流传热热阻。

（三） 新型液冷材料应用

相较于风冷数据中心使用空气作为冷却介质，液冷数据中心的冷却介质种类多，选择丰富。寻找与IT设备相容、安全性高、传热性能优良的液冷材料是散热冷却技术发展的重要方向。液冷材料选择需综合考虑闪点、挥发性、生物毒性、导热系数、黏度、介电常数、腐蚀性等多方面因素，导致液冷材料宏观性质差异的原因是液冷材料的分子结构。通过模拟等手段筛选分子结构不同的液冷材料，建立并完善液冷材料数据库，寻找有竞争力的低成本高性能液冷材料是数据中心从风冷半风冷向液冷转型升级的基石。

（四） 热回收系统推广

目前大多数的热回收技术通过与冷却液流换热来捕获余热，余热的质量和数量由热管理系统的类型和规格决定。在高效的风冷数据中心中，冷空气通常以25 ℃供给，与IT设备换热后可升至40 ℃ [34]，热空气经过吸收式制冷设备可以将热能转变为电能，实现热电联产，将产出的电能用于冷却水，减少部分电能使用 [35]。采用冷板等液冷后，IT设备芯片工作温度接近85 ℃时，进水温度可达60 ℃左右，换热后冷却介质产生的热能质量高，用途更广 [36]。回收的余热可用作工厂或区域的热或热水供应，吸收式制冷，有机朗肯循环，压电，热电联产，生物质燃料干燥，海水淡化等用途 [37]。通过分析种类不同的数据中心散热冷却技术，配套相应的热回收系统，能有效提高能量利用效率。

六、 数据中心散热冷却技术发展愿景

作为数据枢纽和应用载体的数据中心，既是新型基础设施的重要组成部分，也是IT行业新基建发展的基础和搭建信息化平台的重要前置条件，对数字经济的腾飞起到底层支撑作用。然而由于能耗高和散热冷却难等问题，数据中心绿色低碳化发展面临巨大挑战，随着数据中心逐渐大型化、高密度的发展趋势，冷却技术需要顺应变化，及时转型升级，淘汰能量浪费严重的旧数据中心，建设新一代以液冷为主的绿色节能数据中心。实现数据中心散热冷却技术转型升级，可有利支撑我国“十四五”战略布局，促进信息行业产业清洁化和低碳化，产业基础高级化及产业链现代化，实现传统行业改造提升，将粗放型转为集约型，抢占数字经济碳达峰与碳中和技术制高点，保证数字经济等战略新兴产业发展不受基础设施制约，进行科技创新，找到经济新增长点、发展新动能，对我国经济增长和社会稳定有重要的意义。

（一） 优化数据中心区域布局顶层设计，合理规划发展高能效散热冷却技术

对于现有的数据中心，从原有冷却形式改造为液冷的成本过高，得不偿失，在做好规划的基础上建造新的液冷数据中心会具有更大的经济优势。数据中心使用寿命为10年左右，散热冷却技术方案需做到提前规划，与时俱进。加强全国数据中心管理，优化顶层设计和统筹协调，提前布局并进行统一建设，将多个小型数据中心建设需求合并为高功率密度的大型数据中心，降低使用液冷的成本，提高能量利用效率。将各地数据中心规划为有机整体，从全局出发，发挥各地土地能源科技等独特优势，做到产业合理布局，资源配置集约化，组织结构高度集中，达到降低液冷数据中心研发建造等成本的目的。

（二） 突破关键技术，实现数据中心散热冷却技术的全链条产业落地

我国液冷数据中心处在发展初期，产业链尚不完备、设备采购成本偏高、采购渠道少、电子元器件的兼容性低、液冷服务器用冷却介质成本高等问题是液冷服务器尚未大规模推广的重要原因 [38]。绿色数据中心从规划到落地是一项系统性工程，涉及一系列技术难点突破，从散热冷却材料的筛选制备，到供配电系统优化降低损耗，再到数据中心安全控制系统更新升级，需多专业共同攻关，加大科研投入，从散热冷却材料到适配服务器各个关键环节同步推进，组建区域科创综合体，集中突破共性技术、关键技术、“卡脖子”技术，打破产业瓶颈，降低研发成本，牢牢把握创新发展主动权，使绿色数据中心设备实现自主研发、自主生产、自主建造，达到世界领先，将中国制造转变为中国创造，提升数据中心行业核心竞争力。

（三） 制定科学标准，引导数据中心散热冷却技术产业健康发展

需建立完善的绿色数据中心行业标准，对IT设备、液冷材料、运行维护、供配电、安全及热控防护等方面制定统一的规范，形成科学的有机整体，提高从研发到生产的效率，确保新型散热冷却材料、新型IT设备等研发工作的顺利开展，不同行业关键技术合理对接，及时转化为生产力，做到技术之间、技术与产业之间深度融合，实现产业科学管理、跨界融合示范工程，降低运行维护成本，促进数据中心市场健康有序发展，创造新的应用场景，产生新的消费需求。

（四） 完善产业布局，实现东西部数据中心建设协同推进

数据中心的地理位置分布决定最佳散热冷却技术应用方案，实现风冷技术与液冷技术协同发展。中西部地区电量充沛，电价和地价低廉，且全年平均气温低，空气清洁，满足新风制冷环境要求，适合构建新风制冷数据中心带，符合绿色高能效发展趋势。但由于空气本身热导率低，无法冷却高功率密度的服务器，从制冷成本角度出发，尽量少采用刀片式等高可用、高密度的服务器平台。对于证券交易、高科技、金融通信等对于网络延迟和服务器类型有特殊需求的行业，避免数据远距离传输，不建议通过中西部新风数据中心进行数据处理。在我国东部大中型城市建立数据中心需综合考虑多方面因素。首先是土地资源紧张，地价较高；其次是人口密集，空调机组等噪声对居民正常生产生活影响较大；最后是电价等运维成本较高等。综合多方面考虑，高功率密度、运行安静、选址灵活的液冷数据中心更适用于东部地区。

（五） 注重清洁能源与余热利用，实现数据中心的绿色化发展

数据中心支撑庞大的数据存储与运算，本质上是高耗能产业。实现数据中心减碳降碳甚至碳中和就需要优化数据中心的能源供应结构。风能、光伏发电等可再生能源形式可以与数据中心产业充分融合。虽然这类能源形式具有间歇不稳定的特点，但可以通过科学设计改善数据中心的电力结构，逐步增加“绿电”的使用比例。同时，可再生能源的价格和可用性相对平稳，可使数据中心受能源供给的影响更低。此外，数据中心在大量耗电的同时产生了大量的低品位热量，可以考虑将数据中心产生的余热进行二次利用，如为办公场所提供冬季热源，或与吸收式制冷技术结合将余热转化为冷能进行回收利用。

利益冲突声明

本文作者在此声明彼此之间不存在任何利益冲突或财务冲突。

Received date:May 7, 2022; Revised date: June 30, 2022

Corresponding author: Chen Jianfeng is a professor from Beijing University of Chemical Technology, and a member of Chinese Academy of Engineering. His major research fields include chemical engineering and materials chemical engineering. E-mail: chenjf@mail.buct.edu.cn

Funding project:National Key R&D Program of China (2021YFB3803200)

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

中国信息通信研究院. 数据中心白皮书(2022年) [R]. 北京: 中国信息通信研究院, 2022.
[2]

China Academy of Information and Communications Technology. Data center white paper(2022) [R]. Beijing: China Academy of Information and Communications Technology, 2022
[3]

Lu T, Lyu X S, Remes M, et al. Investigation of air management and energy performance in a data center in Finland: Case study [J]. Energy & Buildings, 2011, 43(12): 3360‒3372.
[4]

季晓莉. 生态绿色发展: 发电装机越来越清洁, 数据中心越来越节能 [N/OL]. 中国经济导报. (2021-07-29)[2022-05-02].

[5]

Ji X L. Ecological and green development: The installed capacity of power generation is getting cleaner and the data center is getting more and more energy-efficient [N/OL]. China Economic Herald, (2021-07-29)[2022-05-02].

[6]

Bao K L, Wang X H, Fang Y B, et al. Effects of the surfactant solution on the performance of the pulsating heat pipe [J]. Applied Thermal Engineering, 2020, 178: 115678.
[7]

赛迪顾问股份有限公司. 中国液冷数据中心发展白皮书 [EB/OL]. (2020-12-05)[2022-04-15].

[8]

CCID. White Paper on the Development of China Liquid-Cooled Data Centers [EB/OL]. (2020-12-05)[2022-04-15].

[9]

朱永忠. 数据中心制冷技术的应用及发展 [J]. 工程建设标准化, 2015 (8): 62‒66.
[10]

Zhu Y Z. The application and development of data center refrigeration technology [J]. Standardization of Engineering Construction, 2015 (8): 62‒66.
[11]

景传刚, 李楠, 宋晓伟. 不同功率密度机柜对数据中心的影响分析 [J]. 通信电源技术, 2019, 36(10): 4.
[12]

Jing C G, Li N, Song X W. Effect of different power density racks on data center [J]. Telecom Power Technologies, 2019, 36(10): 4.
[13]

成彬, 王涛, 武红光, 中国电信数据中心节能减排的策略及其应用 [J]. 节能, 2012, 31(1): 4‒8.
[14]

Cheng B, Wang T, Wu H G, et al. The strategy and application of energy saving and emission reduction in China telecom data center [J]. Energy Conservation, 2012, 31(1): 4‒8.
[15]

Garimella S V, Yeh L T, Persoons T. Thermal management challenges in telecommunication systems and data centers [J]. IEEE Transactions on Components, Packaging and Manufacturing Technology, 2012, 2(8): 1307‒1316.
[16]

Liu Y, Guan R B, Jing M, et al. Research of data center fresh air ventilation cooling system [J]. Lecture Notes in Electrical Engineering, 2014, 262: 299‒306.
[17]

Geng H Y. Data center handbook [M]. Hoboken: John Wiley & Sons, 2014.
[18]

Tuma P E. The merits of open bath immersion cooling of datacom equipment [C]. Santa Clara: Proceedings of the 2010 26th Annual IEEE Semiconductor Thermal Measurement and Management Symposium, 2010.
[19]

ELLSWORTH M J. Flow network analysis of the IBM Power 775 supercomputer Water Cooling System [C]. Orlando: Proceedings of the 2014 IEEE Intersociety Conference on Thermal and Thermomechanical Phenomena in Electronic Systems, 2014.
[20]

肖新文. 直接接触冷板式液冷冷却数据中心的热回收探讨 [J]. 建筑节能, 2020, 48(2): 69‒73.
[21]

Xiao X W. On heat recovery in data centers cooled by cold plate direct contact liquid cooling system [J]. Building Energy Efficiency, 2020, 48(2): 69‒73.
[22]

谢丽娜, 郭亮. 对液冷技术及其发展的探讨 [J]. 信息通信技术与政策, 2019, 296(2): 29‒32.
[23]

Xie L N, Guo L. Discussion on liquid cooling technology and development [J]. Information and Communications Technology and Policy, 2019, 296(2): 29‒32.
[24]

Han X H, Wang X H, Zheng H C, et al. Review of the development of pulsating heat pipe for heat dissipation [J]. Renewable and Sustainable Energy Reviews, 2016, 59: 692‒709.
[25]

Kheirabadi A C, Groulx D. Cooling of server electronics: A design review of existing technology [J]. Applied Thermal Engineering, 2016, 105: 622‒638.
[26]

Mcglen R J, Jachuck R, Lin S. Integrated thermal management techniques for high power electronic devices [J]. Applied Thermal Engineering, 2004, 24(8‒9): 1143‒1156.
[27]

郑思明. 热管技术在数据中心冷却系统中的应用 [J]. 绿色科技, 2019 (24): 187‒188.
[28]

Zheng S M. Application of heat pipe technology in data center cooling system [J]. Journal of Green Science and Technology, 2019 (24): 187‒188.
[29]

田浩, 李震. 基于环路热管技术的数据中心分布式冷却方案及其应用 [J]. 世界电信, 2011 (10): 48‒52.
[30]

Tian H, Li Z. Distributed cooling scheme of data center based on loop heat pipe technology and its application [J]. World Telecommunications, 2011 (10): 48‒52.
[31]

EL-GENK M S. Immersion cooling nucleate boiling of high power computer chips [J]. Energy Conversion & Management, 2012, 53(1): 205‒218.
[32]

钟杨帆, 郭锐, 张京, 基于电子氟化液的单相浸没液冷服务器长期可靠性评估[J].中国电信业, 2021(S1): 55‒60.
[33]

Zhong Y F, Guo R, Zhang J, et al. Long-term reliability evaluation of single-phase immersion liquid-cooling server based on electronic fluoride [J]. China Telecommunications Trade, 2021 (S1): 55‒60.
[34]

Park J E, Thome J R. Critical heat flux in multi-microchannel copper elements with low pressure refrigerants [J]. International Journal of Heat & Mass Transfer, 2010, 53(1‒3): 110‒122.
[35]

Kim J. Spray cooling heat transfer: The state of the art [J]. International Journal of Heat & Fluid Flow, 2007, 28(4): 753‒767.
[36]

Guo D, Wei J J, Zhang Y H. Enhanced flow boiling heat transfer with jet impingement on micro-pin-finned surfaces [J]. Applied Thermal Engineering, 2011, 31(11‒12): 2042‒2051.
[37]

Johnston A, Stone D, Cader T. SprayCool command post platform for harsh military environments [C]. San Jose: 2008 Twenty-fourth Annual IEEE Semiconductor Thermal Measurement and Management Symposium, 2008.
[38]

Qiu L, Dubey S, Choo F H, et al. Recent developments of jet impingement nucleate boiling [J]. International Journal of Heat and Mass Transfer, 2015, 89: 42‒58.
[39]

刘绍彦, 阮琳, 康玉慧. 喷雾冷却轴线处的雾化特性的 实验研究与数值分析 [J]. 科学技术与工程, 2018 (2): 225‒229.
[40]

Liu S Y, Ruan L, Kang Y H. Experimental investigation and numerical analysis of atomization characteristics at the spray cooling axis [J]. Science Technology and Engineering, 2018 (2): 225‒229.
[41]

Yang J, Chow L C, Paris M R. Nucleate boiling heat transfer in spray cooling [J]. Journal Heat Transfer, 1996, 118(3): 668‒671.
[42]

Silk E A, Golliher E L, Selvam R P. Spray cooling heat transfer: Technology overview and assessment of future challenges for micro-gravity application [J]. Energy Conversion & Management, 2008, 49(3): 453‒468.
[43]

Rasmussen N. An improved architecture for high-efficiency, high-density data centers [J]. Green Grid White Paper, 2008, 126: 1‒25.
[44]

Joshi Y, Kumar P. Energy efficient thermal management of data centers [M]. Boston: Springer, 2012.
[45]

Takahashi M, Uekusa T, Kishita M, et al. Aisle-capping method for airflow design in data centers [C]. San Diego: proceedings of the Telecommunications Energy Conference, 2008.
[46]

Bash C E, Patel C D, Sharma R K. Efficient thermal management of data centers—Immediate and long-term research needs [J]. Hvac & R Research, 2003, 9(2): 137‒152.
[47]

Ayou D S, Bruno J C, Saravanan R, et al. An overview of combined absorption power and cooling cycles [J]. Renewable & Sustainable Energy Reviews, 2013, 21: 728‒748.
[48]

Brunschwiler T, Smith B, Ruetsche E, et al. Toward zero-emission data centers through direct reuse of thermal energy [J]. IBM Journal of Research and Development, 2009, 53(3):1‒13.
[49]

Ebrahimi K, Jones G F, Fleischer A S. A review of data center cooling technology, operating conditions and the corresponding low-grade waste heat recovery opportunities [J]. Renewable & Sustainable Energy Reviews, 2014, 31(2): 622‒638.
[50]

孙翠锋, 张琳. 数据中心服务器技术发展趋势与应用 [J]. 通信世界, 2021 (10): 37‒38.
[51]

Sun C F, Zhang L. Development Trend and Application of Data Center Server Technology [J]. Communications World, 2021 (10): 37‒38.

基金资助

国家重点研发计划项目(2021YFB3803200)

AI Summary AI Mindmap
PDF (1060KB)

21382

访问

0

被引

详细
导航
相关文章

AI思维导图

/

〈 〉