南京工业大学城市建设学院  向滕，王瑜，吴露露，许鑫洁，刘金祥

       【摘  要】随着数据中心的运行，服务器不断散热，容易产生热量堆积，机房内部的服务器温度过高将会影响到其工作状态甚至产生安全隐患。已建成的数据中心无法改变空调结构，优化气流组织是缓解数据中心热量积聚的有效方法。以南京某高校的数据中心为例，提出了通过改变空调出风口的风速、温度以及架空地板孔隙率，改变温度分布和气流组织的方法；利用ICEM CFD对该机房建立三维全尺寸模型和划分网格，以机柜真实发热量作为边界条件，应用CFD软件进行数值模拟，对比分析不同工况下的气流组织和温度分布情况，结合考虑能耗改变，得出出现最优温度分布和气流组织的边界条件为：空调出风风速2m/s、出风温度20℃、穿孔地板孔隙率50%。计算结果为已建成数据中心的节能改造提供了参考。

       【关键词】数据中心；气流组织；温度分布；流场分布；优化方法

       【基金项目】中国博士后科学基金面上项目（2019M661812），江苏省高校自然科学基金资助项目（18KJB560007），南京航空航天大学飞行器环境控制与生命保障重点实验室项目（KLAECLS-E-201902），江苏省研究生科研与实践创新计划项目（SJCX20_0326）

Abstract:With the operation of the data center, heat is dissipated from the server surface, which causes heat accumulation. The excessively high temperature of the server inside the equipment room will affect its operating status and even cause security risks. Optimizing airflow organization is an effective way to eliminate heat accumulation in the data center. The research was conducted based on the data center of Nanjing Tech University. A method was proposed to change the temperature distribution and airflow organization by re-arranging the flow velocity and temperature from the air outlet of the air conditioner and porosity of the raised floor. ICEM CFD was applied to establish a three-dimensional full-scale model and construct the mesh. Boundary conditions were set according to the real heating of the cabinet. On the basis, CFD software was utilized for numerical simulation by comparing and analyzing the airflow organization and temperature distribution under different working conditions. Considering the energy consumption, the boundary conditions for the optimal temperature distribution and airflow organization are as follows: the air-conditioning outlet wind speed is 2m/s, the outlet temperature is 20℃, and the porosity of the perforated floor is 50%. The calculation results provide a reference for the energy-saving renovation of the existing data center.

Keywords: data center；air flow organization；temperature distribution；flow field distribution；optimization method

       数据中心是信息时代发展的基础，而随着社会的发展，数据中心的规模也不断扩大，对其散热能力提出更高的要求。数据中心作为大量IT设备的聚集地存在着高能耗设备集中、全天候运行等特点^[1]。数据中心现阶段普遍存在的发热问题主要体现在温度分布不均和局部过热现象^[2]，而局部过热现象会导致服务器运行速度减慢，甚至会出现服务器全面崩盘，不仅会影响到人们的日常生活，也会带来一些经济损失。现阶段普遍存在的数据中心局部过热解决方案有以下几种：1、增加空调数量或者降低空调送风温度；2、采用通风机送风，增加机房内热交换能力；3、对过热区域进行针对性的降温处理，如采用相变制冷等。这些方式均增加了机房内设备数目，对于已运行的机房改造工作并不适用。

       目前，国内外的学者对数据中心流动和传热特性优化进行了大量的研究。CFD（Computational Fluid Dynamics，计算流体动力学）被广泛用来分析和优化机房和 IT 设备内部的气流组织和温度分布^[3]。Sang-Woo Ham等^[4]研究了数据机房空调最佳送风温度的范围，研究结果显示，机房空调送风温度在18-23℃的范围内效果达到最好。Suhas^[5]研究了数据中心开孔地板对于气流组织的影响，研究结果显示，改善数据中心内的气流组织可以通过增加架空地板高度和改变架空地板的孔隙率来实现。Patel等^[6]通过仿真模拟的方式，研究了通过改变机柜的位置实现对机房气流组织的影响。陈杰^[7]通过CFD的模拟分析，提出了数据机房适合采用封闭冷通道的方式进行改造。上述研究为已有数据中心的传热特性优化改造提供了参考。

       所研究的数据机房采用地板下送风的送风方式，以及封闭冷通道的气流组织形式，冷热空气掺混的现象得以改善，利于服务器的散热^[8]。本文中希望通过改变送风温度、送风速度和地板孔隙率改善其热量分布，因此基于CFD的计算方法进行数值模拟，通过分析5种不同送风温度、5种不同送风速度以及4种不同穿孔地板孔隙率边界条件的温度场和速度场，最终可以定量分析出最适合该数据机房的空调送风温度、送风速度和穿孔地板的孔隙率，从而为该数据中心的节能改造提供了参考。

1  建筑概况

       1.1 物理模型

       本文所述的数据中心位于南京工业大学江浦校区逸夫图书馆，该数据中心内含基础机房、核心机房和超算机房，本文所研究的机房是核心机房，图1展示了核心机房的具体布局及几何尺寸，图2展示了模拟机房的三维模型，图3展示了采用架空地板封闭冷通道的数据中心送风方式的气流流向示意图。

图1 核心机房具体布局图               图2模拟机房的三维模型                 

图3 采用架空地板封闭冷通道的数据中心送风方式的气流流向示意图

       该数据机房模型的送风方式为地板下送风、热通道回风的方式；且采用封闭冷通道、开放热通道的气流组织形式。空调的冷空气通过架空地板进入封闭冷通道，封闭冷通道的冷空气进入机柜，将机柜中的服务器冷却后流向开放热通道，最终流到空调回风口。

表1 数据中心和设备参数

       表1列出了核心机房及相关设备的几何尺寸及实际运行参数。机房内部有18个机柜，均匀分成两列，布置于封闭冷通道两侧。而两排机柜之间封闭的区域即为核心机房的封闭冷通道，该封闭冷通道包含穿孔地板。机柜后门与墙壁之间的空间为开放热通道，假设每个机柜内仅含有一个服务器，并且每个服务器单位体积的功率大小都一致，设为22645 W/m³。

       1.2 数学模型

       对数据中心的规模、机柜、服务器和气流状态进行分析，房间级数据中心的流态应当为湍流^[9-10]。本文中的数值模拟采用了标准k-ε湍流模型^[11-13]，不可压缩流体的控制方程如下^[14-16]：

       连续性方程：

                  （1）

       动量方程：

              （2）

       能量守恒方程：

           （3）

       式中：为平均速度矢量；t为静态温度，K；v_eff为湍流有效黏度系数，m/s；ρ为流体的密度，kg/m³；p为静压力，Pa；g为重力加速度矢量，m/s；c_p为空气定压比热，J/(kg·K)；k_eff为导热系数，W/(m·K)；S为体积热源。

       1.3 边界条件

       X、Y、Z轴速度方向收敛准则和连续性方程的收敛准则都是10-3，而能量方程的收敛准则是10-6。表2展示了模拟的边界条件设置情况。

表2 边界条件参数设置

2  数值模拟

       为了研究该数据中心流动和传热特性的优化，对机房空调设置了5组不同的出风速度（1m/s、2m/s、2.67m/s（实际风速）、3m/s、4m/s）和5组不同的出风温度（15℃、20℃、22℃（实际送风温度）、25℃、30℃）；对穿孔地板设置了4组不同的孔隙率（45%（实际穿孔地板孔隙率）、50%、55%、60%）。

       2.1 网格划分

       根据该数据中心的几何形状和送回风口的形式进行网格划分。因为该数据中心中服务器、空调等三维形状都是长方体，对其所在的体采用六面体网格形式，送回风口、架空地板、机架等都是长方形，对其所在的面采用四边形网格形式。

       2.2 网格独立性检验

       为确保网格质量，根据以往专家提出的网格独立性检验方法对数据中心模型网格质量进行检验^[17-19]。网格独立性检验选取了5组不同的网格数量：102857、328594、476960、598376、729468。图4展示了在不同网格数量条件下，机柜出风口位置的最高温度，可以看出，当网格数量为476960时，机柜出风口的最高温度保持稳定，因此最佳网格数量为476960。

图4 不同网格数量条件下，机柜出风口位置的最高温度

3  结果与讨论

       3.1不同出风速度条件下的温度场和速度场

       风速对机房环境的影响首先反映在速度场，进而反映到温度场，因此气流组织的分析对机房温度场的分布起到重要作用。在分析空调出风速度的影响时，保持送风温度为22℃、穿孔地板孔隙率为45%。

       在对数据中心温度场和速度场进行分析时，分别截取Z方向和X方向上的几个典型截面，其中Z=0.22m是地板水平面架空地板下的截面，Z=0.65m是地板水平面近地机柜截面，Z=1.55m是地板水平面机柜中部的截面，Z=2.45m是地板水平面远地端机柜截面，Y=4m是机柜中部的横截面。下文将用截面1表示Z=0.22m处截面，其他截面详情见表3。

表3 截面对照表

       3.1.1 温度场分析

       从截面1可以看出（温度分布见表4），5组不同风速条件下温度一样并且分布均匀，说明在30min时，风速的大小已经不会影响该区域的温度大小和分布。从截面2、3、4皆可以看出（温度分布见表5），随着风速的增加，深蓝色的区域面积在增加，机柜出风口位置的浅蓝色区域变化不大，说明在不考虑能耗的前提下，风速越大，整个机房范围内制冷效果越好，但没有显著降低机柜出风口的最高温度。取同一风速，从截面2、3、4看出（温度分布见表6），即从机柜的下、中、上三个截面可以看出，在封闭冷通道内的下部和上部深蓝色区域面积差不多，并且比中部深蓝色区域面积大，说明封闭冷通道内的下部和上部大部分区域的温度比中部低。

表4 5种送风风速的在截面1的温度截图

表5 5种送风风速的在截面3的温度截图

表6 送风风速为2.67m/s时在截面2、3、4的温度截图

       3.1.2 速度场分析

       从截面1可以看出，近空调端以黄色和绿色为主，远空调端以浅蓝色为主，并且在黄绿色周围有深蓝色区域，说明冷空气的速度随着距离的增加在减小，并且伴随着涡流现象的产生。

图5 送风风速为2.67m/s时在截面1的流场截图

       结合截面5，可以看出随着冷空气速度的衰减，动压逐渐转化为静压，从而冷空气大多数从空调远端的有孔地板向上流入，这也能很好地解释表6中出现的现象。

图6 送风风速为2.67m/s时在截面5的流场截图

       从截面2可以看出（速度分布见表7），送风速度不大于3m/s时，封闭冷通道内浅蓝色区域分布平均，送风速度为4m/s时，封闭冷通道内浅蓝色区域程度更深并且分布不均，说明当送风温度不大于3m/s时，架空地板下的空间起到了静压箱的作用，冷空气进入封闭冷通道的速度较为均匀。

       结合温度场、速度场可知，风速为1m/s时，机柜出风口温度高，制冷效果不好；风速为4m/s时，因为流速过大，导致架空地板下空间起不到静压箱的作用，从而使得冷空气进入封闭冷通道的速度不均匀，两侧机柜制冷情况差异明显；风速为2m/s时，从表5可以看出制冷效果比风速为2.67m/s时要好，稍逊于风速为3m/s的工况，但风速为3m/s时，降温明显的区域属无效区域，结合节能角度考虑，最佳送风速度为2m/s，此时机柜出风口最高温度为32.3℃，大部分区域温度在28~30℃区间内。。

       降低空调送风速度可以降低空调系统风机的转速，从而降低风机能耗。对于同一台风机，当转速改变时，性能参数都随之改变，可以用相似率计算相关参数^[20]。相关相似率方程如下：

       流量相似关系：

               （4） 

       功率相似关系：

               （5）

       式中：下角标m表示原工况状态参数，n表示改变后工况状态参数，Q为风机风量，n为风机转速，为风机叶轮外径，N为风机功率，为风机中流体密度。

       因为风机流量（Q）=风机流速（v）×出风口面积（F），结合式（4）、（5）可知，，已知原风速为2.67m/s，改造后风速为2m/s，预计改造后空调系统风机能耗仅占原有风机能耗的42%。

表7 5种不同送风风速在截面2截面的流场截图

       3.2 不同出风温度条件下的温度场

       在本次数值模拟中，空气密度为常量，不随温度的变化而变化，改变空调送风温度不会改变机房内的流场，不同送风温度条件下的流场是一样的，因此速度场在此小节中不做探讨。在分析空调出风温度的影响时，保持送风速度为2.67m/s、穿孔地板孔隙率为45%。

       从截面3可以看出（温度分布见表8），送风温度越低，机房内蓝色变深的区域面积在增大，面积主要增加在封闭冷通道外的区域，说明降低空调送风温度，能有效降低机房内的温度，机柜出风口的温度也有所降低，但大部分降低温度的区域是无效区域。

       当送风温度为22℃、25℃、30℃时，机柜出风温度较高，制冷效果不好；送风温度为15℃、20℃时，机柜出风口温度较低，制冷效果好，综合考虑，最佳送风温度为20℃,此时机柜出风口最高温度为33.9℃，大部分区域温度在31℃左右。

       对于数据中心的冷却系统而言，降低空调送风温度意味着冷却水温度的降低，将会增加制冷设备的能耗。如果降低数据中心的空调送风温度，每降低2℃将会增加2.8~8.5%的能耗^[21]，因此如何平衡数据中心制冷效果和能源消耗之间的关系成为一个很重要的研究方向。

表8 5种送风温度的在截面3的温度截图

       3.3 穿孔地板不同孔隙率下的温度场和速度场

       3.3.1 温度场分析

       在分析穿孔地板孔隙率的影响时，保持送风温度为22℃、送风速度为2.67m/s。从截面2、3可以看出（温度分布见表9），穿孔地板孔隙率为45%时，机柜出风口位置蓝色较浅，说明此时机柜出风口处温度较高，制冷效果不佳；穿孔地板孔隙率为50%、55%、60%时，机房内深蓝色和浅蓝色区域面积及分布位置相差不大，机柜出风口处蓝色程度较深，说明此时制冷效果良好，并且当穿孔地板孔隙率超过50%时，不再能有效地改善机房内的制冷效果。

表9 穿孔地板不同孔隙率在截面2、3的温度截图

       3.3.2 速度场分析

       从截面2可以看出（速度分布见表10），随着穿孔地板孔隙率的增大，封闭冷通道内近空调端的蓝色区域在增加，说明封闭冷通道内近空调端的风速在减小，符合流体的连续性原理，即相同连续的流体流经大截面时，流速会降低。

       由于存在数据中心工作人员出入机房的现象，当穿孔地板孔隙率过大时会对地板材料强度要求更高，地板空隙过大也会存在一些安全隐患，因此最佳的穿孔地板孔隙率为50%，此时机柜出风口最高温度为30.6℃，大部分区域温度在26.5℃左右。

表10 穿孔地板不同孔隙率在截面2的流场截图

4  结论

       本文研究的数据中心已建成，结构及管线复杂，在不改变该数据中心内任何设施的前提下，提出了几点可以优化传热的措施。在经过分析对比后，结合实际制冷效果、能源消耗等多方面因素，得出以下结论：

       1）空调送风速度的大小能影响到机房内流场分布和气流组织，从而影响到机房的温度高低的分布；送风速度越大，机房内总体制冷效果更好，但是主要影响到机柜、封闭冷通道以外的区域，对于服务器的冷却效果不佳。而对于较低风速的冷空气，不能充分的带走服务器产生的热量，从而达不到适合服务器工作的温度。因此，空调送风风速采用2m/s，此时预计节省空调风机能耗约58%。

       2）空调送风温度的高低直接影响到机房的温度高低及分布，送风温度越低，机房内总体制冷效果更好；但一味地追求降低送风温度，对服务器局部过热的现象影响甚微，只会增加更多额外的能耗，而对于较高送风温度的冷空气，不能充分带走服务器产生的热量，达不到适合服务器工作的温度。因此，空调送风温度采用20℃，此时预计增加制冷机组能耗为2.8~8.5%。

       3）穿孔地板的孔隙率与封闭冷通道的进风量有一定关系，对封闭冷通道内的制冷效果也产生了影响。模拟表明，采用50%、55%、60%孔隙率的穿孔地板制冷效果明显优于45%孔隙率的穿孔地板，而50%、55%、60%孔隙率的穿孔地板制冷效果差别不大。由于存在数据中心工作人员出入机房的现象，地板空隙过大会导致地板强度降低，存在一些安全隐患，因此最佳的穿孔地板孔隙率为50%。

参 考 文 献

       [1] 马德,肖后强,沈江. 某省级党政机关政务外网机房CFD模拟[A]. 中国勘察设计协会建筑环境与设备分会.第6届全国建筑环境与设备技术交流大会文集[C].中国勘察设计协会建筑环境与设备分会:《制冷与空调》编辑部,2015:5.
       [2] 马昕宇. 高热流密度数据机房气流组织的数值模拟与优化研究[D].东南大学,2019.
       [3] 杨超,黄赟,丁聪.采用CFD仿真优化数据中心气流组织[J].电信工程技术与标准化,2018,31(09):89-92.
       [4] Sang-Woo Ham,Jun-Seok Park,Jae-Weon Jeong. Optimum supply air temperature ranges of various air-side economizers in a modular data center[J]. Applied Thermal Engineering,2015,77.
       [5] Suhas V. Airflow and cooling in a data center[J]. Journal of Heat Transfer 2010 132,(7): 1-17.
       [6] Patel C D, Sharma R, Bash C E, et al. Thermal considerations in cooling of large scale high compute density data centers[C].Proceedings of ITherm 2002 Eighth Intersociety Conference on Thermal and Thermomechanical Phenomena in Electronic Systems. San Diego:IEEE,2002:767-776.
       [7] 陈杰.数据机房冷通道封闭技术应用及模拟分析[J].暖通空调,2015,45(06):37-40.
       [8] 秦冰月,杨欣,闫涛,杨帆,郑匡庆,付连凯,方旭寅,印明佳,程戈亮.基于热环境评价指标的数据中心冷通道封闭机房气流组织研究[J].暖通空调,2020,50(08):123-128+39.
       [9] Huang Z, Dong K, Sun Q, et al. Numerical simulation and comparative analysis of different airflow distributions in data centers[J]. Procedia Engineering 2017,(205): 2378-2385.
       [10] Yuan X L, Tao X T, Liu J X, et al. Experimental and numerical investigation of an airflow management system in data center with lower-side terminal baffles for servers[J]. Building and Environment 155,(2019): 308-319.
       [11] Song Z. Thermal performance of a contained data center with fan-assisted perforations[J]. Applied Thermal Engineering 2016,(102): 1175-1184.
       [12] Song Z, Murray B, Sammakia B. Numerical investigation of inter-zonal boundary conditions for data center thermal analysis[J]. International Journal of Heat and Mass Transfer 2014,(68): 649-658.
       [13] Song Z, Murray B, Sammakia B. A dynamic compact thermal model for data center analysis and control using the zonal method and artificial neural networks[J]. Applied Thermal Engineering 2014,(62): 48-57.
       [14] Ma Y, Ma G, Zhang S, et al. Cooling performance of a pump-driven two-phase cooling system for free cooling in data centers[J]. Applied Thermal Engineering, 2016,(95): 143-149.
       [15] Gao Y, Liu J, Yuan X, et al. Air-conditioning system with underfloor air distribution integrated solar chimney in data center[J]. Procedia Engineering 2017,(205): 3420-3427.
       [16] Zhang K, Zhang X, Li S. Numerical study on the thermal environment of UFAD system with solar chimney for the data center[J]. Energy Procedia 2014,(48): 1047-1054.
       [17] TC 9.9, ASHRAE. Thermal guidelines for data processing environments-expanded data center classes and usage guidance[R]. US: Whitepaper prepared by ASHRAE technical committee (TC), 2011.
       [18] Zhang H, Shao S, Xu H, et al. Free cooling of data centers: A review[J]. Renewable and Sustainable Energy Reviews, 2014,(35): 171-82.
       [19] Phan L, Lin C X. A multi-zone building energy simulation of a data center model with hot and cold aisles[J]. Energy and Buildings 2014,(77): 364-376.
       [20] 刘红敏.流体机械泵与风机[M].上海交通大学出版社, 2014.
       [21] Kuei-Peng Lee, Hsiang-Lun Chen. Analysis of energy saving potential of air-side free cooling for data centers in worldwide climate zones[J]. Energy & Buildings, 2013, 64(SEP.):103-112.

       备注：本文收录于《建筑环境与能源》2021年4月刊 总第42期（第二十届全国暖通空调模拟学术年会论文集）。版权归论文作者所有，任何形式转载请联系作者。