CFD技术在集装箱式数据中心的应用（CFD技术在集装箱式数据中心的应用）
CFD技术在集装箱式数据中心的应用（CFD技术在集装箱式数据中心的应用）图1 机房CAD平面示意集装箱机房CAD平面示意如图1所示，由6个集装箱(6085㎜×2438㎜×3200㎜)拼接而成，占地约100平方米，左侧两箱为配电模块，中间一箱为管理模块，右侧两箱为IT模块，最右端为制冷模块。该集装箱机房采用了一系列如间接蒸发冷却空调、无架空地板水平送风、高压直流、微模块UPS、光伏及直流并网、智能母线等新技术。10个IT柜设计电力容量50KW，总用电设计需求100KW，空调送风温度设定为25℃，采用送回风温差控制，送回风温差设定为12℃，有干、湿和干湿混合三种工作模式。一般而言，CFD软件通常包括以下几个主要模块：建立数学物理模型(前处理)、数值算法求解、结果可视化(后处理)。CFD软件种类繁多，有的应用于专用领域，有的可在不同领域中通用。目前，专门用于数据中心领域的CFD软件还比较少，较有代表性的软件是6SigmaDC，其在数据中心CFD仿真应用领域处于主导地
文 / 中国工商银行数据中心 于航
金融行业数据中心承载着金融机构的核心业务，数据中心服务器的安全、稳定运行是保障金融信息安全的基础和关键，因此，对数据中心制冷系统的气流组织和冷量的分析在数据中心的规划和建设中具有举足轻重的地位。良好的气流组织布局是保障数据中心安全、节能运行的必要条件，气流组织布局不良不仅会产生局部热点，影响服务器的运行，严重时还将危害整个系统的安全和稳定运行，给数据中心造成巨大的损失。《数据中心设计规范》(GB50174-2017)要求，应采用计算流体动力学(Computational Fluid Dynamics CFD)气流模拟方法对主机房空调系统的气流组织形式进行模拟和验证。本文通过对某金融数据中心集装箱机房进行CFD技术模拟仿真，深入探讨CFD技术在数据中心的应用。
一、CFD技术应用现状CFD技术的基本原理是用一系列有限个离散点上的变量值的集合来代替原来在时间域及空间域上连续的物理量的场，如温度场、速度场和压力场等，并通过一定的原则和方式建立起关于这些离散点上场变量之间关系的代数方程组，然后对代数方程组求解获得场变量的近似值，从而近似地模拟流体流动情况。
CFD起源于航空航天领域，目前已被广泛应用到各个行业，如汽车、发动机、工业制造、土木工程、环境工程以及数据中心等。在互联网和大数据蓬勃发展的背景下，金融业在线业务快速发展、数据中心大规模扩展，使得服务器机柜密度日渐升高，对数据中心提出了更高的要求——不仅要安全可靠，而且要绿色高效。CFD技术能对数据中心机房气流组织进行模拟，校验设计的合理性以及对现有方案进行优化，在数据中心的应用越来越成熟和完善。
一般而言，CFD软件通常包括以下几个主要模块：建立数学物理模型(前处理)、数值算法求解、结果可视化(后处理)。CFD软件种类繁多，有的应用于专用领域，有的可在不同领域中通用。目前，专门用于数据中心领域的CFD软件还比较少，较有代表性的软件是6SigmaDC，其在数据中心CFD仿真应用领域处于主导地位。6SigmaDC软件含有庞大的数据库，包含机房现场应用的空调、机架、服务器等模块，这些模块的建模数据基于经过校准的机房现场测量数据 需要大量的机房工作经验作为基础。6SigmaDC软件对机房细节的模拟能精确到机房中任何一台IT设备的间隔尺寸及运行情况，这是其他CFD软件不能实现的。
二、CFD技术在机房的仿真模拟本文以某金融机构数据中心的集装箱机房为例，通过建模、CFD模拟仿真来对其进行分析和优化。
1.建模
集装箱机房CAD平面示意如图1所示，由6个集装箱(6085㎜×2438㎜×3200㎜)拼接而成，占地约100平方米，左侧两箱为配电模块，中间一箱为管理模块，右侧两箱为IT模块，最右端为制冷模块。该集装箱机房采用了一系列如间接蒸发冷却空调、无架空地板水平送风、高压直流、微模块UPS、光伏及直流并网、智能母线等新技术。10个IT柜设计电力容量50KW，总用电设计需求100KW，空调送风温度设定为25℃，采用送回风温差控制，送回风温差设定为12℃，有干、湿和干湿混合三种工作模式。
图1 机房CAD平面示意
图2为根据CAD图及实际情况建立的CFD模型，IT间冷通道封闭，空调为水平送风形式，配电间与IT间通过两风管连接，上风管送风，下风管回风。
图2 CFD模型
2.设置参数
在对建好的模型进行参数设置的过程中，空调和机柜参数的设置是最重要的，参数的准确性会影响最终结果的精确度，必须保证设置的边界条件和参数与实际环境相符，才能保证结果的可靠性。6SigmaDC的网格划分及求解都是自动进行的，只需要设置好基本参数，让软件自动进行计算。
3.结果分析
CFD软件提供了多种结果的可视化显示，图3~5为机柜不同高度的平面温度分布图，根据温度分布图可以分析冷热通道在不同高度的温度分布情况。《数据中心设计规范》(GB50174-2017)要求冷通道温度为18℃~27℃，图中冷通道温度为25℃左右，符合数据中心设计规范。
图3 机柜底部温度分布
图4 机柜中部温度分布
图5 机柜顶部温度分布
图6为空调送回风流线示意。通过流线图可以直观感受冷热通道以及风管的进出风的空气流动情况。
图6 空调送回风流线示意
图7为单个机柜进出风流线示意，可根据流线图分析机柜中每台设备的气流组织，因为封闭了冷通道，机柜中的进出风冷热气流的相互影响比较小。
图7 机柜进出风流线示意
为找出可能存在的局部热点，需进一步分析各机柜的温度分布情况。图8为机柜的平均进风温度与最大进风温度分布示意，可以看出，离空调出风口近的机柜进风温度低，离出风口远的机柜进风温度相对偏高。另外，结果显示，虽然机柜的平均进风温度都低于27℃，但个别机柜的最大进风温度还是比较高，超过了27℃，这说明该模型还可以继续进行优化，直至各机柜最大进风温度维持在18℃~27℃之间。
图8 机柜的平均进风温度与最大进风温度分布示意
4.问题优化
该集装箱机房IT间的冷通道为“T”型通道(如图9所示，左侧红色框部分)，一部分冷量在靠近风管处堆积没有被充分利用，造成了冷量的浪费，可以缩小冷通道，将“T”型通道改为“L”型通道(图9右侧红色框)，提高冷通道冷量的利用率。
图9 “T”型通道改为“L”型通道
图10 “T”型通道与“L”型通道进风温度比较
将各机柜的最大进风温度用不同的颜色分段表示（绿色为18℃~27℃，黄色为27℃~32℃），“T”型通道与“L”型通道进风温度比较如图10所示。可以看出，在相同条件下，将“T”型冷通道改为“L”型后，机柜获得的冷量增加，机柜进风温度降低，但仍有三个机柜的最大进风温度高于27℃。进一步分析可知，机柜中IT设备的布局也可以进行调整，不同功耗和发热量的设备在机柜中分布可能会相互影响，这也是可以优化的点。
对每个机柜设备的进风温度（如图11所示）进行分析，温度较高的机柜中都是功率比较大的设备，且在机柜中靠上位置，而机柜下侧的温度比较低，因此可以适当调整设备的位置，降低设备的进风温度。
图11 IT设备进风温度分布
调整前和调整后的IT设备分布如图12所示，将位于机柜上部的IT设备调整到机柜的下部。
图12调整前和调整后的IT设备分布
IT设备调整前后机柜最大进风温度比较如图13所示，从机柜进风温度可以看出，调整后的进风温度已完全处于18℃~27℃之间。
图13 IT设备调整前后机柜最大进风温度比较
5.总结与建议
本文通过对某金融数据中心集装箱机房进行CFD仿真模拟，分析了该机房不同高度的温度分布及空调送回风气流组织情况，验证了机房设计的合理性，并对各机柜及IT设备的进风温度进行了模拟，提出了两种改善机柜进风温度的方法，并通过CFD仿真进行了验证分析。
CFD设计软件能帮助设计者优化数据中心的流场，在数据中心实际部署之前校核冷却方案的合理性，并能对已有数据中心进行优化，提高数据中心的能源利用效率。CFD技术能够直观地展示温度、压力等数据在机房各个位置的分布，能够模拟出空调的气流组织运动情况，还能对机房中各台设备的情况进行分析，对机房的设计验证具有很好的指导意义。同时，通过CFD技术对已有的数据中心进行优化，可在实际调整之前对优化方案进行模拟分析，找出最优的解决方案，这在一些优化方案复杂及优化调整需要大量人力物力的情况下是十分必要的。此外，CFD技术对如何建设更加绿色节能的数据中心也具有指导意义。
CFD仿真结果需要得到实际物理流场的验证才可靠，这是因为通过CFD技术得到的计算结果的精度受多种因素影响，如对复杂流场仿真前置处理时的边界条件、物性参数等的定义是否与实际一致、计算方法与后置处理是否准确等。由于参数往往是理想条件，因此通过CFD对设计方案进行验证较为方便快捷，但如果是对已有的机房进行优化，就需要以现场测量数据为基础，确保模型有较高精度，需要不断优化使得模拟的结果与实际运行结果一致，这样才能保证模型的可靠性，此时通过CFD进行模拟仿真需要较高的时间成本。
