hpdl388e是什么型号（HPEDL560Gen10高密度四路服务器评测）

hpdl388e是什么型号（HPEDL560Gen10高密度四路服务器评测）我们收到的HPE ProLiant DL560 Gen10可以支持Intel全系列Platium/Gold处理器，最高可以支持至TDP 205W的Xeon SP Platium 8180M，可以每颗处理器提供28个核心、56个线程，以及1.5TiB的内存支持能力，整机可以支持最多至112核心、224线程以及6TiB内存。我们收到的机器配置的是……四个Xeon Gold 5118，这几乎是最低端的四路处理器型号了，不过内存容量比较出色，达到了768GiB。我们特别想指出的一点是，我们觉得这个服务器的前面板很好看，但可惜HPE并没有提供。带前面板的HPE ProLiant DL560 Gen10四路服务器，透过面板可以看出其为24SFF规格，来源：HPE为什么我们需要四路（或更多路）的服务器？买两台双路服务器Scale-Out不可以吗？如前面所述，因为性能和RAS特性。很多Business-C

就性价比上来看，双路机架式服务器当是最理想的，这也是出货量最多的规格。不过，除了常规的需求之外，很多用户也需要更强大的机器，而且是使用多台双路机器Scale-Out（横向扩展）所不能带来的，如Business-Critical（关键业务）和Mission-Critical（关键任务，有时也做“关键业务”），不仅仅需要更高的性能，同时也需要更多的RAS（Reliability，Availability，Serviceability，可靠性，可用性，可服务性）特性，以满足“Critical”的需求。伴随着“Xeon”品牌的诞生，Intel将双路服务器平台和四路及更多路服务器平台所用的至强处理器进行了区分，前者通常带一个“DP”后缀（2001年，代号Foster DP），后者带一个“MP”后缀（2001年，代号Foster MP），但很快变成为“EP”和“EX”（2009年，Nehalem-EP/EX）后缀，并逐渐将高性能和RAS特性进行了解绑，例如，EP平台也可以具有四路的配置，但其RAS特性维持在EP的等级。

HPE ProLiant 500系列Gen10服务器HPE四路服务器的名称，包含两个型号：DL580（左）和DL560（右），来源：HPE

在前段日子我们测试了来自新华三的H3C UniServer R4700 G3双路机架服务器之后，我们又收到了来自HPE的一台四路机架服务器：HPE ProLiant DL560 Gen10。HPE（Hewlett Packard Enterprise，慧与）是世界著名的老牌服务器厂商，拥有企业级IT市场最全面的产品组合，包括全球销量第一、面向重要业务应用的工业标准服务器（ProLiant），全球第一款基于开放平台的关键业务服务器（Superdome X）和高端容错服务器（Nonstop X），业界第一款软件定义服务器（Moonshot），专为高性能计算设计的服务器（Apollo），还拥有包括全球首款企业级高端全闪存（3PAR）在内的全面的存储产品。新华三（H3C）是HPE品牌的服务器、存储和技术服务的中国独家提供商。我们还没测试过HPE的Superdome/Nonstop产品（属于和ProLiant相应的Integrity品牌系列），不过，就四路平台来看，HPE ProLiant 500系列的性能表现应该不输于HPE Integrity Superdome X的继任者HPE Superdome Flex（Superdome Flex最多可以支持32路配置）。

HPE ProLiant Gen10四路服务器的配置区别：DL560（左）和DL580（右），来源：HPE

为什么我们需要四路（或更多路）的服务器？买两台双路服务器Scale-Out不可以吗？如前面所述，因为性能和RAS特性。很多Business-Critical和Mission-Critical应用无法——或者不能很好地——通过Scale-Out扩展性能，尽管有一个比较明显的例外：Oracle RDBMS，它是通过一个略微复杂的Oracle RAC（Real Application Clusters，真实应用集群）来达到负载均衡提升性能的效果，但Oracle RAC出现的初衷是通过集群的形式提高数据库系统可用性，其在性能上的提升并不是最主要的目标，而且，其提升效率也不如直接增加处理器Scale-Up。日前，随着Intel Xeon Scalable Processor（至强可扩展处理器）的推出，在Scale-Up和Scale-Out、性能和RAS特性上都能很好地满足用户多样化的需求，这也正是“Scalable”的本意。

Intel Xeon可扩展处理器家族，Platium可以支持八路，Gold可以支持四路，Silver和Brozen可以支持双路配置，来源：Intel

　　有一点上图没有标明的是，Xeon SP可以支持八路以上的配置，但其需要Platium和Gold 61xx系列处理器，Gold 51xx系列处理器仅支持四路配置。无论如何，结果非常明显，多路的Platium系列和Gold系列提供的性能和RAS特性都是双路的Silver和Brozen所无法具备的，这就是四路（或更多路）服务器平台的价值所在。

带前面板的HPE ProLiant DL560 Gen10四路服务器，透过面板可以看出其为24SFF规格，来源：HPE

我们收到的HPE ProLiant DL560 Gen10可以支持Intel全系列Platium/Gold处理器，最高可以支持至TDP 205W的Xeon SP Platium 8180M，可以每颗处理器提供28个核心、56个线程，以及1.5TiB的内存支持能力，整机可以支持最多至112核心、224线程以及6TiB内存。我们收到的机器配置的是……四个Xeon Gold 5118，这几乎是最低端的四路处理器型号了，不过内存容量比较出色，达到了768GiB。我们特别想指出的一点是，我们觉得这个服务器的前面板很好看，但可惜HPE并没有提供。

去掉面板的24SFF HPE ProLiant DL560 Gen10四路服务器，来源：HPE

接下来，我们先稍微详细介绍一下，HPE ProLiant DL560 Gen10四路机架服务器的设计。

除了包含ProLiant的两大系列——300系列和500系列之外，HPE Gen10 Server还涵盖Synergy BL4xx系列，这些同代机器共享一系列相同的技术：HPE Gen10技术，其主要包括了四个方面：

1，世界最安全的标准工业服务器

2，Intelligent System Tuning，智能系统优化技术

3，新的计算能力（新一代Intel处理器平台带来的新能力）

4，增强的存储能力（主要是NVMe存储能力）

后两者将会在后面的系统拆解当中逐一介绍，这里主要介绍前两者，第一个其实是基于HPE Gen10服务器使用的新iLO5（Integrated Lights Out 5）管理引擎，第二个这是HPE Gen10服务器上研发的新功能。HPE Gen10服务器整合了HPE的多种设计，极大地提高了HPE Gen10服务器的安全性：

HPE Secure Compute Lifecycle，来源：HPE

HPE将安全嵌入了传统的Compute Lifecycle计算生命周期，形成了新的安全计算生命周期——HPE Secure Compute Lifecycle，其根基就是iLO5上搭载的新Silicon Root of Trust（硅芯片信任根，官方名称是“可信硅根”）能力，提供了固件保护、蠕虫监测和固件恢复等能力。

HPE Gen10 iLO5 Silicon Root of Trust，iLO实际上是一种增强的BMC控制芯片，来源：HPE

新的iLO5 ASIC芯片在引导时可以检测包括iLO5、UEFI等在内的各种系统固件，从硅晶片上确保了系统的可信任性。实际上，HPE Gen9服务器搭载的iLO4也提供了基于固件的Silicon Root of Trust能力，它已经非常安全，不过，它仅能确保UEFI BIOS固件的安全性，无法保护自身，也无法保护UEFI BIOS以外的固件，因此，HPE推出了iLO5，实现了真正的Silicon Root of Trust：

HPE Silicon Root of Trust Gen10（下） vs Gen9（上），来源：HPE

HPE Gen10 iLO5 Silicon Root of Trust可以保护自身的Firmware，真正确保了一个安全根基，在这个根基上，iLO5进一步扫描CPLD、IE、SPS和UEFI BIOS固件：

HPE Gen10 Silicon Root of Trust工作流程，来源：HPE

和iLO4不同，iLO5的UEFI BIOS还额外检测Option ROM固件，通过Secure Boot保护OS则和之前一样。

HPE ProLiant DL560 Gen10上提供Silicon Root of Trust能力的iLO5芯片

通过iLO5，HPE Gen10服务器提供了基于晶片的真正Silicon Root of Trust。除此之外，HPE Gen10服务器还提供了一些额外的特性，如自动安全恢复（发现异常时自动恢复到已知的安全状态）、运行时固件验证（每天一次自动验证所有的固件）、安全删除、商用的安全加密算法CNSA（Commercial National Security Algorithm Suite）等等特性需要iLO5新增加的iLO Advanced Premium Security Edition License：

HPE Gen10/iLO5引入一个新的iLO Advanced Premium Security Edition，来源：HPE

通过与Intel的紧密合作，HPE在Gen10服务器上引入了一套Intelligent System Tuning（IST，智能系统优化）技术，可以显著地优化系统的性能，它包含了三种技术：Workload Matching、Jitter Smoothing和Core Boosting：

HPE Intelligent System Tuning包含的三种技术，来源：HPE

其中，Worload Matching其实是一种预配置的工作负载配置文件（后面会提到），Jitter Smoothing用来与Intel的Turbo Boost合作，降低Turbo Boost频率变化带来的延迟和性能不稳定最终造成的性能影响，Jitter Smoothing需要iLO5 Advanced或以上的License。Core Boosting则可以让处理器能达到比标准Intel处理器配置文件更高的频率和更多的活跃核心，从而提供更好的性能，这个功能依赖于特定的Intel处理器和特定的HPE Gen10型号。

四路服务器也不算少见，不过，HPE ProLiant 500 Series Gen10服务器的设计有些与众不同，同时与上一代也不一样，我们先看看Intel的标准Glueless多路处理器架构：

注意，右侧的八路配置并非环形架构，只有2UPI的四路配置才是，3UPI的四路配置亦非环形架构，来源：Intel

八路对应的架构细节在我们碰到对应产品的时候我们再予以讨论，现在我们探讨的是两种四路的配置：4S-2UPI（基于2UPI的四路配置）和4S-3UPI（基于3UPI的四路配置），基本上，所有基于Skylake微架构Xeon Scalable Processor的四路服务器都能支持这两种配置，具体是哪一种配置基本上取决于用什么CPU，服务器决定的是CPU的其它方面的连接能力，主要就是PCI Express和DMI（连接PCH）连接能力：

HPE ProLiant DL580 Gen10（上）/DL560 Gen10（下）；使用Platium和Gold 61xx处理器时，支持的是全部四个处理器点对点连接所有其它处理器（4S-3UPI）；使用Gold 51xx处理器时，四个处理器成环状，对角的处理器无法直接访问而需要临近处理器中转（4S-2UPI）；使用更低端的处理器可能可以组成后面展示的双路配置；来源：HPE

DL580 Gen10是一个4U高度的机架式服务器，DL560 Gen10这是2U高度，从计算密度来看，DL560 Gen10显然要高一倍，这也是为什么我们称其为高密度四路服务器的原因，就个人而言，我们也更喜欢DL560 Gen10的紧凑设计：

HPE ProLiant 500系列Gen10服务器HPE四路服务器的名称，包含两个型号：DL580（左）和DL560（右），来源：HPE

可以认为，HPE ProLiant DL560/DL580 Gen10共享了大部分的架构设计和组件，除了更高的身躯从而前面板提供更强大的存储能力之外，DL580 Gen10也提供了更多的PCI Express连接能力。在DL560 Gen10当中，Socket 3/4的PCI Express接口基本上是浪费的（除了使用NVMe驱动器的特例之外）：

HPE ProLiant DL560 Gen10服务器架构，来源：HPE

可以看到，HPE ProLiant 500 Series Gen10服务器最显著的特点是：使用了CPU夹层板（CPU Mezzanine Board）的设计，这个夹层板搭载了额外的两个CPU和24个内存DIMM，它是可选的：

HPE ProLiant 500 Series Gen10服务器的CPU Mezzanine Board

更多的细节见后面的拆解，这种夹层板的设计一方面是HPE ProLiant DL560 Gen10能在2U高度实现四路多处理器的基础，一方面，它提供了任意切换为双路/四路服务器的能力：

不使用CPU夹层板的时候就变成了一台双路服务器，来源：HPE

这有什么好处呢？它与普通双路服务器相比可以提供额外的Intel高端Xeon可扩展处理器以及HP ProLiant 500系列服务器带来的RAS特性，当然，就我们而言，这种配置并没有什么吸引力，接下来我们来看看HPE ProLiant DL560 Gen10服务器的详细拆解分析。

HPE ProLiant DL560 Gen10是标准的2U机架式服务器，在以往，2U双路是一个标准的配置，因此，在2U内做到四路的就称为高密度：

前面板具有三个功能Box，从左到右为1到3

我们收到的机器仅安装了Box 3，为8SFF配置，仅搭载了4个SFF HDD，显得前面板有些空旷。

It's a HPE It's a ProLiant It's DL560 Gen10

四个信号灯，两个同时也是按钮

从上到下分别为电源灯/开关、心跳灯、网络灯、UID灯/开关，由于前面板大面积留给存储，因此指示灯和开关都非常细小。指示灯下方是帐号密码拉条以及iLO、USB3.0插槽各一个。

HPE ProLiant DL560 Gen10，不算重，如果是DL580 Gen10，一个人可能很难搬动

在这里需要插播的是，HPE ProLiant DL560 Gen10搭配的机架导轨是笔者用过的最好用的导轨！一般来说，我们测试机器不会上机柜，即使上架也不会安装导轨，但HPE ProLiant DL560 Gen10的导轨实在太好用，完全无须特别工具，无需拧动，只需推拉，特别是最后固定服务器时只需要将服务器推到尽头即可，机器会自动扣住导轨。

半插入机架状态下的HPE ProLiant DL560 Gen10，这个导轨很稳固

前面板两侧的“耳”，下方的扣具构件在服务器推到尽头会自动扣住机器

在需要拉出时扳动上面前面板的型号徽标组件即可，我们很喜欢HPE的导轨设计。

搭载四个HPE EG000600JWEBH，实际上是Seagate的ST600MM0208

Seagate ST600MM0208就是Seagate Enterprise Performance 10K HDD，如名字一样转速是10 000RPM，接口是SAS 12Gbps，比较特别的地方在于，它支持512e和4Kn两种格式化规格。我们使用的是512e格式。

HPE的硬盘架具有较多数量的指示灯，用起来感觉很独特，风景很不错

接下来就是掀盖子了。

盖子背后具有非常非常详细的指示图，基本上，你不需要看手册就能完成大部分操作

服务器一共配置六个强力台达风扇，12V3A，热插拔

风扇的运作方式有三种配置，默认为转速优化——也就是噪声优化的意思，这种方式风扇的转速并不高，并自动根据负载调整，整个测试过程中我们没有感到有必要切换到其他模式：

六个风扇两侧的两个具有一个特别的百叶窗设计

其用途当然是优化风道，但具体如何发生作用暂时不甚明了

风扇笼的周围设计配置了大量的海绵，这可以充分提升风道的效率

总的来说，我们对这个风扇的设计感到非常满意。

移除风扇笼之后就可以看到CPU和内存区域了

后置电源区域

HPE ProLiant DL560 Gen10紧凑的高密度设计给用户提供了非常具有弹性的扩展选择，除了前面板的存储、处理器配置之外，电源和扩展卡也在其中，HPE ProLiant DL560 Gen10最多可以提供4冗余电源单元的配置，这个区域也可以用来安装一个Riser卡，提供两个PCIe全高插槽，但两者不可兼得。

我们收到的配置是两个1600W 80Plus Platium单元，HPE称之为Flex Slot PSU

HPE ProLiant DL560 Gen10仅提供了两种功率规格的冗余电源单元：800W和1600W，而且只提供了两种高效电源选择：94%效率的白金版（80Plus Platium）和96%效率的钛金版（80Plus Titanium），80Plus标志的最初含义就是电源效率典型值不低于80%。在Flex Slot PSU里面，还有宽电源范围、240VDC（仅中国）和48VDC直流供电等变体。

HPE ProLiant DL560 Gen10的内部非常紧凑：

热插拔冗余风扇后面即为CPU与内存区域

热插拔冗余风扇后面就是一共四个CPU和48个DIMM的空间，紧邻风扇可以让其得到充分的散热。

HPE ProLiant 500 Series Gen10服务器的CPU Mezzanine Board设计，应该是两个型号通用

无需工具即可轻松添加/去除CPU Mezzanine Board，它支不支持热插拔？我们并不清楚，但应该是不可以的。

HPE ProLiant DL560 Gen10服务器和CPU Mezzanine Board分立俯视图，来源：HPE

CPU Mezzanine Board这个设计很有特色，让人眼前一亮。

银白色低矮型散热器下是Intel Xeon Gold 5118处理器，12核心，24线程，2.3GHz主频，最高Turbo至3.2GHz，全核心Turbo至2.7GHz，不算高；其TDP为105W，也不算高

尽管操作CPU Mezzanine Board无须工具，不过拆卸CPU散热器需要用到内六角扳手，一般人可能还没有，大量使用六角紧固件是HPE设备的特色之一。

HPE SmartMemory，这是默认原配的16GiB R-ECC DDR RAM，我们另外还收到24条32GiB的LR DDR RAM，总容量达768GiB，规格为DDR4-2666，但配合Xeon Gold 5118只能运行在DDR4-2400

去掉风扇模块和CPU Mezzanine Board之后，可以看到底层的两个CPU，作为CPU1，右为CPU0

HPE ProLiant DL560 Gen10可以支持全系列Intel Xeon SP处理器，最高端为Xeon Platium 8180M，28核心，56线程，2.50GHz，TDP达205W

左右为UPI PCIe信号插槽，中央为电源，可以看到插针非常粗

CPU Mezzanine Board对应的接口

银白色散热器下就是Intel Lewisburg PCH芯片，型号规格为C621，也就是最低端不带QAT和集成网卡的型号

HPE ProLiant 500 Series Gen10服务器应该使用的都是Intel C621 PCH，不带QAT和集成网卡，提供两组SATA控制器，一组为传统的标准SATA控制器，但是端口提升到8个，另一组为sSATA控制器，可以认为是C600/C610的SCU控制器的后代，但是端口数量只有6个，在HPE ProLiant 500 Series Gen10上，标准SATA控制器通过两个SFF8087端口提供（上图的PORT 1/2，在使用下图的阵列卡时一般空置），它可以使用标准的Intel AHCI SATA OpROM，也可以使用HPE Smart Array SR软件阵列OpROM；sSATA控制器则单独提供，一般用来接光驱，sSATA接口附近有两个蓝色的内置USB 3.0接口，可以用来接Hypervisor引导盘。

HPE Smart Array专用板载阵列卡位置，安装的是8口的P408i-a SR Gen10，基于Adaptec的芯片

在这里需要指出的是，HPE Gen10服务器开始，使用了新的HPE Smart Array Gen10阵列卡，其特点是可以支持混合模式：RAID HBA并发模式，实际上，它使用了Adaptec（现属Microsemi）的ARoC芯片，在支持正常RAID JBOD/0/1/5/6/50/60之外，还可以将为配置为非RAID模式的HDD/SSD透传给系统，达到HBA模式的效果。笔者也很喜欢Adaptec的阵列卡，只是不太喜欢他们的MSM软件，不过，HPE为其准备的SSA（Smart Storage Administrator）软件用起来感觉还可以。

我们的P408i-a SR配置了2GiB的缓存，并搭配了一个备份电池单元，它放在前置存储笼和热插拔风扇之间的位置，我们没有细究

HPE Embedded FlexibleLOM是一种网络子卡配置，和一般的PCIe网卡有一些分别；这块FlexibleLOM的准确型号是HP Ethernet 1Gb 4-port 366FLR Adapter

我们不太喜欢HPE Embedded FlexibleLOM的配置，而且，在Xeon SP平台上，我们比较青睐于Intel Lewisburg PCH高端型号上搭载的万兆集成网卡X722，提供iWARP协议的RDMA能力。HPE FlexibleLOM（有时缩写为FlexLOM）的优势是可以更换不同的型号，目前最好的规格是双口25Gb，基于Mellanox ConnectX-4 Lx芯片，提供RoCE v1/v2的RDMA能力。

只是，我们收到的机器搭载的是Intel I350-T4芯片，只能说，马马虎虎

Intel I350-T4算档次还适中的网卡，提供4个千兆电口，不过其规格比起Lewisburg X722来就没什么竞争力了。

这个Riser是整个HPE Gen10产品线公用的，也是所有可用Riser当中最强大的型号

Riser提供了PCIe连接能力，HPE Gen10服务器默认配置的Riser非常强大，提供一个PCIe x16插槽、两个PCIe x8插槽，以及一个8PIN PCIe供电插座以支持全高全长的GPU配置，同时还能提供两个全长的M.2 NVMe SSD连接能力，HPE还提供了数种Riser规格，还算值得一提的是提供两个PCIe x16插槽的型号（但没有了第三个插槽），其它在功能性上均落后于上图的默认配置型号。

提供了Silicon Root of Trust能力的iLO5芯片，右边为一个SD卡插槽，以及紧挨着的TPM模块插槽

如前面所述，最新的iLO5芯片组成了HPE Gen10产品线安全特性的根基，值得一提的是，整个服务器的温度监测中，它是最热的，不过也不算高，不会导致问题。

标准iLO界面，规格千兆RJ-45电口

到这里我们应该对HPE ProLiant DL560 Gen10有了一个充分的了解，它还有很多设计细节，但实在说不完，接下来我们将准备开始介绍我们的测试。

我们试验了多种操作系统：Windows Server 2016、Debian GNU/Linux 9.3.0 Stretch x64、Red Hat Enterprise Server 7.4和SuSE Linux Enterprise Server 12 SP3 x64（简称SLES12 SP3），但最终选择的仍然是SLES12 SP3。前段日子，HPE将软件部门售与拥有SuSE Linux的Micro Focus公司，并结成了比较紧密的合作伙伴关系，SLES12 SP3中就特别注明为HPE ProLiant Server Gen10进行了调整、搭载相关驱动。我们测试使用的SLES12 SP3在安装时自动更新到了Linux Kernel 4.4.103-6.33-default x64内核。

HPE ProLiant DL560 Gen10测试平台、测试环境 （制表：盘骏-Lucifer）
测试分组
类别	HPE ProLiant DL560 Gen10 Platform 4S Intel Skylake-SP(4x Intel Xeon Gold 5118) 24x 32GiB = 768GiB(DDR4-2666 LR RAM @DDR4-2400)
系统
系统架构	Intel Purley
处理器子系统
处理器	Intel Xeon Gold 5118
处理器架构	Intel Skylake-SP(SKL-SP) Mesh Interconnect with Distributed Caching & Home Agent SNC(Sub-NUMA Cluster)
处理器工艺	Intel 14nm 3D Tri-Gate
处理器微架构	Intel Skylake-SP Core 5 Issues/8 Excution Ports
处理器封装	FC-LGA14B 3647L
处理器规格	12 Cores 24Threads TDP:105W
处理器指令集与特性	MMX SSE(1 2 3 3S 4.1 4.2) EM64T AES AVX1 AVX2 AVX-512(F DQ CD BW VL) FMA3 MPX HWP
主频	1.0GHz（Idle） 2.3GHz（Base） 2.7GHz（8C-12C Turbo） 3.0GHz（4C Turbo） 3.2GHz（2C Turbo）
L1 iTLB	Per Core: 4K: 128动态 8路组关联 2M/4M: 8每线程
L1 iCache	32KiB per Core 8路组关联
L1 dTLB	Per Core: 4K: 64 4路组关联 2M/4M: 32 4路组关联 1G: 4 4路组关联(?)
L1 dCache	32KiB per Core 8路组关联
L2 TLB	Per Core Unified 4K 2M: 1536 12路组关联 1G: 16 4路组关联
L2 Cache	1MiB per Core 16路组关联
L3 iTLB	Per Core: 4K: 64 ?路组关联 2M: 8 ?路组关联 4M: 8 ?路组关联
L3 dTLB	Per Core: 4K: 64 ?路组关联 1G: 4 ?路组关联
L3 Cache	16.5MiB Unified(1.375MiB per Core/Slice) 非包含式(non-inclusive) 11路组关联
寻址能力	Physical: 64TiB/46bit Virtual: 256TiB/48bit
处理器配置	SNC off LLC prefetch Enabled x2APIC
内存子系统
内存控制器	6 Channel 72b ECC RDIMMs/LRDIMMs/3DS LRDIMMs Max 2DPC Max DDR4-2666 Max 768GiB/0.75TiB per Socket
特性	XPT prefetch D2C/D2K ADDDC(Adaptive Double Device Data Correction)
内存	Whole System: 24x 32GiB SK.Hynix Registered ECC LR-DDR4 2666 SDRAM = 768GiB @ DDR4-2400
CPU互联子系统
架构	Intel Skylake-SP Distributed CHA 2x UPI Interfaces @ 10.4 GT/s
接口	2x UPI Ring Glueless @ 10.4GT/s
带宽	20.8GB/s per UPI
IO子系统
界面	Per Socket: 48 PCIe 3.0 Lanes 8GT/s 3x PCIe x16 Pipelines(1x extra for MCP/OPA) 1x NTB per x16 Pipeline 1x CBDMA(Intel QuickData Technology) @ Pipeline2 1x VMD per x16 Pipeline
接口	Whole System: Up to 8x PCIe Gen3 FHFL Slots: Up to 2x x16 PCIe Gen3 Slots(1x per Riser) Up to 4x M.2 NVMe SSD Slots(2x per Riser)
特性	Intel DirectCache Access Intel VMD(Volume Management Device)
PCH平台芯片组
芯片组	1x Intel Lewisburg PCH(Intel LBG C621)
界面	10x USB 3.0 14x USB 2.0 Uplink:1x DMI 3.0(PCIe 3.0@8GT/s x4) 4GiB/s
接口	DMI 3.0 to CPU
特性	SR-IOV vPRO AMT Node Manager 4.0 TPM 2.0 NVM Express eSPI RAS
管理子系统
管理芯片	Intel Lewisburg Management Engine 1x Intel Quark x86 Processor 1.7MiB SRAM Intel Lewisburg Innovation Engine 1x Intel Quark x86 Processor 1.4MiB SRAM
界面	HECI/PECI/UART/SMBus/FSC/GPIO
特性	LBG ME/IE Intel Quark x86 Core: Marked 412 DMIPS
网络子系统
网络芯片	HP Ethernet 1Gb 4-port 366FLR Adapter (HPE Embedded FlexibleLOM DaughterCard) Intel Ethernet Controller I350-T4
界面	PCIe 2.1 x4 5GT/s @CPU0 4x 1Gbps
接口	4x RJ45
特性	Intel VT-c MSI-X(4x25) DCA DMA Coalescing SR-IOV(4x8VF) 8x VMDq 8x RSS(per port) VEPA
存储子系统（控制器）
存储芯片	HPE SmartArray P408i-a SR Gen10 RAID Controller Adaptec Chipset 2GiB RAM 8x SAS 12Gb/s
界面	-
接口	-
特性	RAID 0/1/2/3/5/6/50/60 HBA mode/Pass-through Large-block Pass-through SmartCache 1.77GiB Cache @ 10%Read/90%Write Block Pass-through: >= 1040 KiB
存储子系统（存储）
存储	4x HP EG000600JWEBH ST600MM0208(Seagate Enterprise Performance 10K HDD) 10 000RPM 600GB
界面	512e/4Kn SAS 12Gb/s
接口	512e SAS 12Gb/s @ HPE SmartArray P408i-a SR Gen10 RAID Controller
特性	RAID 5
软件环境
操作系统	SLES12 SP3 x64 Linux Kernel 4.4.103-6.33-default x64 BtrFS filesystem
系统编译环境	-
测试软件	SPEC CPU2006 1.2
编译器环境	Intel C/C /Fortran Compiler 17.0 update 3 MicroQuill SmartHeap 10.2

由于发布系统现在不支持图片长以及宽超过接近1000像素（具体限制不清楚，好像是800像素），因此只能嵌入表格，但这系统不支持表格居中……那就将就看吧

SLES12 SP3默认提供透明大页支持。

iLO 5界面，Overview

风扇转速在系统待机的时候非常低

HPE Sea of Sensors 3D，也可以选择2D显示

HPE Sea of Sensors 3D，在这台机器上，温度传感器的数量序号排到了75

Window Server 2016 Task Manager

SPEC CPU是一个应用广泛的大型CPU性能测试项目，SPEC是标准性能评估公司（Standard Performance Evaluation Corporation）的简称，这是一个由计算机厂商、系统集成商、大学、研究机构、咨询等多家公司组成的非营利性组织，这个组织的目标是建立、维护一套用于评估计算机系统的标准。除了SPEC CPU之外，SPECviewperf系列产品也是常见的测试工作站/图形卡部件所用到的测试软件，类似的项目还有如SPECjbb 2015（Java应用性能）、SPEC SFS2014（文件服务器性能）等。

SPEC CPU是SPEC组织推出的一套CPU子系统评估软件，目前最新版本是SPEC CPU2017，于2017年6月20日发布，我们正在准备之中，目前我们使用的仍是SPEC CPU2006。SPEC CPU2006包括CINT2006和CFP2006两个子项目，分别用于测量整数性能和浮点性能。SPEC CPU的测试组件均来源于真实的应用程序，并经过修改以降低对IO子系统的影响，在测试中，测试系统的处理器、内存子系统和使用到的编译器（SPEC CPU测试提供的是源代码，并且允许测试用户按照规则进行一定的编译优化）都会影响最终的测试性能，而I/O（磁盘）、网络、操作系统和图形子系统对于SPEC CPU2006的影响非常之小。

SPEC CPU2006包括了12项整数运算和17项浮点运算，除此之外，还有两个随机数产生测试程序998.sperand（整数）和999.specrand（浮点），它们虽然也包含在套件中并得到运行，但是它们并不进行计时以获得得分。这两个测试主要是用来验证一些其他组件中会用到的PRNG随机数生成功能的正确性。各个测试组件基本上由C和Fortran语言编写，有7个测试项目使用了C 语言，而Fortran语言均用来编写浮点部分。SPEC CPU2006以一台Sun Ultra Enterpirse 2工作站作为基准参考系统，系统基于一颗296MHz的UltraSPARC II处理器，测试的得分就表明这个项目中测试系统相对基准系统性能的比值。

SPEC CPU2006测试子项目 by 盘骏/Lucifer

测试使用了当前这一个阶段我们的基准测试配置，包括基于当然仍然算还比较新的Intel C&Fortran Compiler编译器17.0 update 3，以及MicroQuill的SmartHeap 10.2堆管理器，只是使用的Linux Kernel由于自动更新变得略微新了一些。

运行SPEC CPU2006测试时的功率，CPU和内存都在全速运转

除了整数运算和浮点运算的差别之外，SPEC CPU2006测试还分两种：SPEED测试和RATE测试，SPEED测试类型运行单个实例，用来测试系统运行单作业的时候的运算能力，RATE测试则是运行多个实例，用来测试系统的总运算吞吐能力。SPEC CPU测试还会给出两种类型的结果：Base基准测试结果和Peak峰值测试结果，Base测试要求编译器套件按照指定的规则进行优化，而Peak测试则可以允许使用更多的优化技术，可以看出，前者可以用来简单对比不同的平台，而后者则在对比因素中加入了编译器等因素，有实力编写编译器的厂商可以从中获益。本页给出的是SPEED测试结果，按照整数到浮点、Base测试到Peak测试排列四个成绩图标，每个图表给出了测试系统及对比系统的每个子项目的成绩。图表图例文字中最后的"4S48C96T"字段指的是4 Sockets、48 Cores、96 Threads，意思是“4插槽48核心96线程”。

我们先进行的是SPEED测试，这个测试中系统全力以赴运行一个实例——通常是一个进程，但编译器和操作系统可能会根据情况将其编译为多个线程并分散到多个核心上运行，因此有些项目会看到非常可观的性能表现：

SPECint_base2006，整数，SPEED测试，Base基准测试

SPECint2006，整数，SPEED测试，Peak峰值测试

462.libquantum是一个模拟量子计算的子项目，它极大地依赖于内存性能，同时它也能很好利用多核心，新的系统比上一代增加了50%的内存通道数量提供了不错的优势。大部分SPEED测试均使用不超过2个CPU核心，因此通常Intel的处理器可以Turbo到最高频率（但运行AVX2代码又会降低一些频率）。在2个核心的情况下，2.7GHz的Skylake-SP/Xeon Gold 5118可以Turbo至3.2GHz（运行AVX2代码时又会降低一些频率），而Broadwell-EP/Xeon E5-2699 v4和Haswell-EP/Xeon E5-2699 v3的这个频率都是3.6GHz，Ivy Bridge-EP/Xeon E5-2697 v2是3.5GHz，因此，这个项目中，频率更低、核心数量也少的目标测试机器可以获得与上一代顶级配置相近的性能可说是已经不错。

SPECfp_base2006，浮点，SPEED测试，Base基准测试

SPECfp2006，浮点，SPEED测试，Peak峰值测试

新的微架构在浮点运算方面具有比较明显的优势，我们可以看到，基于四路Xeon Gold 5118的HPE PL DL560 Gen10其SPECint_base2006为61，SPECfp_base2006达108。考虑到其较低的定位，这个性能已经很是不错。

除了整数运算和浮点运算的差别之外，SPEC CPU2006测试还分两种：SPEED测试和RATE测试，SPEED测试类型运行单个实例，用来测试系统运行单作业的时候的运算能力，RATE测试则是运行多个实例，用来测试系统的总运算吞吐能力。SPEC CPU测试还会给出两种类型的结果：Base基准测试结果和Peak峰值测试结果，Base测试要求编译器套件按照指定的规则进行优化，而Peak测试则可以允许使用更多的优化技术，可以看出，前者可以用来简单对比不同的平台，而后者则在对比因素中加入了编译器等因素，有实力编写编译器的厂商可以从中获益。本页给出的是SPEED测试结果，按照整数到浮点、Base测试到Peak测试排列四个成绩图标，每个图表给出了测试系统及对比系统的每个子项目的成绩。图表图例文字中最后的"4S48C96T"字段指的是4 Sockets、48 Cores、96 Threads，意思是“4插槽48核心96线程”。

SPEED测试关注的是单个任务完成的速度，或说延迟，因此处理器核心的频率而非数量起主要作用，基本上是一个频率游戏；RATE测试关注的整体的吞吐量，这也是一般服务器应用关注的指标，这时处理器的核心数量就具有了可观的影响，可以预见四路的HPE PL DL560 Gen10将会有很可观的性能。在所有核心满负荷的时候，Ivy Bridge-EP/Intel Xeon E5-2697 v2工作在3.0GHz，Haswell-EP/Intel Xeon E5-2699 v3和Broadwell-EP/Intel Xeon E5-2699 v4都工作在2.8GHz，Skylake-SP/Xeon Gold 5118工作在2.7GHz，运行AVX2/AVX-512代码时频率会有所降低，总的来说，HPE PL DL560 Gen10在频率方面占劣势：

SPECint_rate_base2006，整数，RATE测试，Base基准测试

SPECint_rate2006，整数，RATE测试，Peak峰值测试

SPECfp_rate_base2006，浮点，RATE测试，Base基准测试

SPECfp_rate2006，浮点，RATE测试，Peak峰值测试

基本上，在核心数量不占优势（48核心对44核心）和运行频率占劣势的情况下，HPE PL DL560 Gen10在四路配置下提供了非常出色的运算性能，特别是AVX2编码下的浮点性能，几乎是上一代顶级平台在使用AVX1时的两倍，极为适合运行较为传统的计算任务（测试机器使用的Gold 5118处理器核心仅具备一个AVX-512 FMA融乘加单元，AVX-512性能备受影响）。最终测试成绩SPECint_rate_base2006为2240，SPECfp_rate_base2006为1870。

【至顶网实验室】即使使用了接近最低端的四路处理器Intel Xeon Gold 5118，我们测试的HPE ProLiant DL560 Gen10四路服务器也提供了比上一代顶级双路平台优秀得多的计算能力，整数计算吞吐量SPECint_rate_base2006达2240，浮点计算吞吐量SPECfp_rate_base2006达1870。除此之外，HPE ProLiant DL560 Gen10还提供了Intelligent System Tuning（智能系统优化）的能力，从而降低系统配置的难度和提升性能，从而降低了使用成本。这一切都可以在DL560 Gen10紧凑的2U标准机架高度中达到。

HPE ProLiant DL560 Gen10四路服务器，来源：HPE

HPE ProLiant DL560 Gen10还具有出色的安全性，通过新iLO5芯片带来的Silicon Root of Trust（官方中文：可信硅根）硅芯片信任根能力，HPE将Gen10服务器打造为工业服务器中最安全性的服务器。

HPE Gen10 Silicon Root of Trust技术，这只是HPE Gen10服务器安全特性的基础能力，来源：HPE

HPE ProLiant DL560 Gen10上提供Silicon Root of Trust能力的iLO5芯片

HPE ProLiant DL560 Gen10还具有出色的扩展能力，最多可以扩展至24SFF，其中还可以选择至多12SFF NVMe SSD配置：

24SFF HPE ProLiant DL560 Gen10四路服务器，来源：HPE

12SFF HDD 12SFF NVMe SSD配置，其中中央区域为NVMe SSD，两侧为SFF HDD，来源：HPE

由于HPE ProLiant DL560 Gen10如此完美，因此我们不得不挑出一些缺点，那就是HPE ProLiant DL560 Gen10抛弃了Intel Lewisburg PCH芯片的集成网卡能力，也就是支持iWARP（Internet Wide Area RDMA Protocol）的Intel Ethernet Connection X722四端口万兆网卡，它具有一些独特的属性，即使是使用HPE最高端的10/25Gb以太网卡不具备。