为本科毕业设计搭建HEDT平台的硬件选型思路及测试
本文最后更新于:December 12, 2019 pm
从9月份开始计划搭建一台高性能的HEDT主机来进行毕设相关工作,前后折腾了两个多月总算是基本搞定,这里写一篇文章记录一下整个硬件选型的思路、过程以及测试,同时此文也作为毕业设计的硬件平台选型搭建部分。
1、用途介绍
和大多数用户搭建HEDT平台的用途不同(影视剪辑后期制作、游戏直播),这次的HEDT平台并不单纯是用作服务器用途,而是主要用来在Linux下开虚拟机(KVM虚拟化),同时兼顾个人高性能台式机娱乐用途,因此主要的预算是花在CPU、内存、硬盘上面,对于显卡的要求很低,只要能硬解4K蓝光原盘电影即可。接下来是对主要的板U、内存、固态、显卡进行分析。
1.1 主板&CPU
首先是板U部分,硬性指标非常简单,需要CPU支持VT-d、VT-x这两项(AMD处理器也有对应的选项),简单来说就是CPU必须要支持硬件虚拟化,同时单核性能并不需要太强,但是核心数要尽可能多,且PCIE通道数量要尽可能多,配套的主板扩展性要尽可能好(PCIE插槽尽可能多),除了显卡之外还需要插入PCIE转NVME的转接卡、无线网卡和万兆有线网卡等设备。
这里首先排除了绝大多数的主流桌面CPU,因为他们的核心数都比较少,即使是9900K和3900X也才分别8C16T和12C24T,AMD这边的话3950X以上勉强够用,再往上的3960和3970当时还没有推出,当然就算是出了我也买不起,二代的线程撕裂者有设计缺陷,内存表现实在令人担忧,因此不作考虑,INTEL这边的话就是挤了好几代牙膏的HEDT的酷睿X平台,9960X或者9980XE算是够用。
再然后看向服务器平台,由于主要考虑的是二手硬件(全新的买不到也买不起),这里就是英特尔的主场了,因为AMD早年的不给力,x86服务器领域基本就是英特尔一直独秀,某宝上能买到的二手硬件也基本是英特尔的,主要还是大量的双路E5洋垃圾和部分的3647平台的QS、ES处理器(正式版非常贵),AMD这边虽然有少量的霄龙EPYC处理器,但是总的来说选择比较少,而且这方面的评测和教程都很少,个人并不是很想在这方面冒险,万一翻车了要耽误很长一段时间,而且还不好出二手。
再加上价格和稳定性的因素,AMD的选择就可以说被淘汰掉了,因为毕设需要用到的Linux系统主要还是CentOS7,内核版本是3.x系列,旧版本的Linux内核对AMD的支持并不算很好,综合各方面的因素考虑,AMD在这次的装机中并不算是特别优秀的选择,因此只能淘汰掉。
而在INTEL这边,高端的intel的HEDT平台不仅本身的CPU很贵,由于不能使用服务器内存,整机的价格预算还会上升很多,到这里就可以得出结论,主要进入备选列表的板U套餐就是二手的双路E5服务器套餐、铂金3647服务器平台这两种选择,这两个平台的CPU都有很多的PCIE通道数,能使用比家用内存条便宜很多的二手服务器内存(REG ECC内存)。
1.2 内存
对于内存的要求不算很高,容量至少需要128G,价格尽可能低一些,频率不需要太高(大多数服务器的CPU支持的最高内存频率为2933),时序不需要太低,没有大型游戏的需求,而且大多数服务器的CPU支持四通道内存(线程撕裂者支持四通道),铂金处理器还支持六通道内存(得益于CCX模块化设计,EPYC霄龙处理器还有八通道内存),如果是双路CPU的话,支持的内存通道则翻倍,多通道内存可以有效提升内存的读写性能。此外,ECC内存支持内存纠错,可以有效降低运行时候的蓝屏死机等情况,比较适合我这种24小时不关机的情况。(最重要的还是便宜,淘宝上面的32G 2666MHz的三星REG内存条单条才五百多,2400MHz的镁光/海力士只要四百多)
1.3 硬盘
这次的虚拟机硬盘主要还是以虚拟硬盘为主,使用一般的PCIe3.0x4的NVME固态就能满足需求,由于基本都是测试用途,并没有上线使用所产生的大量文件读写存储需求,预计使用NVME固态进行虚拟化,普通的机械硬盘进行备份即可,并没有打算直通固态或者是使用HBA卡或阵列卡等组合。
1.4 显卡
考虑到以后可能会进行黑苹果安装,这里还是尽可能地选择了A卡,而且在二手的情况来看,千元以下的价位基本就是580的天下,其他的选择都没啥性价比。而且580足以满足硬解4K蓝光,外接4KHDR显示器等需求,由于不玩大型游戏,不剪辑,不用CUDA,所以就没有考虑N卡。当然最主要的原因还是为后期的黑苹果做好准备。
1.5 小结
总的来说,由于预算的限制,选择二手的intel服务器平台是目前对于我来说综合各方面因素比较合适的选择,在128G内存这个选择下,使用服务器内存虽然牺牲了一部分的高频和低延迟特性,但是换来了整体预算的极大程度降低和ECC纠错功能。
不选择AMD和INTEL两家的主流HEDT平台(酷睿X和线程撕裂者)主要还是太贵了,不选择EPYC是因为二手流出配件太少,选择余地不大,而且没有太好的折腾方案。
显卡和网卡都是选择黑苹果兼容免驱的硬件方便后期折腾黑苹果,而网卡则由于只是一台主机,暂时没有和外部机器大量高速交换数据的需求,只需要预留一个PCIEx8的插槽用来后期升级万兆网络或者是IB、RDMA网络等。
2、铂金8167M+C621
在因为体积和性能的原因淘汰了老双路E5平台之后,确定了购入铂金3647平台外加华擎的永擎C621D8A主板(永擎是华擎的服务器主板产品线),处理器买的是一块据说是华为云定制的处理器,铂金8167M,26核心52线程,待机2.0睿频2.4全核2.4,支持六通道内存,有一大堆的PCIE通道,整体来说还是非常不错的,但是败笔就在这块永擎的主板。
▼实拍看一下巴掌大的CPU
整机平台搭建好之后在自己做的测试平台上是这样的:
上到机箱里面是这样的
这套平台用起来还是有着挺多不错的地方的:
- 主板是有redhat认证的,也就是说会有RHEL的驱动提供,不需要担心驱动的支持问题(这在Linux服务器上尤为重要)
- 主板自带4个X722千兆光口网卡、1个IPMI管理网口,在对网络要求比较高的多开虚拟机中有一定的优势
- 主板有板载集显且带VGA接口,不需要外接独显就能连接显示器DEBUG
- 主板自带超多SATA接口,在不使用扩展卡的情况下就可以接入10多个SATA硬盘
- CPU支持6通道内存,PCIE通道数和插槽足够多
- CPU核心数非常多,十分适合多开虚拟机进行核心分配
上面的这些优点基本上都是服务器平台有的一些特性,那么下面来说一下我最终把它换掉的原因:
- 非常孱弱的单核性能,由于这颗CPU的主频只有2.0,即便是睿频也只有2.4,稍微吃一点单核的应用在上面运行起来都会非常吃力,对于个人日常使用来说还是有一定的影响;
- 整套平台的Windows10支持比较一般,由于是服务器平台,主要还是支持的redhat和windows server系统较好,win10的驱动都能找到,但是总感觉差点意思;
- 主板的24pin供电和CPU的8pin供电位置调转了过来,和一般的家用ATX主板刚好相反,导致在使用普通机箱的时候一般电源的24pin线材不够长且理线很麻烦;
- 主板虽然有两个nvme的硬盘接口,但是居然只是PCIEx1的带宽,实在鸡肋;
- 3647平台的CPU安装方式非常奇葩,由于CPU太大,需要先把CPU装到散热器上,再把散热器装到主板上,且3647平台的散热器非常少,要么很贵,要么很丑。
所以最后基于各种考虑,还是把这套平台换掉了。
3、W2295+X299
3.1 配置简介
最终在闲鱼上看到了一套整体价格和上面说的相当,而更适合我使用的志强W-2295 ES处理器加x299芯片组的主板,需要注意的是,正常的X299主板是并不支持REG ECC内存的,而正常的W2295处理器也是不能用这个x299芯片组的,但是由于这块U是ES不显版本,加上10代酷睿X的HEDT平台更新了之后带来的主板微码更新,使得可以在x299平台上使用这颗不显的ES版W-2295和REG ECC内存。
下面是整套平台的汇总配置:
配件 | 型号 | 购买平台 | 价格 |
---|---|---|---|
CPU | Xeon W-2295 ES不显 18核36线程 | 闲鱼 | 4750不包邮 |
散热器 | 采融ARTIST EVO 3 | 京东 | 289包邮 |
主板 | 华硕 TUF x299 mark2 | 闲鱼 | 899不包邮 |
内存 | (SK海力士 32G DDR4 2R*4 2400MHz)x4 | 淘宝 | 1728包邮 |
显卡 | 蓝宝石RX580 8G超白金 | 闲鱼 | 750包邮 |
硬盘1 | 三星PM981 512G(5月份购买) | 淘宝 | 465.9包邮 |
硬盘2 | 雷克沙NM610 1T | 天猫 | 569包邮 |
硬盘3 | 雷克沙NM610 1T | 京东 | 565包邮 |
硬盘4 | 西部数据 Elements 12TB 移动3.5寸机械硬盘拆盘 | 亚马逊 | 1436.5包邮 |
硬盘5 | 西部数据 Elements 12TB 移动3.5寸机械硬盘拆盘 | 亚马逊 | 1321.38包邮 |
固态散热 | 利民TR-M2固态散热器 | 京东 | 39.9包邮 |
转接卡 | 佳翼iHyper M2 PCIEx16拆分4NVME转接卡 | 天猫 | 149包邮 |
无线模块 | 博通BCM943602CS | 闲鱼 | 200包邮 |
电源 | 安钛克HCG850W 金牌plus 十年保修包换 | 闲鱼 | 488不包邮 |
机箱 | 恩杰H510 | 闲鱼 | 300包邮 |
风扇1 | (Arctic F12 PWM PST)x2 | 京东 | 79.8包邮 |
风扇2 | (Arctic F14 PWM)x2 | 淘宝 | 79.5包邮 |
RGB | (乔思伯NC-3内存马甲)x4+VC-3显卡支架+RGB遥控器 | 闲鱼 | 268包邮 |
邮费 | CPU+主板+电源 | 顺丰 | 大约100 |
总计 | 14477.98 |
为了控制预算,大多数都是通过闲鱼购买的成色9成新以上或者是全新的配件,而在关键的存储方面则是在天猫和京东已经亚马逊购买带保修的硬盘,以确保数据的安全。
由于购买的时间从十月份到双十二,中间跨度很大,一些价格的波动也十分大,比如内存现在又开始小幅度涨价,而显卡则是在一路降价,其他的基本都没有太大的波动。
整机的全部价格下来在14500左右,其中硬盘占了大概有4000左右,但是也是得到了2.5T的NVME固态存储和24T的机械硬盘存储空间,相对来说还是不错的。
接下来对一些主要的部件进行介绍:
3.2 CPU
CPU是在CHH上面看到的一位大佬评测的一款比较特别的处理器,先上CHH的链接:
https://www.chiphell.com/thread-2102461-1-1.html
然后通过INTEL官网也可以查询到这块处理器的相关信息:
这里我们可以看到,这是一块19年第四季度才上市的工作站处理器,看起来应该是W-2195的升级版,依旧是14nm制程,18核36线程,165W的TDP,主频3.0G,睿频4.6G,还有一个特殊的英特尔® 睿频加速 Max 技术 3.0技术可以让几个核心能到4.8G。
英特尔® 睿频加速 Max 技术 3.0 识别处理器上性能最佳的内核,同时通过提高利用电源和散热器空间时所必需的频率,提高这些内核的性能。英特尔® 睿频加速 Max 技术 3.0 的频率就是在这种模式下运行的CPU的时钟频率。
支持ECC内存,频率最高是2933,有48条PCIE通道,刚好够用。
3.3 主板
虽然是X299的主板基本都能点亮,但是据卖家描述,对ECC内存支持最好的就是华硕的板子,所以在闲鱼上面找到了一块899的华硕TUF X299 mark2的主板,虽然只有主板和挡板,但是成色还算不错,查询了一下保修到期时间是2024年的11月,相对而言还算是OK。
从官网的介绍图我们可以看到主板的设计布局还是相对比较合理的,尤其是较多的USB接口和在PCIE通道插槽的分配设置上比之前的永擎C621D8A来说要对个人用户好很多。
查询官网我们可以看到PCIE通道的分配情况如下
由于插上了显卡之后,第一条X16插槽下面的X1插槽和X4插槽都用不了,第二条X16插槽用来扩展固态,下面的X1插槽用来扩展无线模块,最下面的看起来是X16实际上只有X8带宽的插槽用来扩展万兆网卡,正好全部插满,刚刚好够用。
3.4 内存
内存这里在淘宝上找了一家专门卖服务器拆机件和二手服务器的老店,买的是海力士的2400MHz的2R*4的32G单条,一共四条,由于X299可以超频,后面轻松超到2933MHz使用。
3.5 硬盘
硬盘这里比较特殊,之前5月份装机的时候买了一块三星的PM981,性能放到现在来说也还是非常强悍的,然后在双十一期间又买了两块雷克沙的NM610 1T版本,其中三星的PM981用来装宿主机的Linux系统,一块NM610用来装Windows,另一块NM610用来装虚拟机的镜像。
由于主板只有两个NVME的固态位,且其中一个是非常奇葩的竖装方式,然后卖家也没有这个竖装支架,所以相当于只能装一块固态,因此上淘宝买了一块佳翼的PCIE转接卡,它可以把一条X16的插槽拆分成4个X4的插槽(需要主板支持PCIE拆分功能),然后就可以插4块NVME的固态了。需要注意的是转接卡本身并不支持RAID,支持RAID的转接卡太贵了。
然后在黑五期间购入了两块西部数据的Elements的12T的移动硬盘,一块拆盘用,另一块暂时不拆放着备用,机械硬盘的主要用途是存储蓝光电影以及备份各种文件。
拆开之后我们可以看到里面的是12TB的氦气降速盘(灯光问题拍出来的照片有点偏紫,实际硬盘是白色的),可以直接接入电脑使用,并不需要屏蔽3.3V阵脚。
4、上机测试
接下来上机测试一下:
由于是ES版的处理器,CPU表面并没有标明型号,不过由于同样都是2066阵脚,这里可以使用x299平台点亮,前提是需要把主板升级到最新的BIOS。
4.1 CPU-Z&GPU-Z
然后我们使用CPU-Z进行查看,无法识别出具体的型号:
顺便进行跑分测试:
GPU-Z这边倒是没有什么大问题,满血版的580超白金,后期折腾黑苹果的时候可以直接免驱使用。
4.2 HWinfo
接着我们打开HWinfo,这个软件倒是可以识别出CPU的准确信息:
同时还可以看到三块固态都工作正常:
这里可以正确识别出CPU的睿频信息,以及AVX指令集下的最大睿频频率。
4.3 AIDA64
接着我们使用AIDA64对内存性能和散热进行测试。
这里我们可以看到在四通道内存的状态下,内存的读写性能相比普通的双通道内存有了很大的提升,同时这时的内存在BIOS中简单的设置后便是工作在2933MHz C16的频率下,相对来说算是中规中矩。
接下来我们在封闭机箱内进行烤机测试,看一下整机的负载情况和散热效果:
这里我们使用AIDA64的稳定性测试,烤机10分钟后整机功耗稳定在420W左右,正好在电源850W的一半左右,也就是理论转换率最高的占用率。
再来看这时候整套平台的温度情况,在室温20度左右的情况下,CPU稳定在70度附近,显卡则是稳定在75度附近,整体散热情况还算是不错。
4.4 R20
在卖家提供的R20截图中,跑到了8600+的高分,而在我的实际跑分测试中,只有7800左右,具体的原因还不太情况,可能是主板的原因或者是微码版本也或者是其他的因素,不管怎么说,将近10%的差距还是有些令人困惑的,同样的情况也出现在了CPU-Z的跑分上,虽然多核跑分相近,但是单核跑分成绩的440和卖家的520相比也是低了10%还不止。
4.5 无线
博通BCM943602CS这块网卡好处是在黑苹果下可以实现免驱,考虑到黑苹果对无线模块的硬件兼容性之差,这就显得格外重要,同样博通的无线网卡在RedHat和Debian系的Linux系统上都有较为友好成熟的闭源驱动支持,对Linux内核的版本要求不高。不过这块网卡在windows下的驱动并不完善,2.4G无线的速率只有216M,无法发挥标称的450M速率,不过好在5G频段能够实现1.3G的无线速率,这比几乎不怎么用到的2.4G来的更加实际一些。而驱动更为完善的94360CD则是要贵上一些,具体选择哪个就见仁见智了。
接着我们使用Windows在局域网内通过华硕AC68U(1900P)进行速度测试,2.4G的表现情况十分差劲,不仅速度很慢,只能在10MB/s左右徘徊,而且这时候的蓝牙和2.4G鼠标都受到了严重的干扰,而在5G频段下则好很多,基本在90MB/s左右徘徊,偶尔能到100MB/s左右,相比2T2R的Intel AX200要好上很多(使用WiFi5的华硕AC68U路由器只有50~60MB/s的速度),当然943602CS的价格也是比AX200要贵上很多。
不过这里的无线主要还是在没有有线网络的场景下的补充,以及为台式机扩展蓝牙功能用来连接各种蓝牙键鼠耳机等设备,真正需要大量的文件数据传输工作还是需要使用稳定的有线千兆网络或者是万兆网络。
4.6 鲁大师
最后当然少不了鲁大师了,这里顺便吐槽一下升级了新版的windows1909和AMD的2020年新款鸡血驱动之后,显卡的跑分反而更低了一些,也不知道是系统的问题还是驱动的问题,希望能尽快地优化好吧。
5、总结
总的来说,这次的这套主机还是相当让我满意的,除了满足了我的毕业性能需求(大概同时中度运行9~12台虚拟机)以及日常的数据存储需求,还可以兼任一定的中度游戏需求和视频剪辑需求(如果后期有的话),后期如果还有升级的话应该就是加钱买更多的NVME固态,毕竟还有两个槽位空着,以及机械硬盘增加到一定数量之后再增加万兆NAS和万兆网卡了。
当然最后还是希望AMD和INTEL的竞争能更加激烈一些,这样消费者们才能受益更多,我也才能捡到更多更好的二手洋垃圾。