埃里克(Eric)是说服我建立原始NUC的人。前几天,他向我发送了有关在eBay上安装新服务器的消息,问我是否认为这很划算。多年来,我一直在与Dell合作(他们使用Intel SSD已有很长时间了),但实际上我从未真正拥有过Dell服务器。我在服务器上进行的大多数绘图工作都在Intel Wolf Pass Server平台上进行,尤其是在英特尔®服务器系统R2208WFTZSR上,因为它支持多达4个U.2 NVMe,直接通过主板上的OcuLink电缆直接连接到CPU。在组合式热交换背板上(U.2背板通过不同的电缆支持SAS,SATA和PCIe)。

并不是说我出于某种原因需要另一台服务器,但是我恐慌地在eBay上花了3000美元购买了它。为什么?我不需要任何其他绘图功能。因此,当我为一个朋友做图时,不妨去找点乐子并进行基准测试!

Dell r740xd 2U服务器

2个Intel®Xeon®Gold 6152处理器

256GB DDR4、4个64GB 2666 LRDIMM

它配备了16G光纤通道卡和2个25GB Mellanox NIC。我只是在使用闲散的Intel 10G NIC。

我必须购买附加组件才能以200美元的价格连接NVMe,包括重新定时器卡和细长的SAS电缆以连接NVMe。值得庆幸的是,我的背板支持多达12个NVMe SSD。

我在Storage Review上的朋友们对该服务器进行了出色的评测,并在下面显示了其连接方式的图表

我要说的只是关于iDRAC 9管理的WOW。我能够登录IP,远程更新BIOS,管理代码,所有设备固件,远程安装我的USB驱动器,安装Ubuntu,并且无需离开chrome就可以启动并运行。

我将使用Intel SSD D7-P5510对该系统进行基准测试,众所周知,除非我很幸运能以合理的价格找到Optane P5800X,否则这是我的首选。但是首先,我实际上使用的是新的WD企业级固态硬盘,它们足够优雅,可以向我发送一些SN640和SN840进行基准测试(谢谢大家!)。我对WD SSD不太了解,在接下来的几周进行测试将很有趣。

WD驱动器概述和完整规格可在此处找到

我已将它们输入耐力表。

小贩 模型 构成因素 界面 班级 用户容量(GB): 在操作系统中可用的GiB 原始容量(GiB) 原始容量(GB) 预留空间/备用区 NAND P / E周期 写放大系数(WAF) 额定寿命(年) 估计的NAND耐久性(TBW,WAF = 1) 计算的耐力(TBW) 规格表额定TBW 超过5年的DWPD(计算得出) 磨损情况最严重之前绘制的总量(TiB) 磨损最佳情况(TiB)之前绘制的总量
西数 超星DC SN840 U.2 15毫米 NVMe 企业 1600 1455 2048 2199 27% 10000 2.5 5 21990 8796 8760 3 571 1429
西数 超星DC SN840 U.2 15毫米 NVMe 企业 3200 2911 4096 4398 27% 10000 2.5 5 43980 17592 17520 3 1143 2857
西数 超星DC SN840 U.2 15毫米 NVMe 企业 6400 5822 8192 8796 27% 10000 2.5 5 87961 35184 35040 3 2286 5714
西数 超星DC SN640 U.2 7毫米,M.2 NVMe 数据中心 960 873 1024 1100 13% 7000 5.5 5 7697 1399 1401.6 0.8 91 500
西数 超星DC SN640 U.2 7毫米,M.2 NVMe 数据中心 1920年 1747 2048 2199 13% 7000 5.5 5 15393 2799 2803.2 0.8 182 1000
西数 超星DC SN640 U.2 7毫米,M.2 NVMe 数据中心 3840 3493 4096 4398 13% 7000 5.5 5 30786 5598 5606.4 0.8 364 2000

Chia SSD耐力Wiki的耐力

愚蠢的我。我以为这些空白的驱动器盖是2.5英寸的球童。我将在eBay上以每本5美元的价格订购这些产品,但在那之前,我一直在偷懒。

我们走了,现在至少他们被隐藏了,直到我的球童到来

使用plotman进行第一次测试的绘图配置。

(venv) jm@r740xd:~/chialogs$ cat ~/.config/plotman/plotman.yaml
directories:
        log: /home/jm/chialogs
        tmp:
                - /mnt/ssd1
                - /mnt/ssd2
                - /mnt/ssd3
                - /mnt/ssd4
        dst:
                - /mnt/ssd0
scheduling:
        tmpdir_stagger_phase_major: 1
        tmpdir_stagger_phase_minor: 1
        tmpdir_stagger_phase_limit: 1
        tmpdir_max_jobs: 11
        global_max_jobs: 44
        global_stagger_m: 5
        polling_time_s: 20
plotting:
        k: 32
        e: False             # Use -e plotting option
        n_threads: 2         # Threads per job
        n_buckets: 128       # Number of buckets to split data into
        job_buffer: 3389     # Per job memory

SSD 1和2是SN640,SSD 3和4是SN840

(venv) jm@r740xd:~/chialogs$ sudo nvme list
Node             SN                   Model                                    Namespace Usage                      Format           FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------

/dev/nvme1n1     A068XXXX             WUS4BA138DSP3X3                          1           3.20  TB /   3.20  TB    512   B +  0 B   R2210000
/dev/nvme2n1     A068XXXX             WUS4BA138DSP3X3                          1           3.20  TB /   3.20  TB    512   B +  0 B   R2210000
/dev/nvme3n1     A06AXXXX             WUS4BB038D7P3E4                          1           1.77  TB /   3.20  TB      4 KiB +  0 B   R1410002
/dev/nvme4n1     A06AXXXX             WUS4BB038D7P3E4                          1           1.58  TB /   3.20  TB      4 KiB +  0 B   R1410002

使用默认的Ubuntu 20.04.2设置,并且没有任何调整,我每天大约要获得8TiB

(venv) jm@r740xd:~/chialogs$ grep -i "total time" /home/jm/chialogs/*.log |awk '{sum=sum+$4} {avg=sum/NR} {tday=86400/avg*44*101.366/1024} END {printf "%d K32 plots, avg %0.1f seconds, %0.2f TiB/day \n", NR, avg, tday}'
44 K32 plots, avg 47443.5 seconds, 7.93 TiB/day

Plotman具有非常酷的功能,我们可以通过临时驱动器分析时间,以了解我们的状况!

(venv) jm@r740xd:~/chialogs$ plotman analyze --bytmp *.log
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
|    Slice    | n  |   %usort    |   phase 1    |   phase 2    |    phase 3    |   phase 4    |  total time  |
+=============+====+=============+==============+==============+===============+==============+==============+
| x-/mnt/ssd1 | 11 | μ=100.0 σ=0 | μ=17.6K σ=2K | μ=9.3K σ=390 | μ=17.2K σ=401 | μ=1.3K σ=91  | μ=45.4K σ=2K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| x-/mnt/ssd2 | 11 | μ=100.0 σ=0 | μ=19.0K σ=2K | μ=9.0K σ=301 | μ=17.6K σ=392 | μ=1.3K σ=64  | μ=46.9K σ=2K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| x-/mnt/ssd3 | 11 | μ=100.0 σ=0 | μ=19.6K σ=2K | μ=9.1K σ=303 | μ=18.2K σ=747 | μ=1.4K σ=93  | μ=48.3K σ=3K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| x-/mnt/ssd4 | 11 | μ=100.0 σ=0 | μ=19.8K σ=2K | μ=9.3K σ=596 | μ=18.6K σ=639 | μ=1.5K σ=127 | μ=49.1K σ=2K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+

SN840的速度稍快(因为价格昂贵,这不足为奇)。我昨天刚得到这些驱动器,对它们了解不多,所以我将在接下来的几周内闲逛。当我将它们扔到每个核心CPU频率要快得多的台式机中时,我会确切地知道它们有多快。Xeon Gold在所有22个核心都处于活动状态时,可以达到高达2800MHz的所有核心睿频,因此我需要多进行一些设置。对于进行任何桌面设置的任何人来说,每个绘图时间都没有什么特别的,但这并不是在服务器上进行绘图的目的。当然,您希望将数量降到最低,但您希望拥有足够的DRAM和SSD容量,以至少能够覆盖所有物理核心(核心* 3400MB * 257GB SSD)。RAID,驱动器之间的比较,iowait,