埃里克(Eric)是说服我建立原始NUC的人。前几天,他向我发送了有关在eBay上安装新服务器的消息,问我是否认为这很划算。多年来,我一直在与Dell合作(他们使用Intel SSD已有很长时间了),但实际上我从未真正拥有过Dell服务器。我在服务器上进行的大多数绘图工作都在Intel Wolf Pass Server平台上进行,尤其是在英特尔®服务器系统R2208WFTZSR上,因为它支持多达4个U.2 NVMe,直接通过主板上的OcuLink电缆直接连接到CPU。在组合式热交换背板上(U.2背板通过不同的电缆支持SAS,SATA和PCIe)。
并不是说我出于某种原因需要另一台服务器,但是我恐慌地在eBay上花了3000美元购买了它。为什么?我不需要任何其他绘图功能。因此,当我为一个朋友做图时,不妨去找点乐子并进行基准测试!
Dell r740xd 2U服务器
2个Intel®Xeon®Gold 6152处理器
256GB DDR4、4个64GB 2666 LRDIMM
它配备了16G光纤通道卡和2个25GB Mellanox NIC。我只是在使用闲散的Intel 10G NIC。
我必须购买附加组件才能以200美元的价格连接NVMe,包括重新定时器卡和细长的SAS电缆以连接NVMe。值得庆幸的是,我的背板支持多达12个NVMe SSD。
我在Storage Review上的朋友们对该服务器进行了出色的评测,并在下面显示了其连接方式的图表
我要说的只是关于iDRAC 9管理的WOW。我能够登录IP,远程更新BIOS,管理代码,所有设备固件,远程安装我的USB驱动器,安装Ubuntu,并且无需离开chrome就可以启动并运行。
我将使用Intel SSD D7-P5510对该系统进行基准测试,众所周知,除非我很幸运能以合理的价格找到Optane P5800X,否则这是我的首选。但是首先,我实际上使用的是新的WD企业级固态硬盘,它们足够优雅,可以向我发送一些SN640和SN840进行基准测试(谢谢大家!)。我对WD SSD不太了解,在接下来的几周进行测试将很有趣。
WD驱动器概述和完整规格可在此处找到
我已将它们输入耐力表。
小贩 | 模型 | 构成因素 | 界面 | 班级 | 用户容量(GB): | 在操作系统中可用的GiB | 原始容量(GiB) | 原始容量(GB) | 预留空间/备用区 | NAND P / E周期 | 写放大系数(WAF) | 额定寿命(年) | 估计的NAND耐久性(TBW,WAF = 1) | 计算的耐力(TBW) | 规格表额定TBW | 超过5年的DWPD(计算得出) | 磨损情况最严重之前绘制的总量(TiB) | 磨损最佳情况(TiB)之前绘制的总量 |
西数 | 超星DC SN840 | U.2 15毫米 | NVMe | 企业 | 1600 | 1455 | 2048 | 2199 | 27% | 10000 | 2.5 | 5 | 21990 | 8796 | 8760 | 3 | 571 | 1429 |
西数 | 超星DC SN840 | U.2 15毫米 | NVMe | 企业 | 3200 | 2911 | 4096 | 4398 | 27% | 10000 | 2.5 | 5 | 43980 | 17592 | 17520 | 3 | 1143 | 2857 |
西数 | 超星DC SN840 | U.2 15毫米 | NVMe | 企业 | 6400 | 5822 | 8192 | 8796 | 27% | 10000 | 2.5 | 5 | 87961 | 35184 | 35040 | 3 | 2286 | 5714 |
西数 | 超星DC SN640 | U.2 7毫米,M.2 | NVMe | 数据中心 | 960 | 873 | 1024 | 1100 | 13% | 7000 | 5.5 | 5 | 7697 | 1399 | 1401.6 | 0.8 | 91 | 500 |
西数 | 超星DC SN640 | U.2 7毫米,M.2 | NVMe | 数据中心 | 1920年 | 1747 | 2048 | 2199 | 13% | 7000 | 5.5 | 5 | 15393 | 2799 | 2803.2 | 0.8 | 182 | 1000 |
西数 | 超星DC SN640 | U.2 7毫米,M.2 | NVMe | 数据中心 | 3840 | 3493 | 4096 | 4398 | 13% | 7000 | 5.5 | 5 | 30786 | 5598 | 5606.4 | 0.8 | 364 | 2000 |
Chia SSD耐力Wiki的耐力
愚蠢的我。我以为这些空白的驱动器盖是2.5英寸的球童。我将在eBay上以每本5美元的价格订购这些产品,但在那之前,我一直在偷懒。
我们走了,现在至少他们被隐藏了,直到我的球童到来
使用plotman进行第一次测试的绘图配置。
(venv) jm@r740xd:~/chialogs$ cat ~/.config/plotman/plotman.yaml
directories:
log: /home/jm/chialogs
tmp:
- /mnt/ssd1
- /mnt/ssd2
- /mnt/ssd3
- /mnt/ssd4
dst:
- /mnt/ssd0
scheduling:
tmpdir_stagger_phase_major: 1
tmpdir_stagger_phase_minor: 1
tmpdir_stagger_phase_limit: 1
tmpdir_max_jobs: 11
global_max_jobs: 44
global_stagger_m: 5
polling_time_s: 20
plotting:
k: 32
e: False # Use -e plotting option
n_threads: 2 # Threads per job
n_buckets: 128 # Number of buckets to split data into
job_buffer: 3389 # Per job memory
SSD 1和2是SN640,SSD 3和4是SN840
(venv) jm@r740xd:~/chialogs$ sudo nvme list
Node SN Model Namespace Usage Format FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme1n1 A068XXXX WUS4BA138DSP3X3 1 3.20 TB / 3.20 TB 512 B + 0 B R2210000
/dev/nvme2n1 A068XXXX WUS4BA138DSP3X3 1 3.20 TB / 3.20 TB 512 B + 0 B R2210000
/dev/nvme3n1 A06AXXXX WUS4BB038D7P3E4 1 1.77 TB / 3.20 TB 4 KiB + 0 B R1410002
/dev/nvme4n1 A06AXXXX WUS4BB038D7P3E4 1 1.58 TB / 3.20 TB 4 KiB + 0 B R1410002
使用默认的Ubuntu 20.04.2设置,并且没有任何调整,我每天大约要获得8TiB
(venv) jm@r740xd:~/chialogs$ grep -i "total time" /home/jm/chialogs/*.log |awk '{sum=sum+$4} {avg=sum/NR} {tday=86400/avg*44*101.366/1024} END {printf "%d K32 plots, avg %0.1f seconds, %0.2f TiB/day \n", NR, avg, tday}'
44 K32 plots, avg 47443.5 seconds, 7.93 TiB/day
Plotman具有非常酷的功能,我们可以通过临时驱动器分析时间,以了解我们的状况!
(venv) jm@r740xd:~/chialogs$ plotman analyze --bytmp *.log
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| Slice | n | %usort | phase 1 | phase 2 | phase 3 | phase 4 | total time |
+=============+====+=============+==============+==============+===============+==============+==============+
| x-/mnt/ssd1 | 11 | μ=100.0 σ=0 | μ=17.6K σ=2K | μ=9.3K σ=390 | μ=17.2K σ=401 | μ=1.3K σ=91 | μ=45.4K σ=2K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| x-/mnt/ssd2 | 11 | μ=100.0 σ=0 | μ=19.0K σ=2K | μ=9.0K σ=301 | μ=17.6K σ=392 | μ=1.3K σ=64 | μ=46.9K σ=2K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| x-/mnt/ssd3 | 11 | μ=100.0 σ=0 | μ=19.6K σ=2K | μ=9.1K σ=303 | μ=18.2K σ=747 | μ=1.4K σ=93 | μ=48.3K σ=3K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
| x-/mnt/ssd4 | 11 | μ=100.0 σ=0 | μ=19.8K σ=2K | μ=9.3K σ=596 | μ=18.6K σ=639 | μ=1.5K σ=127 | μ=49.1K σ=2K |
+-------------+----+-------------+--------------+--------------+---------------+--------------+--------------+
SN840的速度稍快(因为价格昂贵,这不足为奇)。我昨天刚得到这些驱动器,对它们了解不多,所以我将在接下来的几周内闲逛。当我将它们扔到每个核心CPU频率要快得多的台式机中时,我会确切地知道它们有多快。Xeon Gold在所有22个核心都处于活动状态时,可以达到高达2800MHz的所有核心睿频,因此我需要多进行一些设置。对于进行任何桌面设置的任何人来说,每个绘图时间都没有什么特别的,但这并不是在服务器上进行绘图的目的。当然,您希望将数量降到最低,但您希望拥有足够的DRAM和SSD容量,以至少能够覆盖所有物理核心(核心* 3400MB * 257GB SSD)。RAID,驱动器之间的比较,iowait,