Ceph部署最佳实践
Ceph集群包括超融合部署和分离式部署两种部署场景,本章分别介绍超融合部署和分离式部署最佳实践方案。
超融合部署
以下以三台ZStack Cube 7300为例,介绍超融合部署场景下的硬件选型和网络规划最佳实践。
硬件选型
ZStack Cube 7300具体硬件配置如下
* CPU型号:2 × Intel® Xeon® Gold 6326(16C 2.9GHz)
* 标配内存(可扩展):256GB(8 × 32GB DDR4,最大3200MT/s )
* 内存插槽总数:32
* 单机系统盘:2 × 480GB SATA SSD
* 单机缓存盘:2 × 1.6TB NVMe SSD
* 磁盘:4*8T SATA HDD
该配置符合超融合集群的硬件选型要求。
网络规划
三节点超融合场景由一对交换机同时提供管理、业务和存储网络接入,并同时担任网关设备。两台交换机采用堆叠或者M-LAG部署。每台服务器使用6个网口(跨网卡组合成3对)分别用作管理、业务和存储,每对网口配置bond,分别上联两台接入交换机。 拓扑图如下图所示:

具体交换机等配置可前往1.3.4.1 三节点超融合网络配置进行详细查阅。
分离式部署
以下以10节点集群为例,介绍分离式部署场景下的硬件选型和网络规划最佳实践。
管理节点硬件选型
管理节点的CPU可采用频率为2.2/2.3GHz常规CPU,推荐使用双路Intel Xeon Silver 4114及性能更加强大的CPU。 管理节点中系统盘配置推荐使用SSD。
计算节点硬件选型
计算节点主要为云主机提供CPU和内存资源。 CPU资源需根据云主机中运行的业务进行实际规划,整体硬件需根据业务进行评估。 如业务为高性能业务,那么物理机则需要采购高性能的CPU。
存储节点硬件选型
存储硬件的稳定性决定了存储的稳定性,需严格按照要求进行硬件配置。 SSD主要以intel品牌为准,且SSD设备的DWPD>=3,注意避免硬件黑名单。
常见设备如下:
服务器 | SSD硬盘 | HDD硬盘 | 网卡 |
---|---|---|---|
Dell R740 | Intel® SSD DC S4510 Series | 希捷 (Seagate)1TB 7200转 128M SATA 6Gb/s ST1000NM0033-9ZM | Intel Corporation 82599ES 10- Gigabit SFI/SFP+ Network Connection |
Dell R740XD | Intel® SSD DC S4610 Series | 希捷 (Seagate)2TB 7200转 128M SATA 6Gb/s ST2000NM0033-9ZM | Intel Corporation 82599ES 10- Gigabit SFI/SFP+ Network Connection |
HUAWEI 2288H V5 | Intel® SSD DC P4500 Series | 希捷 (Seagate)8TB 7200转 128M SATA 6Gb/s ST8000NM0055-1RM | Intel Corporation I350 Gigabit Network Connection |
HUAWEI 2488H V5 | Intel® SSD DC P4600 Series | 东芝(TOSHIBA) 4TB 7200转 128M SAS 6Gb/s MG04ACA400N | Intel Corporation Ethernet 10G 2P X520 Adapter |
曙光 I840- G30 | Intel® SSD DC S4610 Series | IBM 2TB 7200转 6Gb/s 59Y5484 59Y1810IBM | Intel Corporation Ethernet Controller 10G X550T (rev 01) |
网络规划
管理、业务、存储接入交换机独立部署、物理隔离,便于扩容服务器。管理和业务网络共用核心交换机,由核心交 换机提供管理网络和业务网络网关。同位置交换机两两组建堆叠或者M-LAG,每台服务器使用6个网口(跨网卡组合成3对)分别用作管理、业务和存储,每台存储节点服务器使用4个网口(跨网卡组合成2对)分别作为管理和存储,每对网口配置bond分别上联两台接入交换机。
- 为所有物理服务器规划BMC网络,便于使用IPMI远程管理物理服务器。
- 为所有物理服务器规划管理网络。
- 为计算节点、超融合节点、规划业务网络。
- 为计算节点、存储节点规划存储网络。
拓扑图如下图所示

具体交换机等配置可前往1.3.4.4 三节点超融合网络配置进行详细查阅。