vSAN推荐的IO控制器的配置方式

本文有几个关键词：不支持、推荐、不推荐，注意之间的细微区别。

1）不支持，指别这么做，否则出问题，没人支持你。因为你没有按照兼容列表的推荐去规划；

2）推荐，指最好这么做，这是最佳实践；

3）不推荐，可以这么做，也在兼容列表内，出问题也能得到支持。只是可能有点风险，例如ESXi Host的存放可能是单点，好在这个单点其实问题并不大。

---Begin---

vSAN 作为 VMware 公司超融合架构软件（HCIS），部署在标准的 X86 服务器上，为用户提供了服务器品牌、型号选择上的灵活性，不受硬件厂商绑定。出于对 vSAN 的稳定性、性能、数据安全性的考虑，vSAN 对服务器的 I/O Controller（或称 RAID 控制器）、SSD、HDD、固件和微码都有严格的兼容性要求。

目前在 vSAN 的环境中采用 DELL PowerEdge R730/R730xd的服务器越来越多，同时，这些可能也是大家诟病最多的机型。不过辩证的看，其实也说明 vSAN 也即这些服务器的装机量比较大。其实用户数大导致问题出现相对较多也是一种正常的现象，装机量小的 HCI 或者服务器，并不意味着就没有问题，对于用户而言，潜在的问题如果没有机会充分暴露，导致的潜在风险可能更大。

当然，有些客户也可能会说之前部署的时候就没有遵守兼容列表，用着也没有问题啊，怎么用一段时间就出问题了呢？这可能是因为，之前的数据量小，或者运行时间不够长，并没有导致软件驱动和固件不稳定。还有一种可能，可能刚开始运行的应用不重要，没注意到问题的存在。

从用户反馈的问题上来开，一般分为 2 种情况：

1、有些组件不在兼容列表内

虽然采用的硬件在 vSAN 的兼容列表内，但是其使用的 ESXi 版本以及驱动、固件版本未在兼容列表内。vSAN 的兼容列表网址是：

http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan

例如，下图所示：ESXi 版本对应不同 I/O Controller 模式，其 Device Driver 和 Firmware Version 也可能各不相同。

2、I/O Controller 使用模式不正确

这里举出常见部署 vSAN Ready Node 的型号： DELL PowerEdge R730/R730xd中 I/O Controller 的配置模式，其他 Ready Node 配置方式请准守 vSAN 兼容列表要求进行配置。

DELL PowerEdge R730/R730xd

这款服务器通常出厂配置的 I/O Controller 为 DELL H730 Mini ，最大硬盘插槽 24 个 2.5" LFF 槽位，或者 12 个 3.5" LFF 槽位 ，当前 R730 仅支持插入 1 块 I/O Controller，R730xd 支持插入 2 块 I/O Controller。

当前用户实际部署通常有如下几种设计方式（注意，以下 6 个 Solution 有些是不正确的，不正确的，不正确的姿势）：

我们先来访问http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanio来查看一下，这款 I/O Controller 支持的模式：

Solution 1

这种方式看上去是很完美的，ESXi 做了 RAID 1 实现冗余，vSAN 磁盘采用 vSAN 推荐的 Pass-Through 的模式，但很抱歉的是 Solution 1 这种方式是不受官方支持的模式配置。

在 vSAN 兼容列表内查询到该 I/O Controller 在全闪存（All Flash）和 Hybrid（混合模式）下仅支持 Pass-Through 模式。大家知道，《vSAN_6.0 设计和优化指南》明确指出过：不要为 vSAN 和非 vSAN 磁盘混合使用不同的控制器模式。

相关 KB 说明：《拥有同一存储控制器的 VSAN 和非 VSAN 磁盘的最佳使用实践》

https://kb.vmware.com/kb/2135390

Solution 2

用户或集成商配置的时候自己看到过或者听其他人说过，不要为 vSAN 和非 vSAN 磁盘混合使用不同的控制器模式，并且还打算为 ESXi 做了 RAID1 实现冗余，采用了 I/O Controller 配置 RAID 的模式。这种模式是不受到支持的，首先，在兼容列表内并没有支持 RAID 的相关信息（看兼容列表的 Feature，列出的只有 Pass-Through）。其次，vSAN 的最佳实践也是强烈建议采用 Pass-Through（也即直通）的方式。直通模式对于 vSAN 后期的监控和运维都比 RAID 模式要好。

Solution 3

ESXi 采用通过增加一个 I/O Controller 进行安装，vSAN 的 Cache 和容量盘采用 Pass-Through 的方式进行连接，这种方式是受到 VMware 官方支持的，但是需要注意的是，R730 是不能插入 2 块 I/O Controller ，该解决方案仅能在 R730xd 这种支持两块 I/O Controller 的型号上使用。

注意：R730xd 配置 2 块 I/O Controller 具体连接、配置、限制等信息，请联系 DELL 进行咨询确认。

Solution 4

ESXi 采用双 SD 卡方式进行安装，vSAN 的 Cache 和容量盘采用 Pass-Through 的方式进行连接，这种方式是 DELL 推荐的一种方式，同时，我们也可以到 DELL vSAN Ready Node 中也是这样推荐的配置。当然采用 SD 卡安装 ESXi 的话，需要手动指定 LOG 存储的永久位置，不要把主机的日志输出指向 vSAN Datastore，当主机内存大于 512G 时，可采用 SATADOM 的解决方案。

关于日志的 3 个解决方案：

• 存储在永久存储中（KB1033696）
• 存储在 Syslog 服务器中（KB2003322）
• 存储 vRealize Log Insight 服务器中（KB2144909）

关于 DELL 双 SD 卡的解决方案说明：

http://www.dell.com/downloads/global/products/pedge/en/poweredge-idsdm-whitepaper-en.pdf

DELL R730xd vSANReady Node 配置：

Solution 5

整张 I/O Controller 采用 Pass-Through 模式，并在其中选择一块 HDD 用于 ESXi 的安装，VMware 不支持在该型号的 I/OController 上同时配置 vSAN 磁盘和 VMFS 卷，安装完 ESXi 后创建的 Datastorage 需要禁用。该方式是受到支持的，但是 ESXi 属于单点存储。不过，大家都知道，ESXi 运行后都加在到内存里了，而且得益于 vSphere 的集群高可用，这种单点的风险并不大。

相关 KB ：《在采用 lsi_mr3 驱动程序的 Dell H730 控制器上运行 VMware vSAN 和VMware vSphere VMFS 数据存储的部署准则》

https://kb.vmware.com/kb/2141107

Solution 6

ESXi 采用单 SD、U 盘、SATADOM 等其他方式进行安装，vSAN 的 Cache 和容量盘采用 Pass-Through 的方式进行连接，当然采用 SD 卡安装 ESXi 的话，需要手动指定 LOG 存储的永久位置，请不要把主机的日志输出指向 vSAN Datastore。该方式是受到支持的，但是由于 ESXi 属于单点存储。

关于日志的 3 个解决方案：

• 存储在永久存储中（KB1033696）
• 存储在 Syslog 服务器中（KB2003322）
• 存储 vRealize Log Insight 服务器中（KB2144909）

该方式是受到支持的，但是由于 ESXi 属于单点存储。

6 种配置方式的总结

VMware 极力推荐并支持 Solution 4，如果服务器是 R730XD，支持 Solution 3；不支持Solution 1 和 Solution 2；

VMware 不推荐 Solution 5 和 Solution 6。注意不推荐的原因是 ESXi 属于单点，但仍可使用，出问题 VMware 也是支持的。

作为业界首个原生 vSphere 存储，vSAN 能够将虚拟化技术无缝扩展到存储领域，从而创建一个与现有工具、技能组合、软件解决方案和硬件平台轻松兼容的超融合解决方案。各行各业中有超过 7,000 家各种规模的客户依靠 vSAN 来简化 IT 基础架构，并运行从关键业务应用到虚拟桌面的各种企业级工作负载。