【FC存储】ESXi 双 HBA 接入两套存储:vmhba64 只见一套到重启后恢复
文章目录12 节
这次排查的是一台 VMware ESXi 主机接入两套 FC 存储的情况。主机上有两块 Emulex 光纤 HBA(主机总线适配器):vmhba1 和 vmhba64。原本希望两块 HBA 都能看到 3300 和 5520 两套存储,但现场发现 vmhba1 已经正常,vmhba64 只能看到其中一套。
本文记录现场证据、交换机配置、排查顺序和最后的恢复结果。主机名、管理地址、交换机 WWN、HBA WWPN(端口唯一标识)、存储 Target WWPN 和密码均已脱敏或泛化。
现象:两块 HBA 的可见存储不一致
在 ESXi 存储适配器界面中,vmhba1 显示了 6 个 Target、6 个设备和 20 条路径。它的 Target 列中同时出现了属于 3300 和 5520 的目标端口,因此可以确认这块 HBA 已经能访问两套存储。
vmhba64 的状态不同:它只显示 2 个 Target、4 个设备和 8 条路径。根据 Target WWPN 与存储侧记录的对应关系,这些目标端口属于原有存储,未看到 5520 的 Target。
这里要区分三个数量:
| 名称 | 含义 |
|---|---|
| Target | ESXi 能登录到的存储目标端口数量 |
| 设备 | ESXi 识别到的独立 LUN 或块设备数量 |
| 路径 | HBA 到每个设备的实际访问路径数量 |
Target 数量少,通常要先查 FC 登录和 zoning;Target 已经出现但没有设备,才重点查存储侧主机资产和 LUN 映射。不能只看“光交机能看到 HBA 的 WWPN”就认为整条存储路径已经完成。
先用变更前日志还原接线
这次保留了两台 Brocade SNS2124 的变更前日志。日志中的敏感身份已从本文删除,但端口关系保留为泛化后的拓扑。
变更前可以确认:
| 位置 | 现场对应关系 |
|---|---|
| 光交-A 的本地端口 1 | ESXi 的 vmhba1 |
| 光交-B 的本地端口 1 | ESXi 的 vmhba64 |
| 两台 SNS2124 的 Domain ID | 均为 1 |
上联的 swd77 | Domain ID 为 2,通过 E-Port(交换机间端口)连接 |
| 光交-B 的本地端口 4、5 | 原有存储的 Target 端口 |
| 光交-B 的本地端口 12、13 | 变更前为 No_Light,尚未检测到光信号 |
原有配置中,光交-B 的 server3_2 zone(分区)包含:
1,1; 2,4; 2,5其中 1,1 是光交-B 的本地端口 1,也就是 vmhba64。这条规则解释了为什么 vmhba64 原来可以访问已有存储。2,4 和 2,5 是另一台交换机上的目标端口,流量需要经过 ISL(交换机间链路)。
变更前光交-B 的端口 12、13 都是 No_Light。这说明当时 5520 的光纤链路还没有在这台交换机上建立,不能仅凭配置文件判断 5520 已经可用。
为什么先查交换机,而不是先反复扫描 LUN
FC 存储发现有明显的层次关系:
flowchart LR
H[ESXi vmhba64]
P[光交-B 端口 1]
Z[zoning 分区]
T[5520 Target 端口]
I[存储 Initiator 发起端资产]
L[LUN 映射]
D[ESXi 设备与 VMFS]
H --> P --> Z --> T --> I --> L --> D如果 ESXi 的 HBA 在光交机上能看到,但光交机看不到 5520 Target,问题在物理链路、光模块、Fabric(光纤存储网络)或 ISL。
如果双方都能在 Fabric 中看到,但没有同一个有效 zone,问题在 zoning。
如果 Target 已经出现,仍然没有设备,才继续检查存储侧的 Initiator、主机组和 LUN 映射。
这个顺序可以避免把“没有 Target 登录”的问题误判成“没有绑定 LUN”。
今晚的 zoning 变更
这次新增的目标是:在两套 SNS2124 上分别给主机和 5520 建立单启动器 zone。以 vmhba64 所在的光交-B 为例,关键关系是:
1,1; 1,12; 1,13含义是:
1,1 = vmhba64 所在的主机端口
1,12 = 本地交换机上的一个 5520 Target 端口
1,13 = 本地交换机上的另一个 5520 Target 端口只读检查
风险等级:INFO(只读)
作用: 查看交换机端口、Fabric、当前配置和名称服务器登录情况,确认 HBA 与 5520 Target 的实际身份。
执行对象: 对应的 Brocade SNS2124 交换机,需要具备只读查询权限。
注意事项: 不要根据交换机名称猜 Domain ID 或端口号;应以
switchshow、nsshow和现场接线为准。验证重点:
vmhba64的 WWPN 应出现在对应端口,5520 Target 应为Online、F-Port,当前配置名称和生效配置应保持一致。
switchshow
fabricshow
nsshow
cfgshow
cfgactvshow
cfgtransshow创建并加入 5520 zone
风险等级:CAUTION
作用: 创建主机到 5520 Target 的访问规则,并把规则加入当前配置。
执行对象: 对应 Fabric 中的 Brocade SNS2124。
<HOST_DOMAIN>,<HOST_PORT>、<TARGET_DOMAIN>,<TARGET_PORT>必须替换为现场核对后的值。前置条件: 先确认 zone 不存在,当前配置确实是要修改的配置,并且其中保留了原有生产 zone。若已有同名 zone,不要重复执行
zonecreate。影响与恢复:
cfgadd会改变待生效的 zoning 配置;在cfgenable前可以检查并放弃未保存事务。完成cfgenable后,可能影响整个 Fabric 的主机存储访问,必须一次只操作一套 Fabric,并在切换前保留当前配置。完成验证: 用
zoneshow、cfgactvshow和 ESXi 的 Target、设备、路径状态确认结果。
zonecreate "<HOST_ZONE_TO_MS5520>", "<HOST_DOMAIN>,<HOST_PORT>;<TARGET_DOMAIN>,<TARGET_PORT_1>;<TARGET_DOMAIN>,<TARGET_PORT_2>"
cfgadd "<ACTIVE_CFG>", "<HOST_ZONE_TO_MS5520>"本次现场配置中,vmhba64 对应的是本地端口 1,1,因此它所需的逻辑是:
server3_to_ms5520 = 1,1; 1,12; 1,13其他主机也按相同原则配置,每个 zone 保留一个主机 HBA,再加入需要访问的 5520 Target。这样可以避免把多台主机和多组存储端口全部混进同一个 zone。
保存并启用
风险等级:DANGER
作用: 保存并启用整个 zoning 配置。
执行对象: 当前正在维护的单套 Brocade Fabric。
执行前检查: 再次核对
cfgshow、cfgactvshow、原有业务 zone、变更后的 zone,以及当前是否存在其他人的 zoning transaction。影响与恢复:
cfgenable启用的是整个配置集合,不是只有刚新增的 zone。若目标配置遗漏原有业务 zone,可能导致已有主机失去存储访问。出现异常时停止继续操作,保留当前输出并恢复原配置或等待存储厂商确认。完成验证: 检查
cfgactvshow,再检查 5520 Target 是否登录和 ESXi 路径是否正常。
cfgsave
cfgenable "<ACTIVE_CFG>"这次使用的配置名是 ms_dmz。本文不保留现场密码,也不把密码写进任何可复用命令。
重新发现与恢复
zoning 生效后,vmhba64 仍没有立即显示两套存储。随后重启了 ESXi 主机,主机重新初始化 HBA,重新登录 Fabric,并重新发现 Target、设备和路径。重启后,vmhba64 可以同时看到 3300 和 5520,两套存储的访问恢复正常。
ESXi 侧验证
风险等级:INFO(查询)
作用: 查看
vmhba64的 WWPN、Target、设备和路径,确认交换机配置已经传递到 ESXi。执行对象: 目标 ESXi 主机,需要具备 ESXi Shell 或 SSH 查询权限。
注意事项: 命令只读,不会创建、格式化或删除磁盘。不要仅凭设备容量判断目标 LUN,应同时核对 Target WWPN、NAA 标识和路径状态。
esxcli storage san fc list
esxcli storage core path list -A vmhba64
esxcli storage filesystem list需要确认:
vmhba64 的 WWPN 与现场登记值一致
Target 列同时包含 3300 和 5520
路径状态为 Active 或正常工作状态
没有 Dead、Lost communication、APD 或 PDL
对应 VMFS 数据存储保持原状如果只是新配置没有立即在 ESXi 中出现,优先尝试存储适配器重新扫描;只有重新扫描仍不能重新建立会话时,才评估重启主机。重启属于有业务影响的动作,生产环境需要先确认虚拟机迁移、HA(高可用)状态和维护窗口。
这次故障的结论
这次不是 vmhba64 硬件完全失效。变更前日志已经证明:
vmhba64在光交-B 的本地端口 1 上,端口状态为Online、F-Port。- 原有 zoning 能让它访问已有存储,因此它能看到原来的 Target 和设备。
- 变更前光交-B 的 12、13 端口为
No_Light,5520 的新链路尚未在这台交换机上建立。 - 新增的
server3_to_ms5520将1,1与1,12、1,13放入同一个 zone,覆盖了vmhba64到 5520 的访问关系。 - ESXi 重启后 HBA 重新登录并完成重新发现,
vmhba64最终恢复了对两套存储的访问。
更准确的根因表述是:主中心第二块 HBA 原有路径正常,但新增 5520 的 zoning 和 FC 会话需要重新建立;ESXi 重启触发了 HBA 重新登录和存储重新发现,最终恢复了双存储可见性。
这次没有单独验证“只执行 ESXi 存储重新扫描是否足够”,因此不能把重启前未发现的精确原因确定为某一个单独的缓存或服务问题。后续遇到同类问题,应先保留交换机和 ESXi 的实时状态,再按“物理链路、Fabric、zoning、Target 登录、LUN 映射、ESXi 路径”的顺序排查。
经验总结
- 交换机能看到 HBA 的 WWPN,只能证明 HBA 登录了交换机,不能证明它已经看到目标存储。
No_Light要先查光纤、SFP 和对端端口,zoning 命令写对也不能让没有光信号的端口工作。cfgshow是定义配置,cfgactvshow是当前生效配置,两者不能混为一谈。cfgenable会启用整个配置集合,执行前必须确认没有遗漏原有业务 zone。- 端口 zoning 依赖 Domain ID 和端口接线,长期维护更适合使用 WWPN alias(WWPN 别名),降低换线或端口迁移造成的误配风险。
- VMware 集群共享 LUN 时,存储侧应把所有实际 ESXi HBA 的 WWPN 加入正确的主机组,并确认同一 LUN 在各主机上的可见性和多路径状态。
适用范围与边界
本文适用于 Brocade Fabric OS、VMware ESXi 和 FC SAN 的类似排查场景。命令中的 Domain ID、端口号、Target WWPN、配置名和 LUN 名称都必须替换为现场实际值,不能直接照抄。本文记录了这次环境中的恢复结果,没有替代对应交换机、存储阵列和 VMware 版本的厂商操作手册。