麒麟 V10 上 IBM MQ MQOPEN 返回 2044:从网络排查到统一安装介质恢复
文章目录5 节
这次 MQ 故障排查绕了不少弯。现场一开始怀疑监听器、端口和 IPv6,重启监听器、重启队列管理器也没有解决。后来我们确认,应用并不是连不上队列管理器:MQCONN 成功,失败发生在打开队列时,返回 2044。再往后,实验环境中的同名队列和同事提供的 demo 都能正常打开,客户最终改用我提供的 IBM MQ 安装介质部署后,业务也恢复了。客户随后补充确认,Client(客户端)模式和 IPC Bindings(本地绑定)模式现在都可以正常使用。
这次经历让我重新认识了“版本一样”这句话的含义:版本号相同,只说明一个表面属性相同,不能替代对安装介质、已安装组件、头文件、动态库和运行时加载路径的核对。最终恢复指向了部署环境差异,但我们没有拿到足够证据确认究竟是哪一个文件或组件造成了问题,因此本文不把推测写成精确根因。
现场现象:TCP 能通,队列仍打不开
出问题的是同一台麒麟 Linux 主机上的 QA 应用和 IBM MQ。QQ 与另一台主机之间的 MQ 通信此前可以正常工作。QA 使用的连接配置包含 MQSERVER,指向本机地址和 1429 端口,因此即使应用与队列管理器同机,它仍然走 TCP 客户端模式,而不是进程内的绑定模式。
现场日志给出的 API 结果是:
MQCONN: compCode=0, reason=0
MQOPEN: compCode=2, reason=2044
MQDISC: compCode=0, reason=02044 是 MQRC_OD_ERROR。这个错误出现在 MQOPEN,说明请求已经越过初始连接阶段,问题落在打开对象时提供的对象描述符或相关调用输入上。它不能单独证明网络完全没有问题,但也不支持继续把“端口不通”当作首要解释。
排查初期看到监听 socket 显示 IPv6,而 IPv4 地址上的 telnet 又能连通。这个结果容易让人把注意力放在 IPv6、端口冲突或 IP 冲突上。后来确认,IPv4 TCP 建连成功只能证明该地址和端口可以建立 TCP 会话,不能证明应用使用的 MQ 客户端、队列管理器、对象描述符和权限都正确。监听器与队列管理器重启后症状不变,也进一步降低了单纯监听问题的可能性。
当时的连接路径可以简化为:
flowchart LR
subgraph UAT[UAT 主机:应用和 MQ 同机]
APP[QA 应用 CNAPS2_SVR]
CLIENT[MQ Client 库<br/>MQSERVER 指向本机 TCP 1429]
LISTENER[本机 Listener<br/>TCP 1429]
QM[Queue Manager QMEDZF]
SVR[SVRCONN_QMMBFE]
QAQ[本地队列 MBFETOEDZF]
APP --> CLIENT --> LISTENER --> QM --> SVR --> QAQ
APP -. "MQCONN=0<br/>连接成功" .-> QM
QM -. "MQOPEN=2044<br/>MQRC_OD_ERROR" .-> QAQ
end
subgraph REMOTE[QQ 远端主机]
RQM[Queue Manager QMUMBFEA]
RCH[QQ 通道 MBFEA.EDZFA<br/>RUNNING / RECEIVE]
RQ[远端目标队列]
RQM --> RCH --> RQ
end
QM == "QQ 跨机通道" ==> RCH
subgraph LAB[对照验证与最终恢复]
BIND[同事 demo<br/>-lmqm,Bindings 模式]
TESTQ[测试 QMEDZF / MBFETOEDZF<br/>MQOPEN 成功并浏览到消息]
MEDIA[客户改用统一安装介质<br/>业务恢复]
BIND --> TESTQ
MEDIA
endQQ 与 QA 是两条不同的业务路径。QQ 通道正常,不能推出 QA 的本地队列打开成功;同样,QA 的 MQCONN 成功也不能推出 MQOPEN 和后续消息操作成功。
逐层核对:不要把连通性测试当成业务验证
现场先尝试重启监听器和队列管理器,结果没有变化。之后检查端口监听与 IPv4 连通性,确认 TCP 层可以建立连接。这个检查有价值,但只能回答“能不能连到端口”,无法回答“当前进程加载了什么 MQ 库”或“它实际向 MQOPEN 传了什么”。
我请现场使用有足够权限的账号重新执行 ss 和 lsof,确认端口监听进程与地址族。即使监听显示 IPv6,也不能仅凭这一项就断定 IPv4 不可用或端口冲突;还要结合本机 IPv4 建连结果、进程环境和 MQ API 的返回阶段判断。
接着我们把问题收窄到 MQ 对象描述符(MQOD)和调用参数。期间检查了业务程序报告的 MQOPEN 选项,尝试去掉 MQOO_INPUT_SHARED、改用 MQOO_INPUT_AS_Q_DEF,并在测试程序中改变队列管理器名、库链接方式和 MQOD 初始化写法。测试程序仍返回 2044。这些对照没有证明业务程序的 MQOD 一定正确,只说明我们尝试过的单项变化没有消除症状。
源码与构建路径也一度不清楚。现场先给出一条手工 gcc 命令,但实际构建使用 make,因此只查 shell 历史里的 gcc 不足以还原正式程序的构建过程。后来又确认编译环境和运行环境不同;把编译环境复制到运行环境并重新编译后,业务错误仍然存在。这个结果说明环境差异值得查,但“在运行机重编译”本身并没有找到差异所在。
用同事的 demo 区分连接模式
同事提供的 demo 在客户运行环境中可以连接队列、打开 MBFETOEDZF,并浏览到实际消息。其编译命令是:
gcc demo.c -o demo -I/opt/mqm/inc -L/opt/mqm/lib64 -lmqm -Wl,-rpath=/opt/mqm/lib64风险等级:INFO(只查看依赖)
作用: 查看目标二进制运行时实际加载的 MQ 动态库,区分客户端链接与绑定链接。 执行对象: 编译后的 Linux 二进制所在主机;将路径替换为实际程序路径。 完成验证:
libmqm.so表示绑定库,libmqic.so表示客户端库;如出现not found,先处理运行库搜索路径。
ldd ./demo | grep -E 'libmqm|libmqic|libmqe|not found'-lmqm 链接的是 MQ 绑定库。这个 demo 通过 MQCONN("QMEDZF") 连接本机队列管理器,不使用 MQSERVER、监听器地址或端口。因此它成功证明了绑定模式下该 demo 能打开并浏览队列,却不能证明原业务程序的 TCP 客户端模式已经正常。两种模式需要按运行时实际加载的库区分,不能只看它们是否运行在同一台主机。
为了避免“测试机没有同名队列管理器”干扰对照,我在麒麟测试 01 上另建了测试用 QMEDZF 和 MBFETOEDZF,放入一条标记消息后运行同事的二进制。结果为:
MQCONN: compCode=0, rc=0
MQOPEN: compCode=0, rc=0
Got message: TEST_BINDINGS_QMEDZF_20261027
MQCLOSE done, compCode=0, rc=0
MQDISC done, compCode=0, rc=0测试环境是 Kylin Linux Advanced Server V10、x86-64,IBM MQ 9.0.5.0。这验证了该绑定模式二进制在同版本测试环境能正常工作。此前我们也在麒麟实验环境验证过同机 TCP 客户端闭环成功,所以实验结果没有表明 IBM MQ 9.0.5.0 必然无法处理这种同机拓扑;仍需把成功的测试程序与现场正式业务程序区别看待。
最终恢复:统一使用提供的安装介质
排查最后,客户改用我提供的 IBM MQ 安装介质后,业务恢复正常。客户随后分别验证 Client(客户端)和 IPC Bindings(本地绑定)模式,两种连接方式都能正常工作。更换介质前,同事的 -lmqm demo 已经能通过绑定模式打开队列,但原业务的 Client 模式仍在 MQOPEN 返回 2044;更换后两种模式都正常,说明修复结果覆盖了两条连接路径,而不只是绑定 demo 的单项成功。
这个前后对照使 MQ 部署内容或安装环境差异成为最有力的方向,也说明只比较 dspmqver 输出中的版本号不够。即使两边都显示 9.0.5.0,仍可能在安装组件、头文件、库文件、文件来源或运行时加载路径上不同。
但这次没有保留客户更换介质前后的完整 RPM 清单、安装介质校验值、cmqc.h 与库文件哈希、正式程序 ldd 输出以及启动时环境变量快照。因此,能够确认的是“使用提供的介质后,Client 和 IPC Bindings 两种模式都恢复正常”;还不能断言是某个特定头文件、库文件、ABI(应用二进制接口)或 MQ 缺陷导致了 2044。要得到更精确的根因,需要对新旧环境做逐项差异比对。
这次排查留下的经验
第一,按 API 阶段判断故障落点。MQCONN=0、MQOPEN=2044 与“连接不上 MQ”是不同现象。端口测试、Listener 状态、通道状态、队列打开和消息收发是不同层次的证据,不能互相替代。
第二,区分客户端模式和绑定模式。MQSERVER、IP、端口和 SVRCONN 指向客户端连接;-lmqm 与本机队列管理器名称指向绑定连接。一个模式成功,不能替另一个模式背书。
第三,不要把“版本一样”当成环境已经一致。应核对安装介质来源与 SHA-256、实际安装的 MQ RPM/组件、头文件位置与哈希、程序动态依赖、LD_LIBRARY_PATH 或 RPATH,以及进程启动时继承的 MQ 环境变量。现场说“已经按相同版本部署”是一个线索,不是完成验证的证据。
第四,先拿到实际运行的文件和状态,再提出代码修改。真实 Makefile、进程可执行文件路径、/proc/<PID>/environ、ldd 和 MQ 错误日志,通常比围绕猜测连续改 MQOD 参数更能缩小范围。每次只改变一个变量,并记录改动前后结果。
第五,保留可回退的已知可用安装包和构建产物。遇到部署环境可疑时,用经过校验的统一介质重建或修复,往往比继续猜参数更有效;但恢复后仍应补齐新旧文件、包和运行时依赖的差异记录,才能把“恢复手段”推进为“根因证明”。
这次最后是换用统一的安装介质解决了问题。最值得记住的是先验证机器实际上装了什么、程序实际上加载了什么,再判断“版本相同”“环境一样”这样的描述是否成立,单独检查某个 MQ 参数不足以定位问题。