Towards High Semantic Fidelity: Hyperdimensional Symbolic Messages in Multi-Agent Communication¶

会议: NeurIPS 2026
arXiv: 2610.23092
OpenReview: https://openreview.net/forum?id=KXTbANIGZW
论文: https://arxiv.org/abs/2610.23092
领域: LLM Agent
关键词: 多智能体强化学习、超维计算、语义保真度、符号消息通信、鲁棒协同

一句话总结¶

针对非理想通信信道下多智能体协同语义失真与不可解释问题，本文提出基于超维计算的超维符号消息格式（HSM）与Herm通信框架，通过实体-属性-值结构化编码压制语义纠缠，利用自我绑定与相似度感知双分支融合化解语义失配与稀释，实现了抗噪传输保真度与显式双向转换保真度的统一。

研究背景与动机¶

在多智能体强化学习（MARL）中，智能体之间的显式通信是涌现复杂协同战术与弥补部分可观测性（Dec-POMDP）的基石。然而，在真实物理系统或受限信道中，通信不可避免地面临随机噪声干扰、丢包甚至恶意对抗扰动。在非理想信道下，多智能体协同的核心瓶颈取决于智能体交互的“语义保真度（Semantic Fidelity）”：一方面是传输保真度（Transmission Fidelity），即传输的消息在经受信道扰动后其承载的语义必须保持稳健且不发生畸变；另一方面是转换保真度（Conversion Fidelity），即智能体的原生语义（局部观测、意图与历史轨迹）与传输消息之间应当具备双向可逆转换能力，接收者不仅能无歧义地还原出显式语义，还能将其无缝转化为指导下游决策的有效表征。

然而，现存的两大多智能体通信范式均陷入了无法兼顾两者的结构性困境。以 Q 值列表为代表的数值消息（Numerical Messages）虽然结构简单透明、具备基础的双向转换能力，但其高维数值敏感性极强，信道中微小的扰动就会导致数值崩溃与灾难性的语义畸变；而以连续隐状态为代表的神经消息（Neural Messages）虽然能借助图信息瓶颈（GIB）或数据增强抵御部分噪声，但其黑盒编码机制使得显式语义彻底沦丧，无论智能体自身还是人类监督者均无法解码其传输内容，更无法与大语言模型等符号推理系统进行直接语义交互。

超维计算（Hyperdimensional Computing, HDC）凭借高维随机向量的拟正交性（天然抗噪）和代数可逆运算（绑定、束集、解绑），在数学理论上为统一传输保真度与转换保真度提供了理想工具。但直接将传统平面化 HDC 引入 MARL 面临严峻挑战：多实体联合感知的复杂组合在实用低维超空间中会迅速破坏拟正交性，引发严重的“语义纠缠”；同时原生 HDC 仅能广播发送者静态自信息，不仅与接收者局部决策上下文存在“语义失配”，而且其等权相加的束集操作会导致关键决策语义被平凡信息严重“稀释”。核心 idea：本文提出超维符号消息（HSM）与通信框架 Herm，在发送端设计实体-属性-值分层编码管道以压制低维语义纠缠，在接收端通过无参数自我绑定与相似度/差异度双分支融合解决语义失配与稀释，并借助代数逆运算实现无需微调的显式符号解码与跨模态 LLM 决策协同。

方法详解¶

整体框架¶

Herm 的整体架构涵盖发送端消息构建、信道传输、接收端语义对齐融合，以及用于可解释分析或 LLM 交互的迭代解码旁路。在发送端，每个智能体将瞬时环境观测拆解为实体-属性-值（Entity-Attribute-Value, EAV）三元组，经由拟正交变换生成超维感知向量，并与平滑后的滑动窗口历史动作时序编码结合，生成超维符号消息（HSM）对外广播；在接收端，智能体首先利用自身的局部编码向量与收到的消息执行环形卷积（自我绑定），在特征层完成接收者视角下的二阶语义上下文对齐；随后，基于余弦相似度指标将环境感知与历史行为解耦为双分支融合通道（感知分支利用差异度加权补全盲区，动作分支利用相似度加权对齐意图）；融合产物经轻量映射后与智能体自身轨迹特征结合，送入局部 Q 网络基于值分解框架（如 QMIX）端到端学习策略。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["局部环境观测与历史动作序列"] --> B["实体-属性-值结构化编码<br/>属性正交化+循环置换数值编码"]
    B --> C["超维符号消息广播 (HSM)"]
    C --> D["自我绑定机制<br/>环形卷积构建二阶上下文特征"]
    D --> E["相似度感知双分支融合<br/>感知差异度补全+动作相似度协调"]
    E --> F["本地Q网络与值分解协同决策"]
    C -.->|代数逆运算| G["迭代消息解码与LLM符号协作"]

关键设计¶

1. 实体-属性-值结构化编码：消除低维空间语义纠缠 针对传统平面化 HDC 编码在多智能体复合感知下面临维度爆炸与拟正交性失效的痛点，Herm 构建了严格对齐 MARL 认知逻辑的分层编码管道。智能体将环境局部观测形式化为实体感知三元组集合 $o_i = \{\langle id, attr, val \rangle \mid id \in \mathcal{E}, attr \in \mathcal{A}, val \in \mathcal{V}\}$。首先，属性字典 $\mathcal{A}$ 在超维空间随机采样后经过施密特正交化（Schmidt orthogonalization）处理，确保不同属性基向量之间绝对正交；对于连续型数值，采用区间离散化与循环置换编码（cyclic replacement encoding）：在最小和最大超向量 $HV_{min}, HV_{max} \sim \mathbb{R}^d$ 之间，根据相对比例 $\rho = (v - val_{min})/(val_{max}-val_{min})$，用 $HV_{max}$ 的前 $\lceil \rho \cdot d \rceil$ 维替换 $HV_{min}$ 的对应维度，使欧氏空间中连续的数值距离平滑映射为超维空间中的余弦相似度。在此基础上，观测编码经过四阶代数变换逐层组装： $$HV_O = \sum_{j}^{\mathcal{E}}\oplus\left[HV_{id}^j \otimes \sum_{attr}^{\mathcal{A}}{\oplus(HV_{attr} \otimes HV_v)}\right]$$ 该式通过属性-值绑定（$\otimes$）、属性束集（$\oplus$）、实体身份绑定（$\otimes$）与多实体束集（$\oplus$），将多实体拓扑压缩为单一紧凑超向量（实验中维度 $d \le 256$ 即可满足复杂环境），完全消除了低维约束下的符号混叠与语义纠缠。对于历史动作序列，则利用时间字典与动作离散编码完成时序绑定 $HV_A = \sum_{t'=t-w}^{t-1} \oplus (HV_{a_{t'}} \otimes HV_{t'})$，协同构成紧凑消息 $m_i^t$。

2. 自我绑定机制：实现接收者上下文的二阶语义对齐 广播通道发送的消息天然是以发送者自身坐标系与决策视角构建的，若接收者直接解析，会因为局部视角偏差（如相对空间方位、角色任务不同）出现语义失配。Herm 巧妙地利用全息简化表示（HRR）中的绑定算子（环形卷积）实现免参数的语义上下文重投影。接收者 $i$ 收到发送者 $j$ 的消息 $m_j$ 后，将其与自身的局部超维状态编码 $m_i$ 进行结构化绑定： $$m_{i,j}' = m_j \otimes m_i$$ 在代数本质上，环形卷积算子执行了全互联的密集乘积交互，直接在特征级别构建了发送者与接收者状态的联合张量表征，自发提取出两者交互的“二阶相关性（second-order correlations）”。更为关键的是，该运算具备严密的拓扑保持性：$\cos(m_j \otimes m_i, m_k \otimes m_i) \approx \cos(m_j, m_k)$。这意味着自我绑定在不破坏原始消息间相对语义几何结构的前提下，将全局广播语义自然旋转对齐至接收者个性化的局部决策子空间。

3. 相似度感知双分支融合：防止决策有效语义稀释 标准 HDC 采用等权束集（向量相加归一化），但在智能体数量较多时，无关信息或高频冗余感知会稀释关键决策信号。Herm 提出利用超维空间内天然由内积刻画的余弦相似度，对感知信息与动作意图实施解耦的双分支调制融合。智能体 $i$ 首先计算自身感知超向量 $m_i^o$ 与接收感知超向量 $m_j^o$ 的余弦相似度 $\alpha_j$，经 Softmax 得到相似度权重 $\boldsymbol{\alpha}_i$ 与差异度权重 $\dot{\boldsymbol{\alpha}}_i$： $$\boldsymbol{\alpha}_i = \text{softmax}\{\alpha_1, \dots, \alpha_N\}, \quad \dot{\boldsymbol{\alpha}}_i = \text{softmax}\{-\alpha_1, \dots, -\alpha_N\}$$ 融合机制基于清晰的物理认知：对于环境感知，相异度高的队友观测往往覆盖了自身不可见的盲区视野，具有更高的信息增益，因此采用差异度权重 $\dot{\boldsymbol{\alpha}}$ 加权聚合；而对于行为理解，处于相似环境上下文的队友其动作意图对协同作战最具参考价值，因此采用相似度权重 $\boldsymbol{\alpha}$ 加权聚合： $$\mathcal{M}_i^o = \sum_{j=1}^N \dot{\boldsymbol{\alpha}}_{i,j} * (m_i^o \otimes m_j^o), \quad \mathcal{M}_i^a = \sum_{j=1}^N \boldsymbol{\alpha}_{i,j} * (m_i^a \otimes m_j^a)$$ 双分支融合特征随后经由轻量映射层投影为神经向量，既防止了关键决策语义稀释，又赋予了多智能体信息聚合明确的归纳偏置。

4. 基于代数逆运算的迭代解码：打通符号到自然语言转换 为了兑现转换保真度中“可解释、可还原”的承诺，Herm 建立了基于 HRR 循环相关（Circular Correlation, $\circledast$）逆算子的符号解码算法。由于束集操作保持子分量相似度（$\delta(A \oplus B, A) \gg 0$），而绑定与逆解绑满足代数自洽性（$\delta(A \otimes B \circledast B, A) \gg 0$），接收端无需额外训练神经解码器，仅需通过级联解绑与字典检索即可精确还原特定实体特定属性的值： $$v = \operatorname{argmax}_{v \in \mathcal{V}} \delta(HV_v, HV_O \circledast HV_{id} \circledast HV_{attr})$$ 动作时序同理可通过 $a_{t'} = \operatorname{argmax}_{a \in \mathcal{A}} \delta(HV_a, HV_A \circledast HV_{t'})$ 完全重构。解码出的结构化三元组可零成本套用规则模板转化为自然语言（如“我是2号智能体，生命值45%，坐标处于(-0.7, -0.7)，我看到友方1号……”）。这一机制彻底消除了以往将强化学习消息对接大语言模型（LLM）时对高维嵌入空间适配的依赖，使人类审计与跨模态 LLM 智能体即插即用协同成为可能。

损失函数 / 训练策略¶

Herm 采用中心化训练与去中心化执行（CTDE）的值分解范式（默认采用 QMIX 骨架）。智能体局部网络由 GRU 状态提取层、超维融合向量投影网络和局部动作价值估计层组成。局部 $Q_i(h_i, c_i, a_i)$ 的输出输入混合网络（Mixing Network），最小化 TD 误差损失函数： $$\mathcal{L}(\theta, \beta) = \mathbb{E}_{\mathcal{D}}\left[ \left( r + \gamma \max_{\boldsymbol{a}'} Q_{tot}(s', \boldsymbol{a}'; \theta^-, \beta^-) - Q_{tot}(s, \boldsymbol{a}; \theta, \beta) \right)^2 \right]$$ 其中 $\theta$ 为局部网络参数，$\beta$ 为单调非负混合网络参数。由于超维特征的生成与初级融合完全依赖无参代数运算，反向传播梯度仅更新轻量投影网络与 Q 网络，极大提升了训练稳定性与样本利用效率。

实验关键数据¶

主实验¶

论文在四类经典 MARL 基准上评估了算法性能，包括 Hallway、Level-Based Foraging (LBF)、StarCraft II Multi-Agent Challenge (SMAC) 以及随机性更强的 SMACv2。下表汇总了在强对抗噪声扰动（单步 FGSM 与五步 PGD 攻击）下，Herm 与先进鲁棒通信基准的胜率对比：

测试场景	评估算法	无对抗噪声 (No-Adv)	FGSM ($\eta_f=0.1$)	FGSM ($\eta_f=0.3$)	FGSM ($\eta_f=0.5$)	PGD ($5, 0.3$)	PGD ($5, 0.5$)
SMAC 5m_large	CroMAC	16.3 ± 0.2	10.7 ± 0.1	3.1 ± 0.4	0.5 ± 0.9	9.2 ± 0.3	1.6 ± 0.7
	MAIC-AME	48.9 ± 0.8	44.1 ± 0.6	26.5 ± 0.5	15.1 ± 0.2	42.0 ± 3.3	36.0 ± 2.8
	Herm (Ours)	67.2 ± 0.5	58.3 ± 0.4	31.8 ± 0.1	18.6 ± 0.3	43.5 ± 1.4	33.9 ± 3.2
SMAC 5z_vs_1ul	CroMAC	64.5 ± 0.1	10.5 ± 0.8	0.3 ± 0.2	0.8 ± 0.5	31.4 ± 0.9	24.7 ± 0.1
	MAIC-AME	77.8 ± 0.3	60.8 ± 0.7	34.2 ± 0.6	6.2 ± 0.1	65.2 ± 2.4	37.5 ± 3.3
	Herm (Ours)	79.0 ± 0.2	68.5 ± 0.9	35.5 ± 0.3	25.1 ± 0.4	63.5 ± 4.1	58.5 ± 3.7
Hallway 4	CroMAC	99.3 ± 0.6	16.2 ± 0.5	6.0 ± 0.1	0.0 ± 0.8	39.5 ± 0.7	17.3 ± 0.2
	MAIC-AME	5.3 ± 0.4	0.0 ± 0.3	0.0 ± 0.6	0.0 ± 0.0	0.0 ± 0.0	0.0 ± 0.0
	Herm (Ours)	100.0 ± 0.0	99.0 ± 0.2	95.5 ± 0.4	92.7 ± 0.5	100.0 ± 0.0	97.5 ± 1.6
Hallway 5	CroMAC	98.1 ± 0.9	96.9 ± 0.7	24.6 ± 0.3	13.5 ± 0.2	70.8 ± 0.4	44.1 ± 0.6
	MAIC-AME	3.6 ± 0.5	0.0 ± 0.0	0.0 ± 0.9	0.0 ± 0.0	0.0 ± 0.0	0.0 ± 0.0
	Herm (Ours)	100.0 ± 0.0	98.0 ± 0.6	93.5 ± 0.8	90.2 ± 0.7	100.0 ± 0.0	100.0 ± 0.0

消融实验¶

为精确定位消息格式与接收端融合策略对保真度的贡献，论文在 LBF $9 \times 9$ 与 $11 \times 11$ 场景下对四种变体进行了多级高斯噪声下的消融对比（$Herm_{ne}$: 替换为神经编码；$Herm_{mf}$: 替换为均值融合；$Herm_{is}$: 采用反向相似度融合；$Herm_{ne\_mf}$: 神经编码+均值融合）：

场景地图	模型变体配置	噪声 $\eta_r=0.0$	噪声 $\eta_r=0.5$	噪声 $\eta_r=1.0$	噪声 $\eta_r=2.0$	相对完整模型下降幅度 (无噪 / 强噪)
LBF 9×9	Herm (完整模型)	99.1 ± 0.5	97.6 ± 1.2	94.8 ± 0.9	84.7 ± 1.1	基准 (0.0% / 0.0%)
	Herm_ne (神经编码)	94.8 ± 0.28	89.6 ± 3.9	87.4 ± 3.2	80.5 ± 4.1	-4.3% / -5.0%
	Herm_mf (均值融合)	93.4 ± 0.4	93.6 ± 0.2	87.8 ± 1.3	80.8 ± 1.6	-5.8% / -4.6%
	Herm_is (反向相似度)	92.2 ± 0.7	92.8 ± 1.1	83.6 ± 0.8	76.1 ± 1.2	-7.0% / -10.2%
	Herm_ne_mf (神经+均值)	90.9 ± 2.5	87.9 ± 2.2	83.7 ± 3.8	78.2 ± 4.4	-8.3% / -7.7%
LBF 11×11	Herm (完整模型)	96.1 ± 0.3	94.1 ± 0.2	90.8 ± 1.1	81.8 ± 1.4	基准 (0.0% / 0.0%)
	Herm_ne (神经编码)	74.3 ± 2.4	70.2 ± 2.1	66.8 ± 3.7	60.3 ± 4.2	-22.7% / -26.3%
	Herm_mf (均值融合)	92.9 ± 0.6	93.1 ± 0.9	86.8 ± 0.7	79.8 ± 1.5	-3.3% / -2.4%
	Herm_is (反向相似度)	91.7 ± 0.3	92.3 ± 0.4	82.7 ± 1.0	76.7 ± 1.3	-4.6% / -6.2%
	Herm_ne_mf (神经+均值)	70.9 ± 2.2	67.9 ± 3.3	63.7 ± 2.9	58.2 ± 4.0	-26.2% / -28.9%

关键发现¶

消息格式是性能主导因子，融合模块充当关键承载辅助：消融表明将 HSM 替换为神经网络编码（$Herm_{ne}$）在复杂任务（$11 \times 11$）上造成超过 20% 的性能崩溃；神经编码在 raw 空间直接拟合极易震荡，而 HSM 为动态感知意图提供了极为平滑稳定的拟正交流形映射。
传输保真度量化验证（Spearman 相关性）：为直接验证传输前后语义是否畸变，论文计算了原始观测相似度排序与信道传输后消息相似度排序的 Spearman 秩相关系数 $\rho$。在 $9 \times 9$ 任务 $\eta_r=2.0$ 的极端噪声下，HDC 编码仍维持在 $0.615 \pm 0.050$，而神经编码跌至 $0.440 \pm 0.048$；在 $11 \times 11$ 任务下 HDC 为 $0.592 \pm 0.038$，神经编码则大幅劣化至 $0.385 \pm 0.082$，从数学统计层面证实了 HSM 对全局语义几何关系的卓越保持力。
轻量模型参数与高效计算：得益于编码与融合阶段完全依赖无参超维代数运算，Herm 的可学习参数量仅为 46.88K，显著低于 TGCNET（827.01K）、MAIC（50.79K）和 T2MAC（50.70K）。虽然原生代数循环带来微小执行开销（1.993s），但引入属性绑定键值缓存（Herm + Cache）后，单步时间可压缩至 1.392s，快于除 CoDe 以外的所有基线。
无缝赋能 LLM 混合决策：通过迭代解码将 HSM 转化为自然语言，测试时直接将一名智能体替换为 LLM（DeepSeek-V3.2 / GLM-4-7 / Doubao-Seed-1.6）进行零样本混合决策。在 5z_vs_1ul 场景下，DeepSeek-V3.2 取得了 $74.1 \pm 1.9$ 的高胜率，证明了 HSM 作为可解释语义桥梁的强大泛化价值。

亮点与洞察¶

将超维计算作为多智能体通信协议：跳出了传统在数值与隐空间中做防御对抗（如 GIB、多视图认证、对抗训练）的思路，首次在 MARL 中引入超维代数作为通信底层表示，从数学底层赋予消息抗噪和可逆双重属性。
巧妙的接收端自我绑定（Ego-Binding）：利用环形卷积以零额外参数的方式将全局广播消息投影至本地方位系统，直接生成二阶交叉特征且严密维持语义拓扑距离，是极其优雅的设计。
相似与相异的双分支对偶融合：敏锐地捕捉到了多智能体协同中“补盲需要找差异、协同需要找共识”的认知规律，利用超维内积自然导出的相似度完成针对性路由，避免了黑盒注意力机制的过度平滑。
天然的跨模态 LLM 落地通路：无需针对基础大模型的嵌入空间微调对齐映射层，直接借助代数逆运算解绑出结构化符号，为大模型介入强化学习具身控制提供了轻量安全的落地范式。

局限与展望¶

编码管道目前与策略学习相对解耦：当前的实体-属性超向量由离线正交基与规则映射确定，未融入基于任务损失端到端微调超向量空间的机制。
静态属性划分缺乏自适应选择机制：在极大规模实体场景下，无差别广播所有可见属性仍可能造成通信冗余，未来需引入动态通信拓扑与主动属性过滤。
超维维度在复杂环境下的扩展需求：虽然百维（如 256 维）能胜任 SMAC，但在更宏大的全开放场景中，维持准正交性可能需要进一步探索频域（FHRR）或稀疏结构化表示。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将超维计算引入多智能体通信协议，定义双重语义保真度概念，构思极具原创性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 个经典 MARL 场景，提供随机/对抗双重噪声评估、数学统计量化、消融分析及 LLM 混合落地实验。
写作质量: ⭐⭐⭐⭐⭐ 理论推导扎实严密，概念定义清晰，图表与附录内容翔实自洽。
实用价值: ⭐⭐⭐⭐⭐ 在机器人协同与弱通信边缘端具有极高的低延迟、低算力部署潜力与跨模态解释价值。
综合推荐度: ⭐⭐⭐⭐⭐ 兼具扎实的代数理论与前沿应用视野的顶级多智能体通信研究。