跳转至

A Comprehensive Survey on Linguistic Steganography in the LLM Era

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM Agent
关键词: 语言隐写术, 语言隐写分析, 大语言模型, 可证明安全, 分布保持采样

一句话总结

本文系统梳理了LLM时代的语言隐写术全景,系统归纳了148种隐写方案、60种隐写分析对抗防御、23种评测指标与9大开放挑战,首次厘清了从载体修改向提示词驱动生成、从启发式向可证明安全等五大关键范式转移。

研究背景与动机

信息隐藏技术旨在通过无嫌疑载体隐蔽传递机密,与仅混淆明文内容却暴露出高熵密文通信特征的传统密码学相比,语言隐写术在受限监视环境下具备规避通信阻断的不可替代优势。过去基于格式微调(如空白符、隐藏字体、特定编码)与词汇/句法替换(如近义词替换、掩码语言模型填充、句法改写)的修改型隐写术长期占据主导,但这类方法严重受限于原始载体文本本身的冗余空间,嵌入容量极其匮乏,且不可避免地引入词频失真或上下文搭配异常,极易被统计隐写分析算法截获。

生成式大语言模型(LLM)的突飞猛进为语言隐写带来了底层范式的剧变,自回归概率采样能够充分利用全词表的概率分布冗余,生成兼具高流畅度与主题一致性的高质量伪装载体(stegotext)。然而,学术界在LLM时代的技术进展处于高度分散状态:虽然生成式隐写从启发式分桶编码迈向了严谨的信息论可证明安全(KL散度趋近于零),但攻防演进呈现严重不对称性——绝大多数隐写分析技术仍停留在判别小规模判别模型(BERT、CNN、RNN)或早期小模型生成的简单异常上,难以抵御黑盒商业LLM与自适应提示词生成的复杂隐蔽信道。

更严峻的是,现有文献缺乏覆盖LLM工程现实与理论边界的统一分类体系与基准。传统方法追求单一的安全抗检指标,而在实际生产环境中,计算非确定性、分词不一致性(Tokenization Inconsistency)、截断终止失真以及API黑盒限制,正在成为阻碍系统部署的致命瓶颈。核心 idea:本文建立四维分类谱系(148种隐写方法、60种隐写分析对抗、23项指标、9大挑战),横向提炼出LLM时代的五大范式转移,填补了生成式隐写在可证明安全、黑盒适应性与工程鲁棒性交叉维度的系统性综述空白。

方法详解

整体框架

本文对现代语言隐写系统进行了全景化解构,建立了一套涵盖方法体系、对抗防御、评测体系与范式转移的完整分类学。在经典的Simmons囚徒博弈模型中,Alice与Bob利用LLM自回归采样机制将秘密比特映射为无嫌疑自然语言序列,而监视者Eve则通过语义与统计特征执行二分类判别。综述从现代生成式隐写的三大性能目标(安全性、效率、鲁棒性)出发,深入剖析了基于分布复制与极小熵耦合的可证明安全机制,解构了针对分词歧义与主动篡改的鲁棒通信协议,并全面审视了LLM作为防御者时的少样本与微调隐写分析能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["语言隐写与囚徒模型<br/>Alice/Bob秘密通信与Eve监视"] --> B["生成式隐写核心范式<br/>从修改载体转向提示词驱动生成"]
    B --> C["可证明安全机制<br/>信息论KL散度零失真采样"]
    C --> D["工程鲁棒与分词对齐<br/>消除Detokenization分词歧义"]
    D --> E["LLM隐写分析与对抗防御<br/>生成/判别双模式与认知异常检测"]
    E --> F["评测基准与多目标联合优化<br/>熵利用率/BPT与鲁棒性联合评估"]

关键设计

1. 生成式隐写核心范式:摆脱载体修改预算瓶颈的提示词驱动生成 传统基于修改的隐写方法(如格式微调、同义词替换或掩码填充)必须依赖预先存在的Covertext,其嵌入容量被严格限制在载体文本的局部冗余槽位中,嵌入率极低且易破坏局部搭配。现代生成式隐写彻底摆脱了载体依赖,Alice仅需输入共享的上下文提示词(Prompt),利用自回归语言模型在离散词表上的后Softmax条件概率分布 \(p(t) = \text{softmax}(l(t))\),通过条件编码算法(如Huffman编码、算术编码或分桶映射)自适应选择Token。该范式使得整个词表的熵空间均可转化为秘密载荷,显著提升了嵌入容量(Bits Per Token, BPT)与文本生成的自然连贯度。

2. 可证明安全机制:从启发式剪枝迈向KL散度严格为零的信息论保真 早期自回归隐写算法(如基于固定截断或贪心分桶的启发式策略)虽然能生成可读文本,但会扭曲模型的真实概率分布,在统计上产生显著的高阶KL散度偏差,从而被统计隐写分析器轻松识破。为了实现密码学与信息论意义上的不可区分性,综述系统归纳了从非零KL到 \(D_{KL}(P_c \parallel P_s) = 0\) 的演进路径:代表性工作从算术编码(AC)自适应调优,发展到自适应动态分组(ADG)、极小熵耦合(iMEC)、分布复制(Discop)、稀疏采样(SparSamp)及旋转范围编码(RRC)。以Discop为代表的方法通过构建满足原始概率约束的多个“分布副本”,严格保证采样边际分布与真实LLM生成分布完全一致,使得任何概率多项式时间(PPT)敌手在统计上均无法超越随机猜测。

3. 工程鲁棒与分词对齐:消除Detokenization重分词歧义与环境失真 在真实的文本传输链路中,Alice生成的Token序列在经过Detokenization转为自然字符串并由Bob重新分词(Retokenization)时,Subword分词器由于前缀冲突或贪心合并规则,极常引发分词歧义(Segmentation Ambiguity),导致Bob端Token索引与概率分布序列完全错位,解码错误率(MER)急剧上升。为此,综述剖析了确定性最大权独立集剪枝(MWIS)、全案例验证、同步歧义池采样(SyncPool)及自同步重分词(ReTokSync)等解决方案;其中SyncPool通过密码学伪随机数发生器(CSPRNG)在保持候选集分布不变的前提下同步消歧,有效克服了工程实现中分词不一致的顽疾。

4. LLM隐写分析与对抗防御:构建生成/判别双模式与认知异常检测 针对隐写文本的检测防御,传统隐写分析严重依赖在固定领域语料(IMDB、Twitter、News)上预训练的CNN、RNN或BERT浅层分类器,在面对未知生成模型时泛化能力骤降。综述梳理了LLM作为防御核心的新型隐写分析范式:一方面,通过LoRA微调大语言模型将隐写检测建模为生成-分类混合任务(如Tang et al.)或基于少样本In-Context Learning执行黑盒零样本审计(如Bai et al.);另一方面,结合常识知识图谱(STLC-KG)捕捉隐写生成导致的深层逻辑违和与弱认知异常信号,突破了单纯字面统计特征的局限。

评估基准与实验设计

综述系统梳理了贯穿95篇现代代表性文献的23项评测指标,将其规范划分为三大维度:安全性(KL散度、PPL困惑度、BLEU/ROUGE/METEOR、多样性Distinct-n、隐写分析分类准确率与F1、LLM-as-a-judge主观打分)、效率性(每Token嵌入比特数 BPT、熵利用率 Entropy Utilization、嵌入速率 ER、每比特/每消息编解码耗时)、以及鲁棒性(消息错误率 MER、比特错误率 BER)。实验基准表明,评测范式已从单纯的“困惑度与检测准确率”转变为对“熵利用率与抗失真鲁棒性”的多目标联合评估。

实验关键数据

主实验:现代代表性隐写与隐写分析体系定量对比

综述系统对比了历年代表性综述的研究广度与深度,并梳理了现代可证明安全隐写算法的算法复杂度与信息论保真度特性:

综述 / 算法体系 年份 涵盖隐写方法数 (L1/L2/L3) 隐写分析方法数 (L1/L2) 评测指标数 (L1/L2) 分布保持特性 (\(D_{KL}=0\)) 单Token时间复杂度 运行模式
Majeed et al. 2021 50 (3/-/-) - - 否 - 修改型为主
Xiang et al. 2022 37 (4/11/-) - 11 (4/-) 否 - 混合型
Badawy et al. 2023 18 (-/-/-) - 12 (3/-) 否 - 深度学习生成
Wu et al. 2024 28 (2/4/8) 29 (2/7) 8 (-/-) 否 - 统计/神经
本文综述 (Ours) 2026 148 (2/6/17) 60 (2/8) 23 (3/6) 涵盖多类SOTA 细粒度分析 全景分类
ADG (Zhang et al.) 2021 基线算法 - - 否 (\(D_{KL} > 0\)) \(\mathcal{O}(N \log N)\) 流模式 (Stream)
Meteor (Kaptchuk et al.) 2021 基线算法 - - 否 (\(D_{KL} > 0\)) \(\mathcal{O}(N)\) 或 \(\mathcal{O}(2^{\lceil H(P)\rceil}N)\) 流模式 (Stream)
iMEC (de Witt et al.) 2023 理论突破 - - 是 (\(D_{KL} = 0\)) \(\mathcal{O}(2^B N)\) 块模式 (Block)
Discop (Ding et al.) 2023 实用突破 - - 是 (\(D_{KL} = 0\)) \(\mathcal{O}(N)\) / \(\mathcal{O}(N \log N)\) 流模式 (Stream)
SparSamp (Wang et al.) 2025 高效方案 - - 是 (\(D_{KL} = 0\)) \(\mathcal{O}(2^B)\) 块模式 (Block)
RRC (Yan & Murawaki) 2026 SOTA - - 是 (\(D_{KL} = 0\)) \(\mathcal{O}(N)\) / \(\mathcal{O}(N \log N)\) 块模式 (Block)

消融与技术特性分析:分词歧义消除方案与LLM隐写分析特性

针对阻碍隐写实际落地的分词不一致难题,以及前沿LLM在隐写分析防御侧的技术特征,综述归纳了底层权衡数据:

分词消除方案 / 分析模型 提出年份 严格100%解码正确 保持原始分布 (\(D_{KL}=0\)) 单Token算法复杂度 核心技术机制
Basic (Nozaki & Murawaki) 2022 是 否 \(\mathcal{O}(N^2)\) 前缀歧义词元直接剪枝
MWIS (Yan et al.) 2023 是 否 \(\mathcal{O}(N^2)\) 候选图最大权独立集搜索
All-case verification (Yan et al.) 2024 否 是 \(\mathcal{O}(N \times 2^N)\) 全可能路径后验校验
SyncPool (Qi et al.) 2025 是 是 \(\mathcal{O}(N \log N)\) 共享CSPRNG歧义池同步采样
Stepwise verification (Yan & Murawaki) 2025 是 否 \(\mathcal{O}(N)\) 单步贪心验证与剪枝
ReTokSync (Wang et al.) 2026 否 是 \(\mathcal{O}(L)\) 触发式自同步重分词重置
Yang et al. (隐写分析) 2024 - (LoRA微调) - - 拟人化感知、长度/困惑度/对数概率统计特征
Bai et al. (隐写分析) 2024 - (免微调少样本) - - 黑盒提示词工程、32-shot In-Context Learning
Tang et al. (隐写分析) 2025 - (LoRA微调) - - 针对高隐蔽文本的生成-分类混合判别模式
Wang et al. (STLC-KG) 2025 - (LoRA微调) - - 大语言模型融合常识知识图谱捕获认知矛盾

关键发现

  • 可证明安全与复杂度的帕累托改进:早期实现严格 \(D_{KL}=0\) 的耦合方法(如iMEC)存在关于块大小 \(B\) 的指数级计算复杂度 \(\mathcal{O}(2^B N)\),而以Discop和RRC为代表的新一代方案将复杂度压缩至 \(\mathcal{O}(N \log N)\) 甚至线性级,并在实证中达到了接近100%的理论熵利用率。
  • 攻防演进的严重非对称性:统计显示,虽然超过70%的最新隐写生成方法能够无缝迁移至百亿/千亿参数LLM,但针对此类高质量生成文本的隐写分析研究严重滞后,现有60种分析方案中绝大部分(超80%)仍基于BERT或CNN架构,在真实黑盒API与多样化提示词场景下面临严重的泛化失效。
  • 鲁棒消歧的“不可能三角”:在消除分词歧义的研究中,同时实现严格100%正确提取、保持原始分布零失真(\(D_{KL}=0\))以及低计算复杂度,仍处于相互制约的张力之中。例如SyncPool在扩展至全词表时理论容量会骤降,工程落地仍需折衷。

亮点与洞察

  • 五大范式转移的精辟提炼:敏锐捕捉到从“载体修改”向“提示词生成”、从“经验隐蔽”向“可证明安全”、从“白盒对称”向“API黑盒非对称”、从“单一安全”向“多目标联合优化”、以及从“纯文本质量”向“LLM工程落地现实”的系统性跃变。
  • 直击大模型工程化痛点:不局限于纯算法推导,深度揭示了云端托管LLM计算非确定性(Atil et al., 2025)、自回归生成截断、分词重组歧义等真实部署故障,为学术界提供了极具实操价值的技术警示。
  • 前瞻性揭示开源协议与伦理困境:敏锐指出OpenRAIL和Llama等专有开源许可证中“禁止将模型输出伪装为人类生成”的行为限制条款,与隐写术本质机制构成了法律与伦理层面的潜在正面冲突。

局限与展望

  • 作者承认的局限:综述范围严格限定于纯文本(语言)隐写术,未涵盖多模态交互或图文跨模态隐写;同时,所有实验数据与指标对比均基于原始文献报告,未在统一算力与分词基准下对全部148种方法进行端到端重测。
  • 深层开放挑战:(1) 提示词动态同步困境:当前方法多假设Alice与Bob共享静态Prompt,动态提示词协商本身容易沦为新的侧信道漏洞;(2) 评测基准碎片化:大量论文依然在过时的IMDB、Twitter数据集上评估LLM隐写,亟需构建面向多轮对话与智能体协作的新一代基准。

相关工作与启发

  • vs Majeed et al. (2021) / Xiang et al. (2022b):早期综述主要盘点传统修改型隐写与初步的RNN/LSTM文本生成,缺乏对LLM Transformer架构、可证明安全机制及API黑盒场景的涵盖。
  • vs Wu et al. (2024a):Wu等人初步总结了深度神经隐写,但仅覆盖28种隐写方案与基础分类;本文大幅扩充至148种隐写、60种隐写分析,并首创性地建立了三层细粒度分类树与工程化鲁棒性分析框架。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统建立LLM时代语言隐写的全景分类学与五大范式转移框架。
  • 实验充分度: ⭐⭐⭐⭐⭐ 统计覆盖148种隐写算法、60种隐写分析技术与23项评价指标,数据详实严谨。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑脉络清晰,图表规范且兼顾理论深度与工程现实。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型安全、隐蔽通信及内容防伪对抗研究提供了权威的发展蓝图与方法索引。