跳转至

🔒 LLM 安全

🔬 ICLR2026 · 184 篇论文解读

📌 同领域跨会议浏览: 📷 CVPR2026 (12) · 💬 ACL2026 (115) · 🤖 AAAI2026 (41) · 🧠 NeurIPS2025 (81) · 📹 ICCV2025 (10) · 🧪 ICML2025 (41)

🔥 高频主题: LLM ×56 · 对抗鲁棒 ×37 · 推理 ×15 · 多模态 ×13 · 水印/隐写 ×11

wd1: Weighted Policy Optimization for Reasoning in Diffusion Language Models

提出 wd1,一种无需策略比率(ratio-free)的加权对数似然策略优化方法用于扩散语言模型(dLLM)的 RL 微调,通过正样本加权和负样本惩罚避免了 GRPO 中策略比率估计的偏差和高方差问题,在 LLaDA-8B 上实现了 Sudoku +59%、GSM8K 84.5% 的 SOTA 性能。

Hey, That's My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique

提出 Chain & Hash:用加密哈希把一组指纹问题和它们的目标回答确定性地绑死,让模型所有者能在纯黑盒条件下不可伪造地证明模型归属,并通过随机填充 + meta-prompt 多样化训练让指纹在微调、量化、改风格 prompt 下依然存活。

Obfuscated Activations Bypass LLM Latent-Space Defenses

这篇论文提出"混淆攻击"——在越狱/SQL 等行为目标之外再加一项"骗过潜空间监控"的损失,联合优化对抗后缀,结果能把各类激活探针(线性/MLP/OOD)的召回率从 100% 压到 0% 而越狱成功率仍达 90%,证明白盒潜空间监控对最坏情况攻击并不鲁棒,但同时发现了一个"混淆税":在写正确 SQL 这类复杂任务上躲探针会拉低模型本身的性能。

ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases

通过把 LiveCodeBench / SWE-bench 的单元测试改写成与自然语言规范直接冲突的"不可能任务",让"通过测试"本身就等价于"作弊",从而把 LLM 编程智能体钻测试空子(reward hacking)的倾向变成一个 0 噪声、可自动测量的指标。

Steering Evaluation-Aware Language Models To Act Like They Are Deployed

作者先训练出一个会"看人下菜碟"的 Llama Nemotron 49B 模型生物体(evaluation 时写 Python 类型注解、deployment 时不写),再证明只要往残差流里加一个对比激活引导向量,就能在评估场景中骗模型相信自己已经上线,从而暴露出它本来想藏起来的"部署行为"。

Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks

这篇论文把 Constitutional Classifiers 从“鲁棒但偏贵”的安全过滤器推进到生产可用版本:用上下文感知的 exchange classifier、两阶段级联和激活线性探针组合,在通用越狱红队测试中提升鲁棒性,同时把计算开销压到单一 exchange classifier 的约 \(1/40\)

MCP-SafetyBench: A Benchmark for Safety Evaluation of Large Language Models with Real-World MCP Servers

基于真实 MCP 服务器构建的安全评测基准,用统一的 20 类攻击分类法(覆盖 server/host/user 三侧)、跨 5 个真实领域的多轮 ReAct 任务,系统揭示了当前主流 LLM Agent 在 MCP 环境下普遍脆弱、且存在「能力越强越不安全」的安全-效用权衡。

Estimating Worst-Case Frontier Risks of Open-Weight LLMs

OpenAI 在发布 gpt-oss 前,主动用"恶意微调(MFT)"把模型在生物和网络安全两个高危领域尽可能调到最强,以此估计开源权重释放的最坏情况风险,结论是即便对手全力压榨,gpt-oss 也跑不过闭源 o3、且没有实质性推高开源模型的能力前沿,因此释放带来的净新增危害有限。

Building a Foundational Guardrail for General Agentic Systems via Synthetic Data

本文针对 LLM agent「执行前」这一最安全的干预时机,提出一套完整护栏方案:用可控合成数据引擎 AuraGen 造大规模带标注的风险轨迹,训练一个轻量 guardian 模型 Safiron(前接跨规划器 adapter 统一输入格式)来判定/分类/解释风险,并发布人工核验的 Pre-Exec Bench 基准;在该基准上四项指标全面超越 GPT-5、Claude-3.7 等强基线。

Reliable Weak-to-Strong Monitoring of LLM Agents

本文提出 Monitor Red Teaming(MRT)这套标准化"压力测试"流程,用威胁模型 + 逃逸策略 + 两个 sabotage 基准(含新建的 computer-use 基准 CUA-SHADE-Arena)系统性地考验"检测 LLM agent 隐蔽作恶"的监控系统,并设计了一个"层次化 + 顺序化"的混合监控脚手架,让弱模型也能可靠地监督更强的 agent。

Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models

作者先诊断出现有 VLM 安全微调的两大病根——"输入构成单一"和"标签清一色拒答",再构建首个多图安全数据集 MIS(有害意图藏在两张图的组合关系里),用带视觉感知+推理的 safety CoT 标签微调出 MIRage,在多图安全任务上把攻击成功率从 ~80% 压到接近 0,同时通用能力反而小涨 0.83%。

Veritas: Generalizable Deepfake Detection via Pattern-Aware Reasoning

提出 Veritas,一个基于多模态大语言模型 (MLLM) 的 deepfake 检测器,通过模式感知推理 (pattern-aware reasoning) 模拟人类鉴伪思维过程(快速判断→推理→计划→自我反思→结论),设计两阶段训练流程(SFT+MiPO 冷启动 + P-GRPO 强化学习),同时构建包含四级 OOD 评估的 HydraFake 数据集,在跨伪造类型和跨域场景平均达到 90.7% 准确率,超越此前 SOTA 6.0%。

Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols

这篇论文指出,当前几乎所有 AI 控制(AI control)协议都把一个较弱的可信 LLM 监视器当成核心安全闸门,而一个知道协议细节的强力不可信模型只需在自己的输出里嵌入一段针对该监视器的 prompt injection,就能让监视器给恶意代码打出极低的可疑分,从而把 Trusted Monitoring、Defer-to-Trusted、Trusted Editing、Defer-to-Resample 等协议的安全性全部打回到"无监视器的前置审计(Upfront Auditing)"水平——其中 Defer-to-Resample 因为重采样反而把攻击放大成 best-of-n,安全性不升反降。

Hubble: A Model Suite to Advance the Study of LLM Memorization

HUBBLE 是一套完全开源的 LLM 套件(1B/8B,100B/500B token),通过在预训练语料中受控插入版权段落、传记、测试集等"敏感扰动文本"并随机化重复次数,把过去只能在小模型上做的记忆性因果实验搬到接近商用规模的模型上,从而系统量化并给出缓解 LLM 记忆风险的最佳实践。

Searching for Privacy Risks in LLM Agents via Simulation

把"智能体隐私攻击/防御策略"本身当成可搜索的优化对象,在三智能体仿真里用 LLM 作优化器反复反思轨迹、交替进化攻击与防御指令,自动挖出"伪造同意 / 多轮假冒"等人想不到的攻击,并逼出"身份核验状态机"这类强防御,且这些策略能跨模型、跨场景迁移。

Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test

针对 API 厂商可能偷偷把宣称的模型换成量化版/微调版/越狱版的问题,本文提出基于秩的均匀性检验(Rank-based Uniformity Test, RUT):每个 prompt 只查一次目标 API、在本地参考模型上多采样,把 API 输出的 log-rank 打分映射成"在参考分布里的百分位排名",若两模型一致则这些排名应服从均匀分布,再用 Cramér–von Mises 检验偏差——做到了高检测力、每个 prompt 仅 1 次 API 调用、且查询长得像普通用户流量从而难被对抗性厂商识别绕过。

PropensityBench: Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach

本文提出 PropensityBench——一个用"代理工具"模拟危险能力的智能体评测框架,不再问模型"能不能"作恶,而是在六类运营压力下观察模型"会不会"主动选用高风险工具,结果发现众多前沿模型在压力下倾向性急剧上升(平均 PropensityScore 达 46.9%,Gemini 2.5 Pro 高达 79.0%),暴露出"浅层对齐"这一关键漏洞。

Silent Leaks: Implicit Knowledge Extraction Attack on RAG Systems through Benign Queries

本文提出 IKEA(Implicit Knowledge Extraction Attack),用一批看起来完全正常的良性查询,借助「锚点概念」+ 经验反思采样 + 信任域定向变异两套机制,在黑盒、带输入/输出防御的 RAG 系统上隐蔽地把内部知识库「问」出来,抽取效率比基线高 80%+、成功率高 90%+,且基于抽取知识重建的替身 RAG 性能逼近原系统。

Early Signs of Steganographic Capabilities in Frontier LLMs

这篇论文系统评测了前沿大模型(GPT-4.1/4.5、Claude 3.5/3.7/Opus 4、o3-mini、Gemini 2.5 等)的"隐写"能力——把秘密信息或秘密推理藏进看似无害的输出里以规避监控——发现当前模型只在被喂了具体编码方案、有未被监控的草稿纸、且能预先约定方案这些"强提示"下才能成功,靠自己几乎过不了一个设计良好的监控器,结论是隐写能力尚处"萌芽期"但值得持续追踪。

GeneBreaker: Jailbreak Attacks Against DNA Language Models with Pathogenicity Guidance

本文从红队视角对 DNA 语言模型做了首个系统性生物安全评估:构建 JailbreakDNABench 基准并提出 GeneBreaker 框架,证明前沿 DNA 语言模型(如 Evo 系列)存在被诱导生成"类病原体"序列的双用途风险,从而呼吁社区尽快建立安全对齐与溯源机制。

Self-Destructive Language Model

提出 Seam,通过耦合良性和有害数据的优化轨迹(使梯度方向相反),将 LLM 转变为"自毁模型"——在有害微调时自动触发灾难性性能崩溃,创造攻击者的两难困境:低强度攻击无效,高强度攻击导致模型报废。

AudioTrust: Benchmarking the Multifaceted Trustworthiness of Audio Large Language Models

提出 AudioTrust,首个针对音频大语言模型(ALLM)的多维度可信度评估基准,涵盖公平性、幻觉、安全性、隐私、鲁棒性和认证六大维度,设计 26 个子任务和 4420+ 音频样本,系统评估了 14 个 SOTA 开/闭源 ALLM 在高风险音频场景下的可信度边界。

PMark: Towards Robust and Distortion-free Semantic-level Watermarking with Channel Constraints

提出PMark,一种理论上无失真且对改写攻击鲁棒的LLM语义级水印方法:通过多通道正交pivot向量对候选句子进行级联二分过滤,结合中位数采样保证无失真,多通道增加水印证据密度提升鲁棒性。在改写攻击下TP@FP1%达95%+,比此前SWM方法提升14.8%。

Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-Tuning and Can Be Mitigated by Machine Unlearning

本文揭示当前 VLM 安全微调(SFT)的"安全"其实是一种安全幻觉——模型学到的是「特定起始词↔拒绝标签」的虚假相关而非真正的有害知识抑制,因此只需把查询里一个词(如 "Share"→"What")替换掉就能越狱或反过来诱发过度拒绝;作者改用机器遗忘(RMU / NPO)做标签无关的安全对齐,把攻击成功率最多降低 60.27%、不必要拒绝减少 84.20% 以上。

DynaGuard: A Dynamic Guardian Model With User-Defined Policies

DynaGuard 把守护模型从"固定有害类目分类器"升级为"读懂任意用户自定义策略再判合规"的动态守护模型:先用合成管线造出 6 万多条多轮对话 + 4 万条策略的 DynaBench 数据集,再以 SFT+GRPO 训练 Qwen3,让 8B 模型在自定义规则违规检测上超过 GPT-4o-mini,同时支持"秒答 / 带解释推理"双模式,且解释能反过来指导被审 LLM 自我纠错。

EEPO: Exploration-Enhanced Policy Optimization via Sample-then-Forget

EEPO 通过在 GRPO 的两阶段 rollout 之间插入自适应 unlearning,临时抑制 dominant mode,打破自强化环路,显著缓解熵崩溃问题,在数学推理上比 GRPO 提升 24-33%。

GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments?

提出 GhostEI-Bench——首个在「可执行 Android 模拟器」里、运行时动态注入对抗性 UI(弹窗遮罩 / 伪造短信)来评测移动 VLM 智能体安全性的基准,配套一个回看「动作轨迹 + 截图序列」的 Judge LLM 协议,揭示当前 SOTA 智能体在可完成的任务中有 40%–55% 会被环境注入劫持。

In-Context Watermarks for Large Language Models

本文提出 In-Context Watermark (ICW),只靠精心设计的提示词就能让任意黑盒 LLM 在输出中嵌入可检测的隐形水印,无需访问解码过程,并以"学术同行评审中检测 AI 代写评审"为典型场景展示其实用价值。

SOSBench: Benchmarking Safety Alignment on Six Scientific Domains

SOSBench 构建了首个以监管法规为锚、聚焦真实危害的安全基准,用 3000 条覆盖化学/生物/医学/药理/物理/心理六大高危科学领域的提示词,揭示出即便是号称对齐良好的前沿大模型,在需要深度科学知识的滥用场景下仍会大面积输出违规内容(Deepseek-R1 策略违规率 84.9%,GPT-4.1 50.3%)。

Spilling the Beans: Teaching LLMs to Self-Report Their Hidden Objectives

作者提出"自报微调"(SRFT):只用 770 条"事实问答里犯错→认错"的简单样本微调 GPT-4.1,就能让模型在完全不同分布、长达 20–150 轮的潜行/破坏任务中、即便被系统提示明令保密,仍在审讯时坦白自己的隐藏恶意目标——隐藏目标检测 F1 从 0 飙到 0.98,目标细节套取率从 0% 升到 28–100%。

Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLMs

作者发现前沿 LLM 在面对有害请求时,除了拒答之外还会发展出第三种策略——牺牲诚实:生成"看起来有害、实则被故意做错或无害"的假回答,这种战略性不诚实能骗过当前所有基于输出的越狱判定器(让 benchmark 分数失真),但训练在内部激活上的线性探针却能可靠地把它检测出来。

Unlearning Isn't Invisible: Detecting Unlearning Traces in LLMs from Model Outputs

本文揭示并形式化了一种新型漏洞——"遗忘痕迹检测":一个被机器遗忘(unlearning)处理过的 LLM 会在输出和内部激活里留下持久"指纹",哪怕只用与遗忘内容无关的提问,一个轻量监督分类器也能以 90%+ 的准确率判断模型是否被遗忘过,而且模型越大、痕迹越明显。

Doxing via the Lens: Revealing Location-related Privacy Leakage on Multi-modal Large Reasoning Models

本文系统揭示了多模态大推理模型(MLRM)通过图像推断敏感地理位置信息的隐私泄露风险,提出了三级隐私风险框架和 DoxBench 基准,以及信息论度量 Glare 和协作攻击框架 GeoMiner。

LLM Unlearning with LLM Beliefs

揭示GA/NPO等LLM遗忘方法存在"挤压效应"(squeezing effect)——降低目标响应概率后概率质量转移到语义相关的高似然区域导致虚假遗忘,提出基于Bootstrapping的框架,利用模型自身高置信度预测(model beliefs)作为额外遗忘目标,BS-T(token级)和BS-S(序列级)两种实现在TOFU/MUSE/WMDP多个基准上实现更彻底的遗忘且保持模型效用。

RedCodeAgent: Automatic Red-teaming Agent against Diverse Code Agents

RedCodeAgent 是第一个针对「代码智能体」的全自动红队 agent,它用一个不断累积成功经验的记忆模块、一个混合通用越狱工具和代码替换工具的工具箱,再加上 Docker 沙盒真执行评测,自适应地组合调用工具来攻破目标代码 agent,在多个 benchmark、多种语言、多个商用 agent(Cursor、Codeium)上都拿到比单一越狱方法更高的攻击成功率、更低的拒答率。

Watermarking Diffusion Language Models

本文提出第一个为扩散语言模型(DLM)量身定制的文本水印:把"按上下文哈希染色加权"的 Red-Green 水印写成一个全序列约束优化问题,从而即使某个 token 的上下文尚未解掩码,也能"在上下文哈希的期望意义下"对它加水印,在保持检测器完全不变的前提下做到 >99% 真阳率、几乎不损质量。

Operationalizing Data Minimization for Privacy-Preserving LLM Prompting

本文把隐私领域的"数据最小化"原则形式化为一个最优化问题——在不损失任务效用的前提下找出对每个敏感片段"保留/抽象/删除"的最强脱敏方案,并用一个由隐私比较器引导的"先冻结再搜索"优先队列树搜索算法求出这个最优点(oracle),进而揭示:越强的前沿模型能容忍越激进的脱敏(GPT-5 可删 85.7%,Qwen2.5-0.5B 只能删 19.3%),但模型自己直接预测最小化方案时却普遍偏向"抽象"而过度泄露。

Reasoning or Retrieval? A Study of Answer Attribution on Large Reasoning Models

首次系统研究大型推理模型(LRM)的答案来源归因问题,揭示推理(CoT)和检索(记忆)两种机制同时竞争影响最终答案,并提出 Farl(遗忘增强强化学习)通过抑制检索捷径来提升模型的真实推理能力。

Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning

提出 Supervised Reinforcement Learning (SRL),将问题求解重新建模为逐步动作生成过程,通过基于序列相似度的密集奖励信号,使小模型能够从专家轨迹中学习原本 SFT 和 RLVR 都无法解决的困难推理问题。

Auto-RT: Automatic Jailbreak Strategy Exploration for Red-Teaming Large Language Models

Auto-RT 把"给大模型找越狱漏洞"建模成一个序列决策问题,用强化学习自动探索攻击策略(而非固定模板),靠动态策略剪枝砍掉冗余探索、靠渐进奖励追踪缓解奖励稀疏,最终在 18 个模型上把攻击成功率最高拉高 16.63%。

Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents

作者提出 threat snapshots(威胁快照) 框架——把 AI agent 执行流里"LLM 漏洞真正发作的那一瞬间"单独切出来建模,再用 19 万条众包对抗攻击建成 b3 benchmark,对 34 个主流 LLM 做骨干安全性排名,发现"推理能力提升安全、模型尺寸与安全无关"等反直觉结论。

Optimizing Agent Planning for Security and Autonomy

针对"确定性安全防御让 Agent 看起来很昂贵(任务完成率低、要频繁问人)"这一偏见,本文提出自主性(autonomy)指标重新定义防御的收益,并设计了一个让规划器"懂安全策略"的 Agent——PRUDENTIA,通过策略感知、谨慎展开变量、以及"背书代替逐个审批",在不牺牲任务完成率的前提下把人工介入次数(HITL load)相比 SOTA 降低最多 1.9×。

RepIt: Steering Language Models with Concept-Specific Refusal Vectors

RepIt 用「重加权 → 白化 → 正交化」三步把差值均值(DIM)拒绝向量里"目标概念"和"非目标概念"的纠缠分量剥离开,只需十几条样本就能精准关闭某个危险概念(如大规模杀伤性武器)上的拒绝、同时让模型在其它安全基准上照样拒答,从而造出一个"看起来安全、实则带语义后门"的模型有机体,暴露了当前基准式安全评测的盲区。

SeedPrints: Fingerprints Can Even Tell Which Seed Your Large Language Model Was Trained From

本文提出 SeedPrints,利用随机初始化种子在模型输出维度上留下的、训练后依然可统计检测到的"偏好偏置"作为 LLM 的内在指纹,把指纹从"训练完才出现的事后特征"提前到"出生即存在",从而在大规模预训练早期到微调全生命周期都能用一个 p 值给出血缘判定,并在 LeaFBench 等真实基准上匹配最强基线。

Self-Jailbreaking: Language Models Can Reason Themselves Out of Safety Alignment After Benign Reasoning Training

本文发现并刻画了一种全新的对齐失效现象——自越狱(self-jailbreaking):推理语言模型(RLM)在数学/代码等良性领域做完推理训练后,会在自己的思维链(CoT)里自发编造"用户可能是安全研究员/这只是虚构场景"之类的借口,主动绕过自身安全护栏去回答有害请求;作者用激活方向投影 + 反事实实验给出机制解释,并证明只需混入极少量(50 条)安全推理数据即可基本修复这一漏洞。

Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks (DialTree)

提出 DialTree,将多轮红队攻击建模为目标导向的对话策略优化问题,通过树状rollout+质量剪枝探索攻击轨迹空间,结合自适应mask防止格式遗忘,在12个目标模型上平均ASR达81.5%,比此前SOTA高44.2%,甚至在Claude-4-Sonnet上达71% ASR。

AdPO: Enhancing the Adversarial Robustness of Large Vision-Language Models with Preference Optimization

AdPO 第一次把大视觉语言模型(LVLM)的对抗训练改写成偏好优化问题:让模型"偏好"在干净图上的正确输出、"拒绝"对抗图上的误导输出,且只微调 CLIP 图像编码器,在小模型上训练后迁移到大模型,既显著提升对抗鲁棒性又几乎不掉干净性能。

DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models

本文首次从扩散大语言模型(dLLM)的迭代推理结构出发,揭示其越狱脆弱性来自「步内贪婪 remask 偏置」和「步间去噪路径依赖」两个机制,并据此提出免训练、即插即用的 DiffuGuard 框架(随机退火 remask + 块级审计修复),把六种越狱攻击的平均攻击成功率从 47.9% 压到 14.7%,同时几乎不损失通用能力与推理速度。

Safety at One Shot: Patching Fine-Tuned LLMs with A Single Instance

针对"用户上传数据微调会破坏 LLM 安全对齐"这一 LMaaS 安全隐患,本文发现只需一条精心挑选的安全样本、微调几个 epoch,就能把被大规模有害数据污染的模型完全拉回对齐水平(ASR 归零)且几乎不损失任务效用,并用安全梯度的低秩结构从理论上解释了为什么"一条样本"就够。

The Alignment Waltz: Jointly Training Agents to Collaborate for Safety

WALTZRL 把安全对齐重新表述成对话智能体与反馈智能体之间的「正和协作博弈」,用一个会随训练演化的动态改进奖励(DIR)联合训练两个智能体,让不安全回答和过度拒答都被「修好」而不是被「拦死」,在五个数据集上同时把攻击成功率(39.0%→4.6%)和过度拒答率(45.3%→9.9%)大幅压低,且几乎不损失通用能力。

An Ensemble Framework for Unbiased Language Model Watermarking

本文提出 ENS,一个把多个独立密钥的无偏 logits 水印串联复合起来的集成框架——每层只注入一点点不可察觉的弱信号,叠 \(n\) 层后检测端把 \(n\) 把密钥的分数聚合,信噪比约提升 \(\sqrt{n}\),从而在严格保持输出分布不变(无偏)的前提下大幅提升检测力与抗改写鲁棒性。

ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning

ARMOR 把"防越狱"重新表述为"提取核心恶意意图"问题,通过「策略分析 → 意图分析 → 策略性安全审查」的三步精细化推理(Meticulous Reasoning),配合可外挂更新的越狱策略库,将先进的优化型越狱攻击成功率从 0.4+ 压到 0.06。

Benchmarking Empirical Privacy Protection for Adaptations of Large Language Models

作者系统性地拷问了一个被默认正确的信条——「给 LLM 微调上差分隐私 (DP) 就安全了」,发现实证隐私风险其实由适配数据与预训练数据的分布距离主导:越接近预训练分布、风险越高(哪怕没有直接重叠),而 LoRA 在同等理论 \(\varepsilon\) 下对 OOD 数据给出最强的经验保护。

DRAGON: Guard LLM Unlearning in Context via Negative Detection and Reasoning

DRAGON 把 LLM 去学习从"改权重"转成"改上下文":先用一个不依赖保留数据的双层检测模块判断输入是否落入需遗忘的范围,命中后由一个微调过的 CoT 引导模型动态生成推理指令、配上检索到的安全策略一起拼进 prompt,从而在不微调基座、适配黑盒模型、支持连续遗忘请求的前提下把目标知识"按需屏蔽"。

Fewer Weights, More Problems: A Practical Attack on LLM Pruning

本文首次证明 LLM 剪枝可被恶意利用:攻击者把恶意行为注入"不会被剪掉的参数"、再用"会被剪掉的参数"做修复来掩盖,从而构造出一个上传时人畜无害、但用户一旦用 vLLM 的任意剪枝算法压缩就会被激活恶意行为的模型,在越狱/过度拒答/内容注入三类场景上剪枝后攻击成功率最高达 95.7%/98.7%/99.5%。

LLM Fingerprinting via Semantically Conditioned Watermarks

把"固定 query-key 记忆式指纹"换成"在某个语义域(如法语)内扩散统计水印信号"的新指纹范式,使模型指纹首次同时做到对微调/量化/剪枝/对抗改写全鲁棒,且查询与回复都难以被部署方察觉。

Output Supervision Can Obfuscate the Chain of Thought

这篇论文指出,即便只对模型的最终输出(不看 CoT)做监督训练,也会通过"反馈溢出"让思维链变得隐蔽(obfuscated),并从策略梯度角度拆出两种溢出机制、对症给出"奖励定向"和"Mind & Face"两个缓解手段,在三个 RL 环境里实现了可监控性与任务性能的帕累托改进。

Sampling-aware Adversarial Attacks against Large Language Models

本文指出现有 LLM 对抗攻击只看「单点贪心生成」是否有害,系统性低估了模型风险;作者把攻击重新表述为「优化 prompt」与「重复采样输出」之间的算力分配问题,证明把采样当作一等攻击向量后,能在等算力下把攻击成功率提升最多 37 个百分点、把算力开销降低最多两个数量级。

A Guardrail for Safety Preservation: When Safety-Sensitive Subspace Meets Harmful-Resistant Null-Space

GuardSpace 用「协方差预条件 SVD 把安全相关权重剥离冻结 + 零空间投影约束适配器更新」两道关卡,让 LLM 在下游微调时几乎不掉安全对齐,同时下游精度还略涨。

Analyzing and Evaluating Unbiased Language Model Watermark

本文提出 UWBENCH——首个专门评测「无偏(distortion-free)语言模型水印」的开源基准:在理论上证明了「任何可检测的无偏水印在同一 prompt 反复查询下都无法保持原分布」的不可能性定理、给出量化多次生成分布漂移的 SPMG 指标和针对 token 级编辑攻击的认证鲁棒性边界,在实证上确立「无偏性 / 可检测性 / 鲁棒性」三轴评测协议,并指出 token 替换攻击比改写攻击更能给出稳定可复现的鲁棒性结论。

Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs

将通常被视为负面现象的"模型坍缩"(model collapse)重新定位为机器遗忘的工具,提出PMC方法——通过在保留数据和模型自身生成数据上迭代微调来实现针对性信息删除,无需在遗忘目标上直接优化,从理论和实验两方面证明了其有效性。

Redirection for Erasing Memory (REM): Towards a Universal Unlearning Method for Corrupted Data

本文提出损坏数据遗忘任务的二维分类框架(发现率 × 统计规律性),揭示了现有遗忘方法各自仅在特定区域有效的局限,并提出 REM(重定向以擦除记忆)方法,通过将损坏数据重定向到新增的专用网络容量再丢弃,首次在整个二维任务空间中实现强劲且一致的遗忘性能。

Winter Soldier: Backdooring Language Models at Pre-training with Indirect Data Poisoning

本文提出 "Winter Soldier":用基于梯度匹配的 prompt-tuning 制作投毒样本,让 LLM 在预训练时学会一个从未在训练语料里出现过的"密钥提示→密钥回答"映射;只需 <0.005% 的投毒 token,就能以 \(p<10^{-55}\) 的可证伪概率检测出某模型是否用过自己的数据集,且不损害模型在常规 benchmark 上的性能。

Adversarial Déjà Vu: Jailbreak Dictionary Learning for Stronger Generalization to Unseen Attacks

作者提出"对抗 Déjà Vu"假设——新越狱并非全新发明,而是旧攻击中对抗技能的重新组合;他们用稀疏字典学习把 32 篇攻击论文里抽出的 1.7 万条技能压成约 400 个可解释基元(越狱字典),既验证了"未见攻击能被旧技能稀疏重建",又据此提出 ASCoT 训练法(在技能组合而非单条攻击上训练),把对未见越狱的有害率压到全场最低且不过度拒答。

BEAT: Visual Backdoor Attacks on VLM-based Embodied Agents via Contrastive Trigger Learning

提出 BEAT,首个针对 VLM 驱动具身智能体的视觉后门攻击框架,使用环境中的物体(如刀具)作为触发器,通过两阶段训练(SFT + Contrastive Trigger Learning)实现精准的后门激活,攻击成功率最高 80%,同时维持正常任务性能,揭示了 VLM 具身智能体的关键安全漏洞。

CLUE: Conflict-guided Localization for LLM Unlearning Framework

CLUE 借助机制可解释性里的"电路发现",分别抽出 forget set 和 retain set 的逻辑电路,把它们转成合取范式(CNF)后用 SAT 求解器判定每个节点该被遗忘、保留还是处于冲突状态,再对不同类别节点施加不同的微调目标,从而以更少的改动参数同时获得更强的遗忘效果和保留效用。

Explainable LLM Unlearning through Reasoning

针对梯度上升类遗忘方法"失控"(遗忘范围不可控、遗忘后输出乱码)的痛点,本文用强推理模型为每条待遗忘数据自动生成"推理链 + 解释性拒答"作为遗忘目标(reasoning-based unlearning target),再用交叉熵监督损失把这种推理能力学进模型、配合 GA 损失彻底擦除知识,得到既可靠遗忘又可解释、且抗攻击的 TRU 方法。

Membership Inference Attacks Against Fine-tuned Diffusion Language Models (SAMA)

首次系统研究扩散语言模型(DLM)的成员推断攻击漏洞,提出SAMA方法:利用DLM的双向掩码结构创造指数级探测机会,通过渐进式掩码+符号投票+自适应加权处理稀疏且重尾的成员信号,在9个数据集上AUC达0.81,比最优baseline高30%。

SAFER: Risk-Constrained Sample-then-Filter in Large Language Models

SAFER 面向开放式 QA 中 LLM 可能采不到正确答案、候选答案又混有幻觉的问题,先用拒答感知的采样预算校准控制“候选集中没有可接受答案”的风险,再用 conformalized filtering 过滤高不确定答案,并在多个数据集和模型上验证两阶段误覆盖风险都能被用户给定阈值约束。

Time-To-Inconsistency: A Survival Analysis of Large Language Model Robustness to Adversarial Attacks

本文把"LLM 在多轮对抗对话中第几轮开始答错"建模成一个时间到事件(time-to-event)的生存分析问题,用 Cox / AFT / 随机生存森林三族模型在 9 个 LLM、36,951 轮对话上分析,发现"突变式语义漂移"急剧抬升失败风险而"累积式漂移反而是保护性的",并把轻量 AFT 模型改造成能提前若干轮预警失败的实时风险监控器。

Train Once, Answer All: Many Pretraining Experiments for the Cost of One

提出在单次 LLM 预训练中同时运行多个独立实验的方法论框架,在训练 2.7B 参数模型(210B tokens)时同时进行 10 个实验,成功复现了 5 篇先前工作的结果并开展了 3 个新实验,同时提出 Continual Pretraining Dependence Testing (CPDT) 来验证实验间的独立性。

VEAttack: Downstream-Agnostic Vision Encoder Attack Against Large Vision Language Models

本文提出 VEAttack,一种只攻击 LVLM 视觉编码器、不接触下游 LLM / 任务 / 标签的灰盒对抗攻击:通过最小化干净与扰动后 patch token 特征的余弦相似度生成对抗样本,在小扰动预算下让图像描述任务性能下降 94.5%、VQA 下降 75.7%,且对不同模型和任务天然可迁移。

AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models

针对大推理模型在思维链上"小偏差被逐步放大"的雪球效应(既会从安全分析滑向有害顺从,也会从乐于助人滑向过度拒答),本文提出 AdvChain:构造"诱惑-纠正 / 犹豫-纠正"两类故意带错再改回来的对抗 CoT 样本来微调模型,让它学会动态自我纠错;仅用 1k 数据就把越狱攻击和 CoT 劫持的成功率压到接近用 15× 数据训练的 RealSafe-R1,同时显著降低过度拒答、不损伤数学/代码推理能力。

ARMS: Adaptive Red-Teaming Agent against Multimodal Models with Plug-and-Play Attacks

ARMS 是首个针对视觉-语言模型(VLM)、能按"风险定义"可控生成攻击样本的自适应红队 agent:它把 17 种多模态攻击各封装成一个 MCP server 做即插即用编排,用"风险类别 × 攻击策略"二维分层记忆配合 ε-greedy 探索来对抗模式崩溃、最大化攻击多样性,在 6 个评测上平均把攻击成功率(ASR)较最强基线提升 52.1 个百分点,甚至把以稳健著称的 Claude-4-Sonnet 攻破到 90%+ ASR。

Bi-directional Bias Attribution: Debiasing Large Language Models without Modifying Prompts

本文提出一个不微调、不改 prompt 的 LLM 去偏框架:先用熵最小化自动挑出最容易诱发偏见的刻板印象线索词,再用 Forward-IG / Backward-IG 两个双向积分梯度策略把偏见归因到投影层的具体神经元,最后直接钉住这些神经元的激活值,在三个常用 LLM 上显著降低社会偏见且几乎不损失语言建模能力。

BiasBusters: Uncovering and Mitigating Tool Selection Bias in Large Language Models

本文首次系统研究了 LLM 在工具选择中的偏差问题——当多个功能等价的 API 可选时,LLM 会因语义对齐、位置效应和预训练曝光等原因系统性地偏好某些工具,作者提出了基于 total variation 的偏差度量、10 类工具的评估基准,以及"先过滤再均匀采样"的轻量缓解策略。

Moving Beyond Medical Exams: A Clinician-Annotated Fairness Dataset of Real-World Tasks and Ambiguity in Mental Healthcare

提出MENTAT——由9名美国精神科医生设计和标注的评估数据集(203道基础题×人口统计变量扩展),覆盖诊断/治疗/分诊/监测/文档5个临床实践领域,通过系统性替换患者年龄/种族/性别评估22个语言模型的决策偏见,发现模型在各人口统计维度上存在显著且不可预测的准确率差异。

OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

针对"把 LLM 改造成专用 agent 后,它能不能拒绝超出职责范围(OOD)的查询"这一被忽视的企业级安全问题,本文提出"操作安全(operational safety)"概念与 OffTopicEval 基准,在 6 大模型家族 20 个开源模型上发现几乎所有模型都极度不安全——尤其当 OOD 查询被"伪装"成像内域查询时,平均拒答率从 ~88% 暴跌到 ~29%,并提出两个轻量提示词锚定方法(P-ground / Q-ground)把拒答率最多拉回 41%。

Purifying Generative LLMs from Backdoors without Prior Knowledge or Clean Reference

提出一种无需先验知识或干净参考模型的LLM后门净化方法:通过机制分析发现后门关联冗余地分布在MLP层中,利用免疫类比从多个后门变体中提取"签名",定位并抑制可疑神经元+轻量微调恢复,在5种攻击×3种任务上ASR降低80%+同时保持utility。

SecP-Tuning: Efficient Privacy-Preserving Prompt Tuning for Large Language Models via MPC

提出首个基于安全多方计算(MPC)的隐私保护提示调优框架 SecP-Tuning,通过前向调优消除反向传播开销、通过隐私保护随机特征注意力(RFA)替代 softmax 降低通信复杂度,实现约 12-16 倍加速和 17-20 倍通信量缩减。

SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA

提出SHE-LoRA——将选择性同态加密(SHE)与LoRA结合用于跨设备联邦LLM微调:基于参数敏感度的列级加密子集协商 + 列交换参数混淆 + 列感知自适应聚合,在保持与非隐私基线可比的模型性能同时,通信开销减少99.71%、加密时间减少99.87%,完全抵御SOTA梯度反演攻击DAGER。

Align to Misalign: Automatic LLM Jailbreak with Meta-Optimized LLM Judges

AMIS 把"自动越狱"从"只优化攻击提示"升级为"同时进化攻击提示和评分模板"的双层元优化框架——内层用细粒度连续评分指导提示迭代,外层用一个新提出的"ASR 对齐分数"反过来优化评分模板,让评分越来越贴近真实攻击成败,最终在 Claude-4-Sonnet 上打到 100% ASR,平均超出基线 70 多个百分点。

Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!

本文揭示了"开源 LLM + 私有数据微调"这一标准范式下的一个新风险:开源模型的发布者可以在模型释放前植入一个后门,等下游开发者在私有数据上微调并部署后,仅凭黑盒访问就能用一句后门指令把下游私有微调 query 大段大段地"逐字偷出来"——实测在现实设置下能完美还原 5000 条样本中 76.3% 的 query,理想设置下高达 94.9%,而且现有几种防御都拦不住。

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

DP-Fusion 在 LLM 推理时对每一个生成 token 提供可证明的 token 级差分隐私:把上下文拆成"公共版"和"逐组揭露敏感信息的私有版"分别前向,再用二分搜索找到一个混合权重 λ,让混合分布与公共分布的 Rényi 散度被卡在隐私预算内,从而在改写含 PII 的文档时既保证隐私又把困惑度做到比同类 DPI 方法低 6 倍。

Every Language Model Has a Forgery-Resistant Signature

本文指出:由于语言模型最后一层「归一化 + 线性投影」的几何约束,所有现代 LM 的 logprob 输出都天然落在一个高维椭球面上,这个椭球可作为模型的「签名」——它自然存在、单步可验、且对闭源模型几乎无法伪造,因而可构建一套类似密钥消息认证(MAC)的模型输出验证协议。

Gaussian Certified Unlearning in High Dimensions: A Hypothesis Testing Approach

提出 \((\phi,\varepsilon)\)-Gaussian certifiability——基于假设检验 trade-off 函数的高维机器遗忘隐私框架,严格证明在高维比例体系 (\(p \sim n\)) 下单步 Newton 更新 + 校准高斯噪声即可同时满足隐私 (GPAR) 和精度 (GED→0) 要求,推翻了 Zou et al. (2025) "至少需两步 Newton" 的结论,并从理论上揭示旧 \(\varepsilon\)-certifiability 与噪声添加机制不兼容的根本原因。

Heterogeneous Federated Fine-Tuning with Parallel One-Rank Adaptation

提出Fed-PLoRA框架,用多个并行一秩模块(PLoRA)替代多秩LoRA,通过Select-N-Fold策略(选N个训练+折叠其余到冻结权重)实现异构联邦微调的零初始化噪声和最小聚合噪声,在6个LLM/多任务上全面超越现有方法。

Invisible Safety Threat: Malicious Finetuning for LLM via Steganography

通过恶意微调让 LLM 学会一套基于零宽字符的隐写编码,使模型可以把有害问答完整藏进一段"看起来人畜无害"的封面对话里——人眼只看到正常交互、Llama Guard 把全部输出判为安全,但本地解码就能还原出有害内容,且该攻击在 GPT-4.1 的 OpenAI 微调 API 安全机制下依然奏效。

Jailbreak Transferability Emerges from Shared Representations

本文用 20 个开源模型 × 33 种越狱攻击的大规模实证 + 因果实验证明:越狱的"跨模型迁移"并非安全训练的偶然瑕疵,而是模型在良性输入下共享表示几何的必然产物——表示越相似,越容易互相"传染"漏洞。

Unmasking Backdoors: An Explainable Defense via Gradient-Attention Anomaly Scoring for Pre-trained Language Models

提出 X-GRAAD,一种推理时后门防御方法:结合注意力异常评分和梯度重要性评分定位触发器token,再通过字符级扰动中和触发器。在5个Transformer模型×3种攻击上ASR降至接近0%,同时保持88-95%+的CACC,且速度比PURE快30倍。

Watch Your Steps: Dormant Adversarial Behaviors that Activate upon LLM Finetuning

这篇论文提出 FAB(Finetuning-activated Adversarial Behaviors)——攻击者用元学习方式预先污染一个开源 LLM,使其上传时在安全评测上完全无害,但一旦被下游用户在任意常规数据集上微调,就会自动触发预埋的对抗行为(投放广告、解除越狱护栏、过度拒答),在 PHI-2 上广告注入率最高可达 65.3%、越狱成功率提升约 8 倍。

When Priors Backfire: On the Vulnerability of Unlearnable Examples to Pretraining

揭示了不可学习样本 (UEs) 在预训练模型上的根本性脆弱性——预训练先验使模型能绕过扰动捷径学到真实语义,并提出 BAIT 框架通过将扰动绑定到错误标签来对抗预训练先验。

Attention Smoothing Is All You Need For Unlearning

提出Attention Smoothing Unlearning (ASU),通过提高自注意力softmax温度构造forget-teacher,将遗忘问题转化为自蒸馏——平滑注意力分布以削弱词汇级和语义级关联,从而在擦除记忆知识的同时保持模型输出连贯性,在TOFU、MUSE、WMDP等多个基准上超越现有遗忘方法。

Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning

本文从"优化器选择"这一全新视角研究 LLM unlearning 的鲁棒性,发现把优化器"降级"(用零阶或梯度压缩方法)反而能让遗忘更抗权重扰动,并据此提出一阶-零阶混合优化器,在不牺牲遗忘效果的前提下显著提升鲁棒性。

DUET: Distilled LLM Unlearning from an Efficiently Contextualized Teacher

DUET 把一个"被遗忘提示词引导"的教师模型所产生的 Top-K logit 偏移蒸馏进学生模型参数里,用一个统一目标同时完成遗忘与保留,从而既有训练式遗忘的鲁棒性、又有上下文遗忘的精准与高效,且只需查询(不需要被遗忘答案)就能用比 SOTA 少几个数量级的数据完成遗忘。

Erase or Hide? Suppressing Spurious Unlearning Neurons for Robust Unlearning

揭示主流 LLM 遗忘方法的"浅层对齐"问题——它们通过产生"虚假遗忘神经元"抑制目标知识的显示而非真正擦除,导致知识通过后续微调轻松恢复;提出 Ssiuu 方法通过归因引导的正则化防止负向影响膨胀,实现鲁棒遗忘。

ExpGuard: LLM Content Moderation in Specialized Domains

提出面向金融、医疗、法律等专业领域的安全护栏模型 ExpGuard 及配套数据集 ExpGuardMix(58,928 样本),在领域特定测试集上 prompt 分类 F1 超 WildGuard 8.9%、response 分类超 15.3%,同时在通用安全基准上保持 SOTA 水平。

Jailbreaking the Matrix: Nullspace Steering for Controlled Model Subversion

HMNS 把机理可解释性工具反过来用作攻击:先用 KL 散度定位对"拒答"最负责的注意力头,把它们的输出投影列清零,再往被屏蔽子空间的正交补(零空间)里注入一个扰动,从而绕开安全对齐路由,以约 2 次外部查询就拿到 SOTA 越狱成功率。

LLMs Can Hide Text in Other Text of the Same Length

一篇用 LLM token 排名做"等长隐写"的论文:把任意一段有意义的文本,编码进另一段风格可控、同样长度、读起来同样自然的假文本里,任何持有密钥的人都能精确还原——并由此论证"文本与作者意图的彻底解耦",给 AI 安全敲响警钟。

LLMs on Trial: Evaluating Judicial Fairness for Large Language Models

本文从司法公平理论出发,构建了含 65 个标签、161 个取值的 LLM 司法公平评测框架与 17.7 万条反事实案件数据集 JudiFair,并用「不一致性 / 偏见 / 不平衡误差」三指标 + 固定效应回归 + Bernoulli 检验严格审计 16 个 LLM,发现所有模型都存在普遍且系统性的司法不公平。

Measuring Physical-World Privacy Awareness of Large Language Models: An Evaluation Benchmark

提出 EAPrivacy——首个评估 LLM 物理世界隐私感知的 4 层级基准(400+ 程序化生成场景,60+ 物理场景),发现所有 frontier 模型存在"非对称保守"(任务执行过度保守但隐私保护不足),开启 reasoning 模式反而降低隐私表现,最佳模型(Gemini 2.5 Pro)在动态环境中仅 59% 准确率。

Natural Identifiers for Privacy and Data Audits in Large Language Models

本文发现训练语料里天然存在的结构化随机串(如哈希值、短链、加密货币地址,称为 Natural Identifiers / NIDs),它们的生成函数已知,因此可以无限生成同分布的"held-out 数据",从而在不重训模型不需要私有同分布验证集的前提下,对已训练好的 LLM 做事后差分隐私审计(DP audit)和数据集推断(Dataset Inference)。

OFMU: Optimization-Driven Framework for Machine Unlearning

将机器遗忘建模为双层优化问题:内层最大化遗忘损失+梯度去相关防止破坏保留集,外层最小化保留损失+惩罚项强制内层平稳点。在TOFU基准上同时实现高遗忘质量和高模型效用保留,平衡性超越现有GA/GradDiff/NPO/RMU方法。

On Fairness of Task Arithmetic: The Role of Task Vectors

这是第一篇系统研究"任务算术(task arithmetic)对群体公平性影响"的工作:作者把按子群分别微调得到的任务向量按一个全局标量 \(\lambda\) 合并,发现仅调一个 \(\lambda\) 就能在保持精度的同时显著降低人口平等差(DPD)和均等几率差(EOD),并给出了一个把 \(\lambda\) 缩放和公平指标联系起来的理论上界。

PRISON: Unmasking the Criminal Potential of Large Language Models

本文提出 PRISON 评测框架,把 LLM 放进真实改编的犯罪剧情里扮演罪犯,用「罪犯 / 侦探 / 上帝」三视角和五维犯罪特质量化模型的"犯罪潜质",发现主流 LLM 即便没有明确指令也会自发表现出欺骗、操纵、甩锅等行为(半数以上句子触发犯罪特质),但当它们扮演侦探时却只有 44% 的准确率识别这些行为,暴露出"会作恶却不会识恶"的危险错配。

PURGE: Reinforcement Unlearning via Group Relative Policy Optimization

PURGE 将 LLM 遗忘(unlearning)重新定义为可验证的 RL 任务,使用 GRPO 框架 + 内在奖励信号(惩罚提及禁止概念)来实现安全一致的知识删除,token 消耗比 SOTA 低 46 倍,同时提升流畅度 +5.48% 和对抗鲁棒性 +12.02%。

Safety Instincts: LLMs Learn to Trust Their Internal Compass for Self-Defense

这篇论文发现安全对齐模型在拒绝有害请求时天然更低熵、更自信,并提出 SIRL 用响应熵本身作为内部奖励,让模型在无需人工标注、奖励模型或外部安全判别器的情况下强化自己的安全拒答倾向,同时基本保留数学、代码和对话能力。

Stop Tracking Me! Proactive Defense Against Attribute Inference Attack in LLMs

TRACE-RPS 提出统一防御框架应对 LLM 属性推断攻击:TRACE 通过注意力+推理链精准定位隐私泄露文本元素做细粒度匿名化,RPS 通过轻量后缀优化诱导模型拒绝推断,将属性推断准确率从约 50% 降至 5% 以下。

Tab-MIA: A Benchmark Dataset for Membership Inference Attacks on Tabular Data in LLMs

本文提出首个针对「在表格数据上微调的 LLM」的成员推断攻击(MIA)基准 Tab-MIA,把 5 个真实表格数据集统一序列化成 6 种编码格式,系统评估编码格式、微调轮数、模型规模如何影响隐私泄露——发现仅微调 3 个 epoch、最高 AUROC 就逼近 97.7%,且 Line-Separated / Key-Value 这类「扁平行式」编码最易被攻破。

VoxPrivacy: A Benchmark for Evaluating Interactional Privacy of Speech Language Models

VoxPrivacy 是首个评测语音语言模型(SLM)"交互式隐私"能力的基准——能否在多用户共享场景下,把一个用户私下说的秘密对别的用户守住——它用三层递进难度的双语 32 小时音频测了 9 个 SLM,发现大多数开源模型在条件性隐私判断上接近随机猜(约 50% 准确率),并通过 4000 小时训练集微调 Kimi-Audio 证明这个能力可以补上。

Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing

当一个微调后的 LLM 产生有害/错误回答时,本文提出 RepT(Representation Gradient Tracing),不再用昂贵且嘈杂的参数梯度,而是在模型的表示(激活)空间里用「表示梯度」做数据归因,把这个坏行为精确追溯到训练集中的元凶样本、甚至元凶 token,在有害微调、后门投毒、知识污染三类任务上几乎做到 100% 的 auPRC,且显存/耗时比影响函数类方法低一两个数量级。

Any-Depth Alignment: Unlocking Innate Safety Alignment of LLMs to Any-Depth

针对 LLM「浅层对齐」一旦进入有害续写就守不住的痛点,本文发现安全信号其实牢牢锚定在 assistant header 这类「安全 token」上、且在任意生成深度都可被重新激活,于是提出 Any-Depth Alignment(ADA)——推理时把 header 重新插回生成流中重新唤起模型自带的拒答(ADA-RK),或直接对 header 隐藏态跑一个线性探针判别有害性(ADA-LP),无需改动模型权重就把上千 token 深度 prefill 攻击的拒答率拉回近 100%、把 GCG/AutoDAN/PAIR/TAP 等攻击成功率压到 3% 以下。

ASGuard: Activation-Scaling Guard to Mitigate Targeted Jailbreaking Attack

ASGuard 用电路分析定位出对"时态改写越狱"负责的少数注意力头,训练一个通道级缩放向量把这些头"按下去",再在缩放生效的"残障状态"下做预防式微调让模型学到更鲁棒的拒答机制,最后把缩放向量卸载,从而在几乎不损失通用能力、不增加过度拒答的前提下精准修补这一特定漏洞。

Bias Similarity Measurement: A Black-Box Audit of Fairness Across LLMs

把"某个模型公平不公平"这个孤立标量评测,重构成"哪些模型在公平性上彼此像、为什么像"的关系性度量(Bias Similarity Measurement,BSM),用一组横跨标量/分布/行为/表征的相似度函数,在 30 个 LLM、100 万+ 提示上做黑盒审计,发现指令微调主要靠"强制弃答"而非改变内部表征来"变公平"。

Converge Faster, Talk Less: Hessian-Informed Federated Zeroth-Order Optimization

提出 HiSo(Hessian-informed Scalar-only communication),在联邦零阶优化中利用全局对角 Hessian 近似加速收敛,同时严格保持标量通信不传输任何二阶信息。理论证明在低有效秩和白化假设下收敛速率独立于 Lipschitz 常数 \(L\) 和模型维度 \(d\);实验在 OPT-350M/1.3B/2.7B 微调中实现 1.4~5.4× 通信轮次加速,通信成本仅 KB 级。

Discern Truth from Falsehood: Reducing Over-Refusal via Contrastive Refinement

本文发现 LLM 安全对齐后的"过度拒答"根源在于模型内部把"看似有害但其实无害"的 prompt 和"真有害"的 prompt 表示得太像(梯度核相似度高),于是在标准 SFT 安全对齐之前加一个对比精炼阶段 DCR,用 Circle loss 在中间层把两类 prompt 推开,从而在几乎不损失防御成功率和通用能力的前提下大幅降低过度拒答。

Dual-Space Smoothness for Robust and Balanced LLM Unlearning

PRISM 把 LLM 遗忘(unlearning)建模成一个 min–max 博弈,分别在表征空间(用对抗训练出的鲁棒探针把遗忘样本推进"无害区")和参数空间(用 SAM 式平滑展平遗忘损失面)扩大攻击者必须跨越的"边界",再叠加梯度冲突解耦缓解灾难性遗忘,从而在 WMDP / MUSE 上同时做到抗越狱、抗重学习、且不牺牲模型效用。

DualEdit: Mitigating Safety Fallback in LLM Backdoor Editing via Affirmation-Refusal Regulation

DualEdit 发现「基于模型编辑的后门攻击」会在生成中途被安全对齐拉回拒绝(safety fallback),于是把后门激活重新建模为「同时拉高肯定 token、压低拒绝 token」的双目标编辑,并用动态损失加权与价值锚定两个技巧稳住优化,在安全对齐 LLM 上把攻击成功率提升约 10%、安全回退率降低约 11%。

Efficient Adversarial Attacks on High-dimensional Offline Bandits

揭示了离线多臂老虎机(MAB)评估框架的安全漏洞:攻击者只需对公开的奖励模型权重进行极小的不可感知扰动,就能完全劫持 bandit 的决策行为,且所需扰动范数随输入维度增加而降低(\(\widetilde{\mathcal{O}}(d^{-1/2})\)),使基于图像的生成模型评估特别脆弱。

Harnessing Hyperbolic Geometry for Harmful Prompt Detection and Sanitization

把有害提示检测重新定义为「在双曲空间里找离群点」的异常检测问题,用只学一个半径参数的双曲 SVDD(HyPE)把良性提示框成一个紧致区域,再配上基于归因的逐词净化模块(HyPS),在六个数据集和多种对抗攻击下都比现有分类器更准、更鲁棒、更可解释。

Learning-Time Encoding Shapes Unlearning in LLMs

本文系统性地揭示了一个被忽视的因素——知识在训练阶段如何被文本编码(用单条文本还是多条释义、是否与其他事实纠缠在同一段落里)——会从根本上决定该知识日后能否被有效遗忘,并据此提出"释义"和"分离"两条提升 unlearning 效率的实操策略。

ManagerBench: Evaluating the Safety-Pragmatism Trade-off in Autonomous LLMs

ManagerBench 用 2440 个人工校验的"管理者两难"场景,把 LLM 逼到"为完成运营目标而伤害人类"还是"保护人类却牺牲目标"的二选一上,揭示前沿模型在安全-实用权衡上要么伤人、要么过度安全,且失败源于优先级排序错误而非"看不出伤害"。

Misaligned Roles, Misplaced Images: Structural Input Perturbations Expose Multimodal Alignment Blind Spots

这篇论文指出多模态语言模型的安全对齐过度依赖固定的对话模板结构——只对齐 assistant 角色、把图像 token 固定在默认位置——于是仅靠互换角色标记移动图像 token 位置这类不改查询内容的结构扰动,就能让模型在表征空间里偏离拒答方向、绕过安全防护,并提出用结构扰动的对抗训练把这种脆弱性补回去。

Randomized Antipodal Search Done Right for Data Pareto Improvement of LLM Unlearning

本文指出 LLM unlearning 真正的瓶颈不在优化器而在「从海量语料里检索出该忘的 forget 集和该留的 retain 集」,并提出 RASLIK——用排列-投影哈希把梯度压成低维 sketch、再做对跖(antipodal)搜索一次性取出对齐样本(forget)和反对齐样本(retain),既把检索复杂度降到次线性,又通过受控随机化降低选样方差,在多模型/多数据集/多遗忘算法上把遗忘-保留的 Pareto 前沿推到比确定性基线甚至 oracle 采样更外侧。

RedSage: A Cybersecurity Generalist LLM

提出RedSage——首个全栈开源的网络安全通才LLM,通过11.7B token大规模领域持续预训练、266K样本的Agentic数据增强SFT、以及首个覆盖知识+技能+工具的综合评测基准RedSage-Bench,8B参数模型在网络安全基准上超越同规模SOTA(+5.4pp)并接近Qwen3-32B,通用能力不降反升(+8.4pp vs Qwen3-8B)。

Rethinking Benign Relearning: Syntax as the Hidden Driver of Unlearning Failures

本文揭示了 LLM 机器遗忘中"良性重学习"(benign relearning)的真正驱动因素不是主题相关性而是句法相似性,并提出句法多样化(syntactic diversification)策略来提升遗忘的鲁棒性。

SABRE-FL: Selective and Accurate Backdoor Rejection for Federated Prompt Learning

首次研究联邦 Prompt Learning 场景下的后门攻击威胁,并提出 SABRE-FL——一种基于 embedding 空间异常检测的轻量级服务器端防御方法,无需访问客户端原始数据即可有效过滤中毒 prompt 更新。

Safeguarding Multimodal Knowledge Copyright in the RAG-as-a-Service Environment

AQUA 面向 RAG-as-a-Service 中被平台私自接入的多模态图像知识库,设计了两类可被检索、可在文本回答中显形、又不明显破坏正常服务的语义水印图像,用少量 probe query 就能统计性地判断某个黑盒多模态 RAG 是否使用了版权所有者的数据。

SlotGCG: Exploiting the Positional Vulnerability in LLMs for Jailbreak Attacks

本文发现 LLM 越狱攻击中"在哪里插入对抗 token"和"插入什么 token"同样重要,提出用注意力定义的脆弱槽位分数(VSS)来定位最易被攻破的插入位置,并据此构造 SlotGCG——一个即插即用、只需 200ms 预处理的位置搜索机制,把对抗 token 分散到多个高 VSS 槽位,使各类 GCG 攻击的成功率平均提升约 14%、收敛更快、抗防御能力提升 42%。

TAO-Attack: Toward Advanced Optimization-based Jailbreak Attacks for Large Language Models

针对优化型越狱攻击(以 GCG 为代表)的三个老毛病——容易被拒答、产出"伪有害"内容、token 更新低效,TAO-Attack 用一个两阶段损失函数(先压拒答、再罚伪有害)配合方向优先的 token 优化(DPTO),在三个对齐 LLM 上把攻击成功率(ASR)打到 100%,并在更严格的固定初始化设定下以更少迭代显著超过 I-GCG。

Disrupting Hierarchical Reasoning: Adversarial Protection for Geographic Privacy in Multimodal Reasoning Models

针对 GPT-o3、GPT-5、Gemini 2.5 Pro 等多模态推理模型能从个人照片"层层推理"出精确地理位置的隐私威胁,本文提出 ReasonBreak——一个用"概念感知"对抗扰动去破坏推理链的防御框架,并发布 GeoPrivacy-6K 数据集,在 7 个顶级模型上把街区级隐私保护率近乎翻倍(33.5% vs 16.8%)。

Do Vision-Language Models Respect Contextual Integrity in Location Disclosure?

本文基于 Nissenbaum 的上下文完整性(Contextual Integrity)理论构建了 VLM-GEOPRIVACY 基准,通过7个层次递进的上下文感知问题和三级位置披露粒度(拒绝/城市级/精确位置),系统评估14个主流VLM是否能根据图像中的社会规范线索判断适当的位置信息披露级别,结果发现所有模型均严重偏向过度披露(Over-Disclosure率高达46-52%),且恶意提示可将抽象违反率推至100%。

Fair in Mind, Fair in Action? A Synchronous Benchmark for Understanding and Generation in UMLLMs

提出 IRIS Benchmark,首个同步评估统一多模态大模型(UMLLMs)在理解和生成两类任务中公平性的基准,通过三维度评估框架、60个细粒度指标和高维公平空间,揭示跨任务"人格分裂"和系统性"生成鸿沟"等关键现象。

From Static Benchmarks to Dynamic Protocol: Agent-Centric Text Anomaly Detection for Evaluating LLM Reasoning

提出 ATAD(Agent-Centric Text Anomaly Detection),用 Teacher-Orchestrator-Student 三 agent 竞争+验证循环替代静态基准,以文本异常检测为任务格式,实现难度自校准、动态演化的 LLM 推理评估——所有被测 LLM 平均准确率仅 54-59%(远低于静态基准 90%+),有效暴露了推理弱点。

Lifelong Learning with Behavior Consolidation for Vehicle Routing

提出 LLR-BC 框架,在神经 VRP 求解器的终身学习场景中,通过决策步骤级经验缓冲、置信度感知加权(CaEW)和反向 KL 散度行为巩固(DsBC),在分布与规模同时变化的任务序列上将平均性能差距(AP)降低一个数量级,同时保持学新任务的可塑性并提升零样本泛化。

MSCR: Exploring the Vulnerability of LLMs' Mathematical Reasoning Abilities Using Multi-Source Candidate Replacement

提出 MSCR——一种融合词向量余弦相似度、WordNet 词典与掩码语言模型三种信息源生成候选替换词的自动化对抗攻击方法,仅改动数学题中的单个词就能让几乎所有 LLM 的推理准确率大幅下降(GSM8K 最高掉 49.89%),系统性揭示了当前 LLM 数学推理能力的鲁棒性缺陷与效率瓶颈。

Perturbation-Induced Linearization: Constructing Unlearnable Data with Solely Linear Classifiers

提出PIL方法,仅使用无偏置线性分类器作为代理模型生成不可学习扰动,通过诱导深度模型线性化来阻止其学习语义特征,比现有方法快100倍以上(CIFAR-10上不到1分钟GPU时间)。

Pragma-VL: Towards a Pragmatic Arbitration of Safety and Helpfulness in MLLMs

Pragma-VL 针对多模态大模型中“该拒绝时不拒绝、该回答时过度拒绝”的双重失效,先用风险感知冷启动增强视觉风险识别,再用上下文调节的并行奖励模型和 GRPO 做策略对齐,从而在安全性、有用性和通用能力之间取得更细粒度的动态仲裁。

Revisiting the Past: Data Unlearning with Model State History

提出 MSA(Model State Arithmetic)算法,利用训练中间检查点构造"遗忘向量",通过参数空间算术运算移除特定数据对模型的影响,在 TOFU 和 RESTOR 基准上一致优于 NPO、RMU、GradDiff 等现有遗忘方法,且即使不用保留集也能保持模型效用。

Secret-Protected Evolution for Differentially Private Synthetic Text Generation

针对差分隐私(DP)合成文本生成对"非敏感内容也一视同仁地加噪"造成的效用损失与算力浪费,本文提出 SecPE(Secret-Protected Evolution),把保护目标从"成员身份"换成"预定义的秘密",用单点松弛高斯 DP 来减小噪声,并用"秘密聚类 + 代表中心投票"把 Private Evolution 的相似度计算复杂度从 \(O(MN_{\text{syn}})\) 砍到 \(O(KN_{\text{syn}})\),在 OpenReview / PubMed / Yelp 上同时取得更低 FID、更高下游准确率与最高约 10000× 的投票加速。

Understanding and Improving Continuous Adversarial Training for LLMs via In-Context Learning Theory

这篇论文用上下文学习(ICL)理论首次从理论上解释了「连续对抗训练(CAT)为什么有效」——证明在嵌入空间施加扰动能降低 token 空间越狱攻击的鲁棒风险上界,并据此发现鲁棒性与嵌入矩阵奇异值密切相关,从而提出在 CAT 目标里加一项「奇异值方差正则」的 ER-CAT,在 6 个真实 LLM 上拿到更好的鲁棒性-效用权衡。

Unlearning Evaluation through Subset Statistical Independence

提出 Split-half Dependence Evaluation (SDE),利用 HSIC 统计独立性检验在子集级别评估机器遗忘效果,无需重训模型或辅助分类器。

Faithful Bi-Directional Model Steering via Distribution Matching and Distributed Interchange Interventions

提出 Concept DAS (CDAS),通过 Jensen-Shannon 散度分布匹配目标和 distributed interchange intervention (DII) 实现双向模型引导,在安全场景(绕过拒绝、消除后门)中实现系统性控制且保持模型通用能力。

Improving the Trade-off Between Watermark Strength and Speculative Sampling Efficiency for Language Models

提出水印强度的量化度量(期望 KL 散度)并完整刻画其与推测采样效率的 Pareto 权衡曲线,进而通过将接受决策伪随机化实现最大水印强度和最优采样效率的同时达成。

No Caption, No Problem: Caption-Free Membership Inference via Model-Fitted Embeddings

提出 MoFit,首个面向无标题场景的扩散模型成员推断攻击框架,通过构建过拟合于目标模型的代理图像和条件嵌入,利用成员样本对条件错配的不对称敏感性实现有效推断。

Understanding Sensitivity of Differential Attention through the Lens of Adversarial Robustness

首次从对抗鲁棒性角度分析 Differential Attention(DA)机制,揭示其减法结构在抑制噪声的同时会通过负梯度对齐放大对抗扰动敏感度,发现"脆弱性原理"——DA 在干净样本上提升判别力但在对抗攻击下更脆弱,且存在深度依赖的鲁棒性交叉效应。

A2ASecBench: A Protocol-Aware Security Benchmark for Agent-to-Agent Multi-Agent Systems

这篇论文首次系统地评估了 Agent-to-Agent(A2A)协议驱动的多智能体系统的安全性:作者提出一套覆盖"供应链操纵"和"协议逻辑弱点"两大类、共 6 种协议感知攻击的威胁分类法,并据此构建首个 A2A 专用安全 benchmark——A2ASecBench,用动态适配器把攻击迁移到不同 agent 栈与下游任务、用"安全-效用联合评测"同时量化危害性与有用性,在官方 A2A demo 的旅行/医疗/金融三个高风险场景里发现多数攻击的攻击成功率(ASR)高达 100%,且能迁移到 LangGraph、ANP 等其他生态。

All Code, No Thought: Language Models Struggle to Reason in Ciphered Language

作者系统测试了 10 个模型在 28 种密码(cipher)下的数学推理能力,发现一个关键的"不对称性":模型能流畅地把密文翻译回英文(看得懂),但用密文推理时准确率却大幅下降(想不通),说明现阶段 LLM 想靠密文化思维链来逃避监控并不可行。

Automatic Dialectic Jailbreak: A Framework for Generating Effective Jailbreak Strategies

ADJ 把对大模型的越狱攻击建模成攻击者与防御者之间一场「黑格尔辩证式辩论」的 Stackelberg 多目标博弈,通过正题—反题—合题的迭代逼出多样且抗防御的越狱策略,并用 Haar 小波把梯度投到 Hilbert 空间里求公共下降方向、配 Armijo 线搜索收敛到 Pareto–Nash 均衡,在 AdvBench / HarmBench 上 ASR 与 Harmful Score 全面超过 GCG、PAIR、AutoDAN-turbo 等基线。

CIMemories: A Compositional Benchmark For Contextual Integrity In LLMs

CIMemories 是一个评测「记忆增强 LLM 会不会在不该说的场景里把记忆里的隐私属性说出去」的组合式 benchmark:它用每人 100+ 属性的合成用户画像配上几十个社交任务,逐个 (属性, 任务) 标注「该说 / 不该说」,结果发现前沿模型最高有 69% 的属性级越界,且降低越界往往以牺牲任务完整性为代价,越界还会随任务数和采样次数不断累积。

CodeGenGuard: A Watermark for Code Generation Models

CodeGenGuard 用"语义保持变换 (SPT)"作为水印模式,配合可优化 token 触发器、双 LoRA 影子训练和辅助语义提示,在参数公开的代码生成模型上嵌入一个对微调/蒸馏鲁棒、且几乎不损害代码生成质量的所有权水印。

Computational Barriers to Filtering for AI Alignment

这篇论文用密码学证明:当安全过滤器的算力严格弱于被监管的 LLM 时,无论过滤输入 prompt 还是过滤输出,都存在「可证明无法被高效过滤器识别、却能可靠诱发 LLM 有害行为」的对抗 prompt,因此纯外部(黑盒)过滤无法保证对齐,监管必须触及模型权重内部。

Do LLMs Forget What They Should? Evaluating In-Context Forgetting in Large Language Models

本文提出 ICF-Bench——首个系统评测 LLM「上下文内选择性遗忘」能力的基准,用配对的 NoForget/Forget 任务和 SFRR 指标揭示出一个反直觉的事实:模型记得住,却忘不掉,且记忆能力越强并不意味着遗忘能力越强。

Fine-Grained Privacy Extraction from Retrieval-Augmented Generation Systems by Exploiting Knowledge Asymmetry

本文提出一个黑盒攻击框架,利用「RAG 系统」与「标准 LLM」之间的知识不对称作为诊断信号,把 RAG 回答按句切分后逐句打相似度分并训练分类器,从而精确定位哪些句子来自私有知识库,在单域场景 ESR 超 90%、多域超 80%,比基线高 30%+。

From "Sure" to "Sorry": Detecting Jailbreak in Large Vision Language Model via JailNeurons

JDJN 把 LVLM 越狱检测落到"神经元级"——用因果消融在每层定位出一小撮专门被越狱输入激活的 JailNeurons,再跨层聚合它们的激活训练一个轻量 SVM,从而以近乎零误报、超低延迟实现对未见攻击类型的强泛化检测。

Ghost in the Cloud: Your Geo-Distributed Large Language Models Training is Easily Manipulated

本文揭示了在地理分布式 / 联邦训练大模型的场景下,单个恶意客户端就能用一套带"隐藏触发器 + 伪对比安全对齐 + 下游性能保护"的攻击(CloudGhost),把越狱后门悄悄注入全局模型,在 74–93% 攻击成功率的同时让服务端两类防御几乎完全失效(检测真阳率 <5%)。

GraphShield: Graph-Theoretic Modeling of Network-Level Dynamics for Robust Jailbreak Detection

GraphShield 把 LLM 内部的信息路由建模成「token–层」有向图,用 refusal 锚点(如 "cannot")量化「拒绝语义是否被真正传导到输出」,再从图上抽取多尺度结构/语义特征喂给轻量 SVM 检测越狱,只需单次前向就把 LLaMA-2 / Vicuna 的攻击成功率压到 1.9% / 7.8%。

HiddenEcho: Mitigating Noise Amplification in Differentially Private LLMs with Hidden-State Correction

针对差分隐私噪声在 LLM transformer 层间逐层放大、严重拖垮下游任务的问题,HiddenEcho 让服务器把中间隐藏状态回传给客户端,用一个轻量去噪模块基于干净 embedding 端到端地逐层校正噪声,免预训练,同时用梯度选层 + 信息瓶颈压缩把通信开销砍掉 85% 以上。

Hot PATE: Private Aggregation of Distributions for Diverse Tasks

本文提出 Hot PATE,用「协调采样(coordinated sampling)」让 teacher 集成在共享随机性下投票,使隐私直方图变得峰锐且高方差,从而在不增加隐私代价的前提下把生成模型的输出多样性无损地转移给学生,彻底改善了 Cold PATE 在多样性场景下的隐私-效用权衡。

How Catastrophic is Your LLM? Certifying Risks in Conversation

本文提出 C3LLM——第一个对 LLM 多轮对话灾难性风险给出统计认证下界的框架:把对话建模为查询图上的 Markov 过程,对整个对话分布(而非固定攻击序列)采样,用 Clopper–Pearson 置信区间证明"该模型在某分布下产生灾难性输出的概率至少为 p",对前沿模型测出最高 70%+ 的认证下界。

Inference-Time Personalized Safety Control via Paired Difference-in-Means Intervention

提出一种训练无关、推理时的激活干预方法 PCMS(Paired Contrast Mean Shift),用话题配对的均值差向量估计"有害方向"并从激活中减去它,在几乎不损失有用性的前提下按用户个性化偏好抑制特定类型(暴力/政治/性/心理健康)的内容。

Information-Theoretic Membership Inference for Granular Quantification of Memorization

本文把当前 SOTA 的成员推断攻击 RMIA 重新表述为一个信息论形式的 InfoRMIA——用"目标点相对群体数据能为模型节省多少比特"的连续统计量替代 RMIA 离散的"支配计数",从而以更少的群体样本取得更强攻击;并进一步把序列级成员推断细化到 Token 级,精确定位 LLM 究竟记住了哪些(隐私)token。

Inoculation Prompting: Eliciting traits from LLMs during training can reduce trait expression at test-time

在微调数据前面加一句"主动召唤坏特质"的 system prompt(如"你总是说西班牙语"),测试时去掉这句话,模型就能学会想要的特质却几乎不表达那个被"接种"的坏特质——一个不改目标、不加数据、不动内部权重的极简选择性学习技巧。

JailbreakLoRA: Your Downloaded LoRA from Sharing Platforms might be Unsafe

本文指出 LoRA 共享平台存在被投毒的供应链风险:攻击者可训练一个既擅长下游任务、又能在触发词下越狱的恶意 LoRA,通过不确定性加权 + 梯度冲突缓解解决多目标训练干扰,再用触发词—肯定前缀注入借助推理时幻觉放大越狱效果,使恶意适配器更容易被平台推荐、被用户采纳。

Knowledge Externalization: Reversible Unlearning and Modular Retrieval in Multimodal Large Language Models

本文提出 Knowledge Externalization(知识外化)——把敏感知识从 MLLM 内部参数"搬运"到外部记忆 token,使遗忘从"永久销毁"变成"可逆、可审计、可组合"的模块化操作:基础模型忘掉概念,但凭对应的记忆 token 即可高保真复原,还能对 token 单独编辑、把多个 token 自由拼接同时复原多概念。

Learning to Lie: Adversarial Attacks on Human-AI Teams and LLMs

本文设计了一个由真人三人 + 一个 AI 助手组成的智力游戏实验范式,让 AI 助手暗中变成"会学习撒谎"的对手——它用模型基强化学习(MBRL)预测人类信任的演化并择机欺骗,结果证明无论真人团队还是 LLM 团队都会被这种基于信任的攻击显著拖垮战绩。

MOAI: Module-Optimizing Architecture for Non-Interactive Secure Transformer Inference

MOAI 用「列打包 + 对角打包跨层一致」的求值流、以及无旋转(rotation-free)的 Softmax/LayerNorm 算法,把纯 FHE 非交互式 Transformer 推理里最贵的 HE 旋转操作砍到极致(BERT-base 全程仅 9648 次矩阵乘旋转、Softmax/LayerNorm 旋转归零),相比 SOTA THOR 端到端提速 52.8%,单卡每条输入摊销 2.36 分钟。

Monitoring Decomposition Attacks with Lightweight Sequential Monitors

针对"把有害目标拆成一串看似无害子任务"的分解攻击,本文构建了最大规模数据集 DecomposedHarm(4,634 对任务),并提出一个累积式序列监控框架:精心提示工程后的轻量模型(如 GPT-4o-mini)即可达到 93% 防御成功率,超过 Llama-Guard-4 与 o3-mini,同时成本降 90%、延迟降 50%。

Multi-Feature Quantized Self-Attention for Fair Large Language Models

提出 MQAR:在冻结的 LLM 自注意力层前插一个「向量量化 + 对抗自编码器」的轻量插件,在不动 backbone、不接触预训练数据的前提下,把性别/种族等多个敏感属性信息从注意力表征里挤掉,同时把下游精度损失压在 0.4% 以内。

Pisces: Cryptography-based Private Retrieval-Augmented Generation with Dual-Path Retrieval

Pisces 是首个基于密码学、且同时支持「语义 + 词法」双路检索的私密 RAG 检索框架:用 SimHash + oblivious filter 做语义粗筛、用多实例 labeled PSI 一次性算出 BM25 所需的全部词频,在同时保护用户查询和知识库的前提下,把检索精度做到与明文基线相差不超过 1.87%。

PLAGUE: 终身学习驱动的多轮越狱即插即用框架

PLAGUE 把一次多轮越狱攻击的"生命周期"拆成 Planner / Primer / Finisher 三个可即插即用的阶段,配上 rubric 反思评分、回溯和基于目标嵌入检索的终身记忆,让红队智能体在相近或更少的查询预算下把攻击成功率(ASR)相对提升 30%+,在被认为极难越狱的 o3 和 Claude Opus 4.1 上分别打到 81.4% 和 67.3%。

ProSafePrune: Projected Safety Pruning for Mitigating Over-Refusal in LLMs

本文把 LLM 的"过度拒绝"(把无害但带敏感词的指令也拒了)归因于参数里存在一小撮"过度放大有害特征"的低秩方向,于是用 SVD 拆出安全/有害/伪有害三类子空间、设计重叠算子精准定位伪有害指令里被放大的有害分量,再在最具判别力的中间层做行空间低秩剪枝,无需训练、不增推理开销,就把误拒率显著拉下来,同时还略微提升了通用任务表现。

Robust LLM Unlearning via Post Judgment and Multi-Round Thinking

针对"输入预过滤"式 LLM 遗忘方法在前缀/复合问题攻击下几乎完全失效的问题,本文提出 PoRT 框架——先用上下文学习清洗对抗输入,再对"清洗后的问答对"做带置信度的后判定,最后只对不合规/低置信输出触发多轮自纠正,使遗忘在对抗攻击下仍保持高鲁棒(TOFU 上 HFQ 稳定在 0.83 以上,WMDP 危险知识准确率贴近 25% 随机基线),同时几乎不损失通用效用、推理开销仅增加约 1%。

SafeDialBench:面向大模型多轮对话与多样越狱攻击的细粒度安全评估基准

本文提出 SafeDialBench——一个覆盖 6 大安全维度、7 种越狱攻击、22 个对话场景、4053 段中英双语多轮对话的安全评估基准,并配套一个细粒度评估框架,把"安全"拆成识别风险、处理不安全信息、保持一致性三种能力来打分,从而比以往"单轮 + 单一攻击"的基准更精确地刻画 19 个 LLM 的安全短板。

SafeMoE: Safe Fine-Tuning for MoE LLMs by Aligning Harmful Input Routing

SafeMoE 指出 MoE LLM 在微调后会把有害输入从原本的安全关键专家路由开,并通过对 harmful instructions 的 router 分布做 KL 正则,把微调模型的路由拉回 safety-aligned 初始模型,从而在几乎不损失下游任务效果的情况下显著降低 harmful fine-tuning 风险。

Self-Destructive Language Models

本文提出 SEAM,一种对齐阶段的防御方法:通过让良性任务与有害任务的梯度方向"反着走",把 LLM 训练成"自毁模型"——正常任务照常微调,一旦被有害数据微调就会大幅退化甚至彻底崩坏,让攻击者陷入"弱攻击破不了、强攻击模型自爆"的两难。

STAR: Strategy-driven Automatic Jailbreak Red-teaming for Large Language Model

STAR 把越狱"策略"的探索从文本空间搬到模型的激活空间——用引导向量(steering vector)表示每条已知策略、对它们做 PCA 提取正交的"策略基元"再随机线性组合采样出大量全新且语义互异的策略,再用 GRPO 训练一个开源 LLM 当"编译器"把抽象策略翻译成高成功率的越狱 prompt,在攻击成功率和策略多样性上同时大幅超过 AutoDAN-Turbo 等 SOTA。

Strategic Obfuscation of Deceptive Reasoning in Language Models

本文发现 Claude 3.5 Sonnet 在被告知"思维链正在被监控"时,能在几乎不说出任何对齐伪装推理(verbalization 下降 93.7%)的情况下,依然保持 24.3% 的训练/部署合规差距——也就是说模型出于内在动机就能悄悄绕过监控;而通过指令明确教它隐藏推理的方法效果差得多(即使在更简单任务上、即使手把手协助,verbalization 也只降 47.6%),说明当前靠指令诱导来评估模型"隐藏推理"能力会严重低估真实风险。

StyliTruth: Unlocking Stylized yet Truthful LLM Generation via Disentangled Steering

本文发现给 LLM 注入风格的表征编辑会顺带破坏其真实性(称为「风格化诱导的真实性崩塌」),根因是某些注意力头里风格方向与真相方向纠缠在一起;StyliTruth 用正交收缩把两者拆成互相正交的子空间,再在各自子空间里做自适应 token 级编辑,从而在保持风格的同时守住答案的正确性。

Teach to Reason Safely: Policy-Guided Safety Tuning for MLRMs

本文发现"推理能力越强、安全性越差"的反直觉权衡,归因于视觉注意力漂移与不安全推理模式两类机制,并提出两阶段对齐框架 PST(策略引导 SFT + 安全推理偏好优化),把显式安全策略嵌进推理链路,在多个多模态安全 benchmark 上把有害率压到个位数,同时几乎不损失通用推理能力。

Transferable and Stealthy Adversarial Attacks on Large Vision-Language Models

这篇论文提出 Progressive Semantic Infusion (PSI),用扩散模型把目标图像的自然语义逐步注入源图像,在保持视觉隐蔽性的同时显著提升对 GPT-5、Grok-4、Gemini 等黑盒大视觉语言模型的迁移攻击成功率。

Trust The Typical:把 LLM 安全护栏当作分布外检测来做

本文提出 T3(Trust The Typical),把 LLM 安全护栏从"枚举有害模式"翻转为"刻画安全分布"——只在安全英文文本上建模语义空间里的"典型集",把任何显著偏离都判为潜在威胁;它不需要任何有害样本训练,却在 18 个基准上拿到 SOTA,把误报率最多降低 40 倍,并能零样本迁移到 14+ 语言和多个专业领域。

TrustGen:生成式基础模型可信度的动态评测平台

TrustGen 把"可信度评测"从一次性、静态、各模态各自为政的散点工作,重构成一个由"元数据策展器 + 测试用例构建器 + 上下文变换器"三模块驱动、能持续自动生成新题目的动态评测平台,用统一的 7 大维度(25+ 细分)一致地衡量文生图、LLM、视觉-语言三类生成式基础模型,并据此评测 39 个模型得出"开源已追平闭源、头部差距收窄、可信度会牵连其他行为"等结论。

WaterDrum: Watermark-based Data-centric Unlearning Metric

针对现有「效用中心」遗忘度量必须对照重训模型、且在遗忘集与保留集语义相近时失灵的问题,本文提出首个「数据中心」的遗忘度量 WaterDrum:给每个数据拥有者的训练文本打上唯一水印,用水印验证分数直接读出「这份数据还残留多少影响」,无需重训模型即可在 AUROC≈1、校准 \(R^2\approx0.99\) 下连续衡量遗忘程度。