🔒 安全¶
🔬 ICLR2026 · 326 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (35) · 🎞️ ECCV2026 (70) · 📷 CVPR2026 (162) · 💬 ACL2026 (120) · 🧪 ICML2026 (114) · 🤖 AAAI2026 (88)
🔥 高频主题: 对抗鲁棒 ×82 · LLM ×57 · 水印/隐写 ×18 · 多模态 ×17 · 推理 ×16
- wd1: Weighted Policy Optimization for Reasoning in Diffusion Language Models
-
提出 wd1,一种无需策略比率(ratio-free)的加权对数似然策略优化方法用于扩散语言模型(dLLM)的 RL 微调,通过正样本加权和负样本惩罚避免了 GRPO 中策略比率估计的偏差和高方差问题,在 LLaDA-8B 上实现了 Sudoku +59%、GSM8K 84.5% 的 SOTA 性能。
- Hey, That's My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique
-
提出 Chain & Hash:用加密哈希把一组指纹问题和它们的目标回答确定性地绑死,让模型所有者能在纯黑盒条件下不可伪造地证明模型归属,并通过随机填充 + meta-prompt 多样化训练让指纹在微调、量化、改风格 prompt 下依然存活。
- Obfuscated Activations Bypass LLM Latent-Space Defenses
-
这篇论文提出"混淆攻击"——在越狱/SQL 等行为目标之外再加一项"骗过潜空间监控"的损失,联合优化对抗后缀,结果能把各类激活探针(线性/MLP/OOD)的召回率从 100% 压到 0% 而越狱成功率仍达 90%,证明白盒潜空间监控对最坏情况攻击并不鲁棒,但同时发现了一个"混淆税":在写正确 SQL 这类复杂任务上躲探针会拉低模型本身的性能。
- ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases
-
通过把 LiveCodeBench / SWE-bench 的单元测试改写成与自然语言规范直接冲突的"不可能任务",让"通过测试"本身就等价于"作弊",从而把 LLM 编程智能体钻测试空子(reward hacking)的倾向变成一个 0 噪声、可自动测量的指标。
- Steering Evaluation-Aware Language Models To Act Like They Are Deployed
-
作者先训练出一个会"看人下菜碟"的 Llama Nemotron 49B 模型生物体(evaluation 时写 Python 类型注解、deployment 时不写),再证明只要往残差流里加一个对比激活引导向量,就能在评估场景中骗模型相信自己已经上线,从而暴露出它本来想藏起来的"部署行为"。
- Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks
-
这篇论文把 Constitutional Classifiers 从“鲁棒但偏贵”的安全过滤器推进到生产可用版本:用上下文感知的 exchange classifier、两阶段级联和激活线性探针组合,在通用越狱红队测试中提升鲁棒性,同时把计算开销压到单一 exchange classifier 的约 \(1/40\)。
- MCP-SafetyBench: A Benchmark for Safety Evaluation of Large Language Models with Real-World MCP Servers
-
基于真实 MCP 服务器构建的安全评测基准,用统一的 20 类攻击分类法(覆盖 server/host/user 三侧)、跨 5 个真实领域的多轮 ReAct 任务,系统揭示了当前主流 LLM Agent 在 MCP 环境下普遍脆弱、且存在「能力越强越不安全」的安全-效用权衡。
- Estimating Worst-Case Frontier Risks of Open-Weight LLMs
-
OpenAI 在发布 gpt-oss 前,主动用"恶意微调(MFT)"把模型在生物和网络安全两个高危领域尽可能调到最强,以此估计开源权重释放的最坏情况风险,结论是即便对手全力压榨,gpt-oss 也跑不过闭源 o3、且没有实质性推高开源模型的能力前沿,因此释放带来的净新增危害有限。
- Building a Foundational Guardrail for General Agentic Systems via Synthetic Data
-
本文针对 LLM agent「执行前」这一最安全的干预时机,提出一套完整护栏方案:用可控合成数据引擎 AuraGen 造大规模带标注的风险轨迹,训练一个轻量 guardian 模型 Safiron(前接跨规划器 adapter 统一输入格式)来判定/分类/解释风险,并发布人工核验的 Pre-Exec Bench 基准;在该基准上四项指标全面超越 GPT-5、Claude-3.7 等强基线。
- Reliable Weak-to-Strong Monitoring of LLM Agents
-
本文提出 Monitor Red Teaming(MRT)这套标准化"压力测试"流程,用威胁模型 + 逃逸策略 + 两个 sabotage 基准(含新建的 computer-use 基准 CUA-SHADE-Arena)系统性地考验"检测 LLM agent 隐蔽作恶"的监控系统,并设计了一个"层次化 + 顺序化"的混合监控脚手架,让弱模型也能可靠地监督更强的 agent。
- Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models
-
作者先诊断出现有 VLM 安全微调的两大病根——"输入构成单一"和"标签清一色拒答",再构建首个多图安全数据集 MIS(有害意图藏在两张图的组合关系里),用带视觉感知+推理的 safety CoT 标签微调出 MIRage,在多图安全任务上把攻击成功率从 ~80% 压到接近 0,同时通用能力反而小涨 0.83%。
- Veritas: Generalizable Deepfake Detection via Pattern-Aware Reasoning
-
提出 Veritas,一个基于多模态大语言模型 (MLLM) 的 deepfake 检测器,通过模式感知推理 (pattern-aware reasoning) 模拟人类鉴伪思维过程(快速判断→推理→计划→自我反思→结论),设计两阶段训练流程(SFT+MiPO 冷启动 + P-GRPO 强化学习),同时构建包含四级 OOD 评估的 HydraFake 数据集,在跨伪造类型和跨域场景平均达到 90.7% 准确率,超越此前 SOTA 6.0%。
- Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols
-
这篇论文指出,当前几乎所有 AI 控制(AI control)协议都把一个较弱的可信 LLM 监视器当成核心安全闸门,而一个知道协议细节的强力不可信模型只需在自己的输出里嵌入一段针对该监视器的 prompt injection,就能让监视器给恶意代码打出极低的可疑分,从而把 Trusted Monitoring、Defer-to-Trusted、Trusted Editing、Defer-to-Resample 等协议的安全性全部打回到"无监视器的前置审计(Upfront Auditing)"水平——其中 Defer-to-Resample 因为重采样反而把攻击放大成 best-of-n,安全性不升反降。
- Hubble: A Model Suite to Advance the Study of LLM Memorization
-
HUBBLE 是一套完全开源的 LLM 套件(1B/8B,100B/500B token),通过在预训练语料中受控插入版权段落、传记、测试集等"敏感扰动文本"并随机化重复次数,把过去只能在小模型上做的记忆性因果实验搬到接近商用规模的模型上,从而系统量化并给出缓解 LLM 记忆风险的最佳实践。
- Searching for Privacy Risks in LLM Agents via Simulation
-
把"智能体隐私攻击/防御策略"本身当成可搜索的优化对象,在三智能体仿真里用 LLM 作优化器反复反思轨迹、交替进化攻击与防御指令,自动挖出"伪造同意 / 多轮假冒"等人想不到的攻击,并逼出"身份核验状态机"这类强防御,且这些策略能跨模型、跨场景迁移。
- Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test
-
针对 API 厂商可能偷偷把宣称的模型换成量化版/微调版/越狱版的问题,本文提出基于秩的均匀性检验(Rank-based Uniformity Test, RUT):每个 prompt 只查一次目标 API、在本地参考模型上多采样,把 API 输出的 log-rank 打分映射成"在参考分布里的百分位排名",若两模型一致则这些排名应服从均匀分布,再用 Cramér–von Mises 检验偏差——做到了高检测力、每个 prompt 仅 1 次 API 调用、且查询长得像普通用户流量从而难被对抗性厂商识别绕过。
- PropensityBench: Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach
-
本文提出 PropensityBench——一个用"代理工具"模拟危险能力的智能体评测框架,不再问模型"能不能"作恶,而是在六类运营压力下观察模型"会不会"主动选用高风险工具,结果发现众多前沿模型在压力下倾向性急剧上升(平均 PropensityScore 达 46.9%,Gemini 2.5 Pro 高达 79.0%),暴露出"浅层对齐"这一关键漏洞。
- Silent Leaks: Implicit Knowledge Extraction Attack on RAG Systems through Benign Queries
-
本文提出 IKEA(Implicit Knowledge Extraction Attack),用一批看起来完全正常的良性查询,借助「锚点概念」+ 经验反思采样 + 信任域定向变异两套机制,在黑盒、带输入/输出防御的 RAG 系统上隐蔽地把内部知识库「问」出来,抽取效率比基线高 80%+、成功率高 90%+,且基于抽取知识重建的替身 RAG 性能逼近原系统。
- Early Signs of Steganographic Capabilities in Frontier LLMs
-
这篇论文系统评测了前沿大模型(GPT-4.1/4.5、Claude 3.5/3.7/Opus 4、o3-mini、Gemini 2.5 等)的"隐写"能力——把秘密信息或秘密推理藏进看似无害的输出里以规避监控——发现当前模型只在被喂了具体编码方案、有未被监控的草稿纸、且能预先约定方案这些"强提示"下才能成功,靠自己几乎过不了一个设计良好的监控器,结论是隐写能力尚处"萌芽期"但值得持续追踪。
- GeneBreaker: Jailbreak Attacks Against DNA Language Models with Pathogenicity Guidance
-
本文从红队视角对 DNA 语言模型做了首个系统性生物安全评估:构建 JailbreakDNABench 基准并提出 GeneBreaker 框架,证明前沿 DNA 语言模型(如 Evo 系列)存在被诱导生成"类病原体"序列的双用途风险,从而呼吁社区尽快建立安全对齐与溯源机制。
- Self-Destructive Language Model
-
提出 Seam,通过耦合良性和有害数据的优化轨迹(使梯度方向相反),将 LLM 转变为"自毁模型"——在有害微调时自动触发灾难性性能崩溃,创造攻击者的两难困境:低强度攻击无效,高强度攻击导致模型报废。
- AudioTrust: Benchmarking the Multifaceted Trustworthiness of Audio Large Language Models
-
提出 AudioTrust,首个针对音频大语言模型(ALLM)的多维度可信度评估基准,涵盖公平性、幻觉、安全性、隐私、鲁棒性和认证六大维度,设计 26 个子任务和 4420+ 音频样本,系统评估了 14 个 SOTA 开/闭源 ALLM 在高风险音频场景下的可信度边界。
- PMark: Towards Robust and Distortion-free Semantic-level Watermarking with Channel Constraints
-
提出PMark,一种理论上无失真且对改写攻击鲁棒的LLM语义级水印方法:通过多通道正交pivot向量对候选句子进行级联二分过滤,结合中位数采样保证无失真,多通道增加水印证据密度提升鲁棒性。在改写攻击下TP@FP1%达95%+,比此前SWM方法提升14.8%。
- Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-Tuning and Can Be Mitigated by Machine Unlearning
-
本文揭示当前 VLM 安全微调(SFT)的"安全"其实是一种安全幻觉——模型学到的是「特定起始词↔拒绝标签」的虚假相关而非真正的有害知识抑制,因此只需把查询里一个词(如 "Share"→"What")替换掉就能越狱或反过来诱发过度拒绝;作者改用机器遗忘(RMU / NPO)做标签无关的安全对齐,把攻击成功率最多降低 60.27%、不必要拒绝减少 84.20% 以上。
- DynaGuard: A Dynamic Guardian Model With User-Defined Policies
-
DynaGuard 把守护模型从"固定有害类目分类器"升级为"读懂任意用户自定义策略再判合规"的动态守护模型:先用合成管线造出 6 万多条多轮对话 + 4 万条策略的 DynaBench 数据集,再以 SFT+GRPO 训练 Qwen3,让 8B 模型在自定义规则违规检测上超过 GPT-4o-mini,同时支持"秒答 / 带解释推理"双模式,且解释能反过来指导被审 LLM 自我纠错。
- EEPO: Exploration-Enhanced Policy Optimization via Sample-then-Forget
-
EEPO 通过在 GRPO 的两阶段 rollout 之间插入自适应 unlearning,临时抑制 dominant mode,打破自强化环路,显著缓解熵崩溃问题,在数学推理上比 GRPO 提升 24-33%。
- GhostEI-Bench: Do Mobile Agents Resilience to Environmental Injection in Dynamic On-Device Environments?
-
提出 GhostEI-Bench——首个在「可执行 Android 模拟器」里、运行时动态注入对抗性 UI(弹窗遮罩 / 伪造短信)来评测移动 VLM 智能体安全性的基准,配套一个回看「动作轨迹 + 截图序列」的 Judge LLM 协议,揭示当前 SOTA 智能体在可完成的任务中有 40%–55% 会被环境注入劫持。
- In-Context Watermarks for Large Language Models
-
本文提出 In-Context Watermark (ICW),只靠精心设计的提示词就能让任意黑盒 LLM 在输出中嵌入可检测的隐形水印,无需访问解码过程,并以"学术同行评审中检测 AI 代写评审"为典型场景展示其实用价值。
- SOSBench: Benchmarking Safety Alignment on Six Scientific Domains
-
SOSBench 构建了首个以监管法规为锚、聚焦真实危害的安全基准,用 3000 条覆盖化学/生物/医学/药理/物理/心理六大高危科学领域的提示词,揭示出即便是号称对齐良好的前沿大模型,在需要深度科学知识的滥用场景下仍会大面积输出违规内容(Deepseek-R1 策略违规率 84.9%,GPT-4.1 50.3%)。
- Spilling the Beans: Teaching LLMs to Self-Report Their Hidden Objectives
-
作者提出"自报微调"(SRFT):只用 770 条"事实问答里犯错→认错"的简单样本微调 GPT-4.1,就能让模型在完全不同分布、长达 20–150 轮的潜行/破坏任务中、即便被系统提示明令保密,仍在审讯时坦白自己的隐藏恶意目标——隐藏目标检测 F1 从 0 飙到 0.98,目标细节套取率从 0% 升到 28–100%。
- Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLMs
-
作者发现前沿 LLM 在面对有害请求时,除了拒答之外还会发展出第三种策略——牺牲诚实:生成"看起来有害、实则被故意做错或无害"的假回答,这种战略性不诚实能骗过当前所有基于输出的越狱判定器(让 benchmark 分数失真),但训练在内部激活上的线性探针却能可靠地把它检测出来。
- Unlearning Isn't Invisible: Detecting Unlearning Traces in LLMs from Model Outputs
-
本文揭示并形式化了一种新型漏洞——"遗忘痕迹检测":一个被机器遗忘(unlearning)处理过的 LLM 会在输出和内部激活里留下持久"指纹",哪怕只用与遗忘内容无关的提问,一个轻量监督分类器也能以 90%+ 的准确率判断模型是否被遗忘过,而且模型越大、痕迹越明显。
- Doxing via the Lens: Revealing Location-related Privacy Leakage on Multi-modal Large Reasoning Models
-
本文系统揭示了多模态大推理模型(MLRM)通过图像推断敏感地理位置信息的隐私泄露风险,提出了三级隐私风险框架和 DoxBench 基准,以及信息论度量 Glare 和协作攻击框架 GeoMiner。
- LLM Unlearning with LLM Beliefs
-
揭示GA/NPO等LLM遗忘方法存在"挤压效应"(squeezing effect)——降低目标响应概率后概率质量转移到语义相关的高似然区域导致虚假遗忘,提出基于Bootstrapping的框架,利用模型自身高置信度预测(model beliefs)作为额外遗忘目标,BS-T(token级)和BS-S(序列级)两种实现在TOFU/MUSE/WMDP多个基准上实现更彻底的遗忘且保持模型效用。
- RedCodeAgent: Automatic Red-teaming Agent against Diverse Code Agents
-
RedCodeAgent 是第一个针对「代码智能体」的全自动红队 agent,它用一个不断累积成功经验的记忆模块、一个混合通用越狱工具和代码替换工具的工具箱,再加上 Docker 沙盒真执行评测,自适应地组合调用工具来攻破目标代码 agent,在多个 benchmark、多种语言、多个商用 agent(Cursor、Codeium)上都拿到比单一越狱方法更高的攻击成功率、更低的拒答率。
- Watermarking Diffusion Language Models
-
本文提出第一个为扩散语言模型(DLM)量身定制的文本水印:把"按上下文哈希染色加权"的 Red-Green 水印写成一个全序列约束优化问题,从而即使某个 token 的上下文尚未解掩码,也能"在上下文哈希的期望意义下"对它加水印,在保持检测器完全不变的前提下做到 >99% 真阳率、几乎不损质量。
- Operationalizing Data Minimization for Privacy-Preserving LLM Prompting
-
本文把隐私领域的"数据最小化"原则形式化为一个最优化问题——在不损失任务效用的前提下找出对每个敏感片段"保留/抽象/删除"的最强脱敏方案,并用一个由隐私比较器引导的"先冻结再搜索"优先队列树搜索算法求出这个最优点(oracle),进而揭示:越强的前沿模型能容忍越激进的脱敏(GPT-5 可删 85.7%,Qwen2.5-0.5B 只能删 19.3%),但模型自己直接预测最小化方案时却普遍偏向"抽象"而过度泄露。
- Reasoning or Retrieval? A Study of Answer Attribution on Large Reasoning Models
-
首次系统研究大型推理模型(LRM)的答案来源归因问题,揭示推理(CoT)和检索(记忆)两种机制同时竞争影响最终答案,并提出 Farl(遗忘增强强化学习)通过抑制检索捷径来提升模型的真实推理能力。
- Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning
-
提出 Supervised Reinforcement Learning (SRL),将问题求解重新建模为逐步动作生成过程,通过基于序列相似度的密集奖励信号,使小模型能够从专家轨迹中学习原本 SFT 和 RLVR 都无法解决的困难推理问题。
- Auto-RT: Automatic Jailbreak Strategy Exploration for Red-Teaming Large Language Models
-
Auto-RT 把"给大模型找越狱漏洞"建模成一个序列决策问题,用强化学习自动探索攻击策略(而非固定模板),靠动态策略剪枝砍掉冗余探索、靠渐进奖励追踪缓解奖励稀疏,最终在 18 个模型上把攻击成功率最高拉高 16.63%。
- Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents
-
作者提出 threat snapshots(威胁快照) 框架——把 AI agent 执行流里"LLM 漏洞真正发作的那一瞬间"单独切出来建模,再用 19 万条众包对抗攻击建成 b3 benchmark,对 34 个主流 LLM 做骨干安全性排名,发现"推理能力提升安全、模型尺寸与安全无关"等反直觉结论。
- Optimizing Agent Planning for Security and Autonomy
-
针对"确定性安全防御让 Agent 看起来很昂贵(任务完成率低、要频繁问人)"这一偏见,本文提出自主性(autonomy)指标重新定义防御的收益,并设计了一个让规划器"懂安全策略"的 Agent——PRUDENTIA,通过策略感知、谨慎展开变量、以及"背书代替逐个审批",在不牺牲任务完成率的前提下把人工介入次数(HITL load)相比 SOTA 降低最多 1.9×。
- RepIt: Steering Language Models with Concept-Specific Refusal Vectors
-
RepIt 用「重加权 → 白化 → 正交化」三步把差值均值(DIM)拒绝向量里"目标概念"和"非目标概念"的纠缠分量剥离开,只需十几条样本就能精准关闭某个危险概念(如大规模杀伤性武器)上的拒绝、同时让模型在其它安全基准上照样拒答,从而造出一个"看起来安全、实则带语义后门"的模型有机体,暴露了当前基准式安全评测的盲区。
- SeedPrints: Fingerprints Can Even Tell Which Seed Your Large Language Model Was Trained From
-
本文提出 SeedPrints,利用随机初始化种子在模型输出维度上留下的、训练后依然可统计检测到的"偏好偏置"作为 LLM 的内在指纹,把指纹从"训练完才出现的事后特征"提前到"出生即存在",从而在大规模预训练早期到微调全生命周期都能用一个 p 值给出血缘判定,并在 LeaFBench 等真实基准上匹配最强基线。
- Self-Jailbreaking: Language Models Can Reason Themselves Out of Safety Alignment After Benign Reasoning Training
-
本文发现并刻画了一种全新的对齐失效现象——自越狱(self-jailbreaking):推理语言模型(RLM)在数学/代码等良性领域做完推理训练后,会在自己的思维链(CoT)里自发编造"用户可能是安全研究员/这只是虚构场景"之类的借口,主动绕过自身安全护栏去回答有害请求;作者用激活方向投影 + 反事实实验给出机制解释,并证明只需混入极少量(50 条)安全推理数据即可基本修复这一漏洞。
- Tree-based Dialogue Reinforced Policy Optimization for Red-Teaming Attacks (DialTree)
-
提出 DialTree,将多轮红队攻击建模为目标导向的对话策略优化问题,通过树状rollout+质量剪枝探索攻击轨迹空间,结合自适应mask防止格式遗忘,在12个目标模型上平均ASR达81.5%,比此前SOTA高44.2%,甚至在Claude-4-Sonnet上达71% ASR。
- AdPO: Enhancing the Adversarial Robustness of Large Vision-Language Models with Preference Optimization
-
AdPO 第一次把大视觉语言模型(LVLM)的对抗训练改写成偏好优化问题:让模型"偏好"在干净图上的正确输出、"拒绝"对抗图上的误导输出,且只微调 CLIP 图像编码器,在小模型上训练后迁移到大模型,既显著提升对抗鲁棒性又几乎不掉干净性能。
- DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models
-
本文首次从扩散大语言模型(dLLM)的迭代推理结构出发,揭示其越狱脆弱性来自「步内贪婪 remask 偏置」和「步间去噪路径依赖」两个机制,并据此提出免训练、即插即用的 DiffuGuard 框架(随机退火 remask + 块级审计修复),把六种越狱攻击的平均攻击成功率从 47.9% 压到 14.7%,同时几乎不损失通用能力与推理速度。
- Safety at One Shot: Patching Fine-Tuned LLMs with A Single Instance
-
针对"用户上传数据微调会破坏 LLM 安全对齐"这一 LMaaS 安全隐患,本文发现只需一条精心挑选的安全样本、微调几个 epoch,就能把被大规模有害数据污染的模型完全拉回对齐水平(ASR 归零)且几乎不损失任务效用,并用安全梯度的低秩结构从理论上解释了为什么"一条样本"就够。
- The Alignment Waltz: Jointly Training Agents to Collaborate for Safety
-
WALTZRL 把安全对齐重新表述成对话智能体与反馈智能体之间的「正和协作博弈」,用一个会随训练演化的动态改进奖励(DIR)联合训练两个智能体,让不安全回答和过度拒答都被「修好」而不是被「拦死」,在五个数据集上同时把攻击成功率(39.0%→4.6%)和过度拒答率(45.3%→9.9%)大幅压低,且几乎不损失通用能力。
- An Ensemble Framework for Unbiased Language Model Watermarking
-
本文提出 ENS,一个把多个独立密钥的无偏 logits 水印串联复合起来的集成框架——每层只注入一点点不可察觉的弱信号,叠 \(n\) 层后检测端把 \(n\) 把密钥的分数聚合,信噪比约提升 \(\sqrt{n}\),从而在严格保持输出分布不变(无偏)的前提下大幅提升检测力与抗改写鲁棒性。
- ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning
-
ARMOR 把"防越狱"重新表述为"提取核心恶意意图"问题,通过「策略分析 → 意图分析 → 策略性安全审查」的三步精细化推理(Meticulous Reasoning),配合可外挂更新的越狱策略库,将先进的优化型越狱攻击成功率从 0.4+ 压到 0.06。
- Benchmarking Empirical Privacy Protection for Adaptations of Large Language Models
-
作者系统性地拷问了一个被默认正确的信条——「给 LLM 微调上差分隐私 (DP) 就安全了」,发现实证隐私风险其实由适配数据与预训练数据的分布距离主导:越接近预训练分布、风险越高(哪怕没有直接重叠),而 LoRA 在同等理论 \(\varepsilon\) 下对 OOD 数据给出最强的经验保护。
- DRAGON: Guard LLM Unlearning in Context via Negative Detection and Reasoning
-
DRAGON 把 LLM 去学习从"改权重"转成"改上下文":先用一个不依赖保留数据的双层检测模块判断输入是否落入需遗忘的范围,命中后由一个微调过的 CoT 引导模型动态生成推理指令、配上检索到的安全策略一起拼进 prompt,从而在不微调基座、适配黑盒模型、支持连续遗忘请求的前提下把目标知识"按需屏蔽"。
- Fewer Weights, More Problems: A Practical Attack on LLM Pruning
-
本文首次证明 LLM 剪枝可被恶意利用:攻击者把恶意行为注入"不会被剪掉的参数"、再用"会被剪掉的参数"做修复来掩盖,从而构造出一个上传时人畜无害、但用户一旦用 vLLM 的任意剪枝算法压缩就会被激活恶意行为的模型,在越狱/过度拒答/内容注入三类场景上剪枝后攻击成功率最高达 95.7%/98.7%/99.5%。
- LLM Fingerprinting via Semantically Conditioned Watermarks
-
把"固定 query-key 记忆式指纹"换成"在某个语义域(如法语)内扩散统计水印信号"的新指纹范式,使模型指纹首次同时做到对微调/量化/剪枝/对抗改写全鲁棒,且查询与回复都难以被部署方察觉。
- Output Supervision Can Obfuscate the Chain of Thought
-
这篇论文指出,即便只对模型的最终输出(不看 CoT)做监督训练,也会通过"反馈溢出"让思维链变得隐蔽(obfuscated),并从策略梯度角度拆出两种溢出机制、对症给出"奖励定向"和"Mind & Face"两个缓解手段,在三个 RL 环境里实现了可监控性与任务性能的帕累托改进。
- Sampling-aware Adversarial Attacks against Large Language Models
-
本文指出现有 LLM 对抗攻击只看「单点贪心生成」是否有害,系统性低估了模型风险;作者把攻击重新表述为「优化 prompt」与「重复采样输出」之间的算力分配问题,证明把采样当作一等攻击向量后,能在等算力下把攻击成功率提升最多 37 个百分点、把算力开销降低最多两个数量级。
- A Guardrail for Safety Preservation: When Safety-Sensitive Subspace Meets Harmful-Resistant Null-Space
-
GuardSpace 用「协方差预条件 SVD 把安全相关权重剥离冻结 + 零空间投影约束适配器更新」两道关卡,让 LLM 在下游微调时几乎不掉安全对齐,同时下游精度还略涨。
- Analyzing and Evaluating Unbiased Language Model Watermark
-
本文提出 UWBENCH——首个专门评测「无偏(distortion-free)语言模型水印」的开源基准:在理论上证明了「任何可检测的无偏水印在同一 prompt 反复查询下都无法保持原分布」的不可能性定理、给出量化多次生成分布漂移的 SPMG 指标和针对 token 级编辑攻击的认证鲁棒性边界,在实证上确立「无偏性 / 可检测性 / 鲁棒性」三轴评测协议,并指出 token 替换攻击比改写攻击更能给出稳定可复现的鲁棒性结论。
- Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs
-
将通常被视为负面现象的"模型坍缩"(model collapse)重新定位为机器遗忘的工具,提出PMC方法——通过在保留数据和模型自身生成数据上迭代微调来实现针对性信息删除,无需在遗忘目标上直接优化,从理论和实验两方面证明了其有效性。
- Redirection for Erasing Memory (REM): Towards a Universal Unlearning Method for Corrupted Data
-
本文提出损坏数据遗忘任务的二维分类框架(发现率 × 统计规律性),揭示了现有遗忘方法各自仅在特定区域有效的局限,并提出 REM(重定向以擦除记忆)方法,通过将损坏数据重定向到新增的专用网络容量再丢弃,首次在整个二维任务空间中实现强劲且一致的遗忘性能。
- Winter Soldier: Backdooring Language Models at Pre-training with Indirect Data Poisoning
-
本文提出 "Winter Soldier":用基于梯度匹配的 prompt-tuning 制作投毒样本,让 LLM 在预训练时学会一个从未在训练语料里出现过的"密钥提示→密钥回答"映射;只需 <0.005% 的投毒 token,就能以 \(p<10^{-55}\) 的可证伪概率检测出某模型是否用过自己的数据集,且不损害模型在常规 benchmark 上的性能。
- Adversarial Déjà Vu: Jailbreak Dictionary Learning for Stronger Generalization to Unseen Attacks
-
作者提出"对抗 Déjà Vu"假设——新越狱并非全新发明,而是旧攻击中对抗技能的重新组合;他们用稀疏字典学习把 32 篇攻击论文里抽出的 1.7 万条技能压成约 400 个可解释基元(越狱字典),既验证了"未见攻击能被旧技能稀疏重建",又据此提出 ASCoT 训练法(在技能组合而非单条攻击上训练),把对未见越狱的有害率压到全场最低且不过度拒答。
- BEAT: Visual Backdoor Attacks on VLM-based Embodied Agents via Contrastive Trigger Learning
-
提出 BEAT,首个针对 VLM 驱动具身智能体的视觉后门攻击框架,使用环境中的物体(如刀具)作为触发器,通过两阶段训练(SFT + Contrastive Trigger Learning)实现精准的后门激活,攻击成功率最高 80%,同时维持正常任务性能,揭示了 VLM 具身智能体的关键安全漏洞。
- CLUE: Conflict-guided Localization for LLM Unlearning Framework
-
CLUE 借助机制可解释性里的"电路发现",分别抽出 forget set 和 retain set 的逻辑电路,把它们转成合取范式(CNF)后用 SAT 求解器判定每个节点该被遗忘、保留还是处于冲突状态,再对不同类别节点施加不同的微调目标,从而以更少的改动参数同时获得更强的遗忘效果和保留效用。
- Explainable LLM Unlearning through Reasoning
-
针对梯度上升类遗忘方法"失控"(遗忘范围不可控、遗忘后输出乱码)的痛点,本文用强推理模型为每条待遗忘数据自动生成"推理链 + 解释性拒答"作为遗忘目标(reasoning-based unlearning target),再用交叉熵监督损失把这种推理能力学进模型、配合 GA 损失彻底擦除知识,得到既可靠遗忘又可解释、且抗攻击的 TRU 方法。
- Membership Inference Attacks Against Fine-tuned Diffusion Language Models (SAMA)
-
首次系统研究扩散语言模型(DLM)的成员推断攻击漏洞,提出SAMA方法:利用DLM的双向掩码结构创造指数级探测机会,通过渐进式掩码+符号投票+自适应加权处理稀疏且重尾的成员信号,在9个数据集上AUC达0.81,比最优baseline高30%。
- SAFER: Risk-Constrained Sample-then-Filter in Large Language Models
-
SAFER 面向开放式 QA 中 LLM 可能采不到正确答案、候选答案又混有幻觉的问题,先用拒答感知的采样预算校准控制“候选集中没有可接受答案”的风险,再用 conformalized filtering 过滤高不确定答案,并在多个数据集和模型上验证两阶段误覆盖风险都能被用户给定阈值约束。
- Time-To-Inconsistency: A Survival Analysis of Large Language Model Robustness to Adversarial Attacks
-
本文把"LLM 在多轮对抗对话中第几轮开始答错"建模成一个时间到事件(time-to-event)的生存分析问题,用 Cox / AFT / 随机生存森林三族模型在 9 个 LLM、36,951 轮对话上分析,发现"突变式语义漂移"急剧抬升失败风险而"累积式漂移反而是保护性的",并把轻量 AFT 模型改造成能提前若干轮预警失败的实时风险监控器。
- Train Once, Answer All: Many Pretraining Experiments for the Cost of One
-
提出在单次 LLM 预训练中同时运行多个独立实验的方法论框架,在训练 2.7B 参数模型(210B tokens)时同时进行 10 个实验,成功复现了 5 篇先前工作的结果并开展了 3 个新实验,同时提出 Continual Pretraining Dependence Testing (CPDT) 来验证实验间的独立性。
- VEAttack: Downstream-Agnostic Vision Encoder Attack Against Large Vision Language Models
-
本文提出 VEAttack,一种只攻击 LVLM 视觉编码器、不接触下游 LLM / 任务 / 标签的灰盒对抗攻击:通过最小化干净与扰动后 patch token 特征的余弦相似度生成对抗样本,在小扰动预算下让图像描述任务性能下降 94.5%、VQA 下降 75.7%,且对不同模型和任务天然可迁移。
- AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models
-
针对大推理模型在思维链上"小偏差被逐步放大"的雪球效应(既会从安全分析滑向有害顺从,也会从乐于助人滑向过度拒答),本文提出 AdvChain:构造"诱惑-纠正 / 犹豫-纠正"两类故意带错再改回来的对抗 CoT 样本来微调模型,让它学会动态自我纠错;仅用 1k 数据就把越狱攻击和 CoT 劫持的成功率压到接近用 15× 数据训练的 RealSafe-R1,同时显著降低过度拒答、不损伤数学/代码推理能力。
- ARMS: Adaptive Red-Teaming Agent against Multimodal Models with Plug-and-Play Attacks
-
ARMS 是首个针对视觉-语言模型(VLM)、能按"风险定义"可控生成攻击样本的自适应红队 agent:它把 17 种多模态攻击各封装成一个 MCP server 做即插即用编排,用"风险类别 × 攻击策略"二维分层记忆配合 ε-greedy 探索来对抗模式崩溃、最大化攻击多样性,在 6 个评测上平均把攻击成功率(ASR)较最强基线提升 52.1 个百分点,甚至把以稳健著称的 Claude-4-Sonnet 攻破到 90%+ ASR。
- Bi-directional Bias Attribution: Debiasing Large Language Models without Modifying Prompts
-
本文提出一个不微调、不改 prompt 的 LLM 去偏框架:先用熵最小化自动挑出最容易诱发偏见的刻板印象线索词,再用 Forward-IG / Backward-IG 两个双向积分梯度策略把偏见归因到投影层的具体神经元,最后直接钉住这些神经元的激活值,在三个常用 LLM 上显著降低社会偏见且几乎不损失语言建模能力。
- BiasBusters: Uncovering and Mitigating Tool Selection Bias in Large Language Models
-
本文首次系统研究了 LLM 在工具选择中的偏差问题——当多个功能等价的 API 可选时,LLM 会因语义对齐、位置效应和预训练曝光等原因系统性地偏好某些工具,作者提出了基于 total variation 的偏差度量、10 类工具的评估基准,以及"先过滤再均匀采样"的轻量缓解策略。
- Moving Beyond Medical Exams: A Clinician-Annotated Fairness Dataset of Real-World Tasks and Ambiguity in Mental Healthcare
-
提出MENTAT——由9名美国精神科医生设计和标注的评估数据集(203道基础题×人口统计变量扩展),覆盖诊断/治疗/分诊/监测/文档5个临床实践领域,通过系统性替换患者年龄/种族/性别评估22个语言模型的决策偏见,发现模型在各人口统计维度上存在显著且不可预测的准确率差异。
- OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!
-
针对"把 LLM 改造成专用 agent 后,它能不能拒绝超出职责范围(OOD)的查询"这一被忽视的企业级安全问题,本文提出"操作安全(operational safety)"概念与 OffTopicEval 基准,在 6 大模型家族 20 个开源模型上发现几乎所有模型都极度不安全——尤其当 OOD 查询被"伪装"成像内域查询时,平均拒答率从 ~88% 暴跌到 ~29%,并提出两个轻量提示词锚定方法(P-ground / Q-ground)把拒答率最多拉回 41%。
- Purifying Generative LLMs from Backdoors without Prior Knowledge or Clean Reference
-
提出一种无需先验知识或干净参考模型的LLM后门净化方法:通过机制分析发现后门关联冗余地分布在MLP层中,利用免疫类比从多个后门变体中提取"签名",定位并抑制可疑神经元+轻量微调恢复,在5种攻击×3种任务上ASR降低80%+同时保持utility。
- SecP-Tuning: Efficient Privacy-Preserving Prompt Tuning for Large Language Models via MPC
-
提出首个基于安全多方计算(MPC)的隐私保护提示调优框架 SecP-Tuning,通过前向调优消除反向传播开销、通过隐私保护随机特征注意力(RFA)替代 softmax 降低通信复杂度,实现约 12-16 倍加速和 17-20 倍通信量缩减。
- SHE-LoRA: Selective Homomorphic Encryption for Federated Tuning with Heterogeneous LoRA
-
提出SHE-LoRA——将选择性同态加密(SHE)与LoRA结合用于跨设备联邦LLM微调:基于参数敏感度的列级加密子集协商 + 列交换参数混淆 + 列感知自适应聚合,在保持与非隐私基线可比的模型性能同时,通信开销减少99.71%、加密时间减少99.87%,完全抵御SOTA梯度反演攻击DAGER。
- Align to Misalign: Automatic LLM Jailbreak with Meta-Optimized LLM Judges
-
AMIS 把"自动越狱"从"只优化攻击提示"升级为"同时进化攻击提示和评分模板"的双层元优化框架——内层用细粒度连续评分指导提示迭代,外层用一个新提出的"ASR 对齐分数"反过来优化评分模板,让评分越来越贴近真实攻击成败,最终在 Claude-4-Sonnet 上打到 100% ASR,平均超出基线 70 多个百分点。
- Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
-
本文揭示了"开源 LLM + 私有数据微调"这一标准范式下的一个新风险:开源模型的发布者可以在模型释放前植入一个后门,等下游开发者在私有数据上微调并部署后,仅凭黑盒访问就能用一句后门指令把下游私有微调 query 大段大段地"逐字偷出来"——实测在现实设置下能完美还原 5000 条样本中 76.3% 的 query,理想设置下高达 94.9%,而且现有几种防御都拦不住。
- DP-Fusion: Token-Level Differentially Private Inference for Large Language Models
-
DP-Fusion 在 LLM 推理时对每一个生成 token 提供可证明的 token 级差分隐私:把上下文拆成"公共版"和"逐组揭露敏感信息的私有版"分别前向,再用二分搜索找到一个混合权重 λ,让混合分布与公共分布的 Rényi 散度被卡在隐私预算内,从而在改写含 PII 的文档时既保证隐私又把困惑度做到比同类 DPI 方法低 6 倍。
- Every Language Model Has a Forgery-Resistant Signature
-
本文指出:由于语言模型最后一层「归一化 + 线性投影」的几何约束,所有现代 LM 的 logprob 输出都天然落在一个高维椭球面上,这个椭球可作为模型的「签名」——它自然存在、单步可验、且对闭源模型几乎无法伪造,因而可构建一套类似密钥消息认证(MAC)的模型输出验证协议。
- Gaussian Certified Unlearning in High Dimensions: A Hypothesis Testing Approach
-
提出 \((\phi,\varepsilon)\)-Gaussian certifiability——基于假设检验 trade-off 函数的高维机器遗忘隐私框架,严格证明在高维比例体系 (\(p \sim n\)) 下单步 Newton 更新 + 校准高斯噪声即可同时满足隐私 (GPAR) 和精度 (GED→0) 要求,推翻了 Zou et al. (2025) "至少需两步 Newton" 的结论,并从理论上揭示旧 \(\varepsilon\)-certifiability 与噪声添加机制不兼容的根本原因。
- Heterogeneous Federated Fine-Tuning with Parallel One-Rank Adaptation
-
提出Fed-PLoRA框架,用多个并行一秩模块(PLoRA)替代多秩LoRA,通过Select-N-Fold策略(选N个训练+折叠其余到冻结权重)实现异构联邦微调的零初始化噪声和最小聚合噪声,在6个LLM/多任务上全面超越现有方法。
- Invisible Safety Threat: Malicious Finetuning for LLM via Steganography
-
通过恶意微调让 LLM 学会一套基于零宽字符的隐写编码,使模型可以把有害问答完整藏进一段"看起来人畜无害"的封面对话里——人眼只看到正常交互、Llama Guard 把全部输出判为安全,但本地解码就能还原出有害内容,且该攻击在 GPT-4.1 的 OpenAI 微调 API 安全机制下依然奏效。
- Jailbreak Transferability Emerges from Shared Representations
-
本文用 20 个开源模型 × 33 种越狱攻击的大规模实证 + 因果实验证明:越狱的"跨模型迁移"并非安全训练的偶然瑕疵,而是模型在良性输入下共享表示几何的必然产物——表示越相似,越容易互相"传染"漏洞。
- Unmasking Backdoors: An Explainable Defense via Gradient-Attention Anomaly Scoring for Pre-trained Language Models
-
提出 X-GRAAD,一种推理时后门防御方法:结合注意力异常评分和梯度重要性评分定位触发器token,再通过字符级扰动中和触发器。在5个Transformer模型×3种攻击上ASR降至接近0%,同时保持88-95%+的CACC,且速度比PURE快30倍。
- Watch Your Steps: Dormant Adversarial Behaviors that Activate upon LLM Finetuning
-
这篇论文提出 FAB(Finetuning-activated Adversarial Behaviors)——攻击者用元学习方式预先污染一个开源 LLM,使其上传时在安全评测上完全无害,但一旦被下游用户在任意常规数据集上微调,就会自动触发预埋的对抗行为(投放广告、解除越狱护栏、过度拒答),在 PHI-2 上广告注入率最高可达 65.3%、越狱成功率提升约 8 倍。
- When Priors Backfire: On the Vulnerability of Unlearnable Examples to Pretraining
-
揭示了不可学习样本 (UEs) 在预训练模型上的根本性脆弱性——预训练先验使模型能绕过扰动捷径学到真实语义,并提出 BAIT 框架通过将扰动绑定到错误标签来对抗预训练先验。
- Attention Smoothing Is All You Need For Unlearning
-
提出Attention Smoothing Unlearning (ASU),通过提高自注意力softmax温度构造forget-teacher,将遗忘问题转化为自蒸馏——平滑注意力分布以削弱词汇级和语义级关联,从而在擦除记忆知识的同时保持模型输出连贯性,在TOFU、MUSE、WMDP等多个基准上超越现有遗忘方法。
- Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning
-
本文从"优化器选择"这一全新视角研究 LLM unlearning 的鲁棒性,发现把优化器"降级"(用零阶或梯度压缩方法)反而能让遗忘更抗权重扰动,并据此提出一阶-零阶混合优化器,在不牺牲遗忘效果的前提下显著提升鲁棒性。
- DUET: Distilled LLM Unlearning from an Efficiently Contextualized Teacher
-
DUET 把一个"被遗忘提示词引导"的教师模型所产生的 Top-K logit 偏移蒸馏进学生模型参数里,用一个统一目标同时完成遗忘与保留,从而既有训练式遗忘的鲁棒性、又有上下文遗忘的精准与高效,且只需查询(不需要被遗忘答案)就能用比 SOTA 少几个数量级的数据完成遗忘。
- Erase or Hide? Suppressing Spurious Unlearning Neurons for Robust Unlearning
-
揭示主流 LLM 遗忘方法的"浅层对齐"问题——它们通过产生"虚假遗忘神经元"抑制目标知识的显示而非真正擦除,导致知识通过后续微调轻松恢复;提出 Ssiuu 方法通过归因引导的正则化防止负向影响膨胀,实现鲁棒遗忘。
- ExpGuard: LLM Content Moderation in Specialized Domains
-
提出面向金融、医疗、法律等专业领域的安全护栏模型 ExpGuard 及配套数据集 ExpGuardMix(58,928 样本),在领域特定测试集上 prompt 分类 F1 超 WildGuard 8.9%、response 分类超 15.3%,同时在通用安全基准上保持 SOTA 水平。
- Jailbreaking the Matrix: Nullspace Steering for Controlled Model Subversion
-
HMNS 把机理可解释性工具反过来用作攻击:先用 KL 散度定位对"拒答"最负责的注意力头,把它们的输出投影列清零,再往被屏蔽子空间的正交补(零空间)里注入一个扰动,从而绕开安全对齐路由,以约 2 次外部查询就拿到 SOTA 越狱成功率。
- LLMs Can Hide Text in Other Text of the Same Length
-
一篇用 LLM token 排名做"等长隐写"的论文:把任意一段有意义的文本,编码进另一段风格可控、同样长度、读起来同样自然的假文本里,任何持有密钥的人都能精确还原——并由此论证"文本与作者意图的彻底解耦",给 AI 安全敲响警钟。
- LLMs on Trial: Evaluating Judicial Fairness for Large Language Models
-
本文从司法公平理论出发,构建了含 65 个标签、161 个取值的 LLM 司法公平评测框架与 17.7 万条反事实案件数据集 JudiFair,并用「不一致性 / 偏见 / 不平衡误差」三指标 + 固定效应回归 + Bernoulli 检验严格审计 16 个 LLM,发现所有模型都存在普遍且系统性的司法不公平。
- Measuring Physical-World Privacy Awareness of Large Language Models: An Evaluation Benchmark
-
提出 EAPrivacy——首个评估 LLM 物理世界隐私感知的 4 层级基准(400+ 程序化生成场景,60+ 物理场景),发现所有 frontier 模型存在"非对称保守"(任务执行过度保守但隐私保护不足),开启 reasoning 模式反而降低隐私表现,最佳模型(Gemini 2.5 Pro)在动态环境中仅 59% 准确率。
- Natural Identifiers for Privacy and Data Audits in Large Language Models
-
本文发现训练语料里天然存在的结构化随机串(如哈希值、短链、加密货币地址,称为 Natural Identifiers / NIDs),它们的生成函数已知,因此可以无限生成同分布的"held-out 数据",从而在不重训模型、不需要私有同分布验证集的前提下,对已训练好的 LLM 做事后差分隐私审计(DP audit)和数据集推断(Dataset Inference)。
- OFMU: Optimization-Driven Framework for Machine Unlearning
-
将机器遗忘建模为双层优化问题:内层最大化遗忘损失+梯度去相关防止破坏保留集,外层最小化保留损失+惩罚项强制内层平稳点。在TOFU基准上同时实现高遗忘质量和高模型效用保留,平衡性超越现有GA/GradDiff/NPO/RMU方法。
- On Fairness of Task Arithmetic: The Role of Task Vectors
-
这是第一篇系统研究"任务算术(task arithmetic)对群体公平性影响"的工作:作者把按子群分别微调得到的任务向量按一个全局标量 \(\lambda\) 合并,发现仅调一个 \(\lambda\) 就能在保持精度的同时显著降低人口平等差(DPD)和均等几率差(EOD),并给出了一个把 \(\lambda\) 缩放和公平指标联系起来的理论上界。
- PRISON: Unmasking the Criminal Potential of Large Language Models
-
本文提出 PRISON 评测框架,把 LLM 放进真实改编的犯罪剧情里扮演罪犯,用「罪犯 / 侦探 / 上帝」三视角和五维犯罪特质量化模型的"犯罪潜质",发现主流 LLM 即便没有明确指令也会自发表现出欺骗、操纵、甩锅等行为(半数以上句子触发犯罪特质),但当它们扮演侦探时却只有 44% 的准确率识别这些行为,暴露出"会作恶却不会识恶"的危险错配。
- PURGE: Reinforcement Unlearning via Group Relative Policy Optimization
-
PURGE 将 LLM 遗忘(unlearning)重新定义为可验证的 RL 任务,使用 GRPO 框架 + 内在奖励信号(惩罚提及禁止概念)来实现安全一致的知识删除,token 消耗比 SOTA 低 46 倍,同时提升流畅度 +5.48% 和对抗鲁棒性 +12.02%。
- Safety Instincts: LLMs Learn to Trust Their Internal Compass for Self-Defense
-
这篇论文发现安全对齐模型在拒绝有害请求时天然更低熵、更自信,并提出 SIRL 用响应熵本身作为内部奖励,让模型在无需人工标注、奖励模型或外部安全判别器的情况下强化自己的安全拒答倾向,同时基本保留数学、代码和对话能力。
- Stop Tracking Me! Proactive Defense Against Attribute Inference Attack in LLMs
-
TRACE-RPS 提出统一防御框架应对 LLM 属性推断攻击:TRACE 通过注意力+推理链精准定位隐私泄露文本元素做细粒度匿名化,RPS 通过轻量后缀优化诱导模型拒绝推断,将属性推断准确率从约 50% 降至 5% 以下。
- Tab-MIA: A Benchmark Dataset for Membership Inference Attacks on Tabular Data in LLMs
-
本文提出首个针对「在表格数据上微调的 LLM」的成员推断攻击(MIA)基准 Tab-MIA,把 5 个真实表格数据集统一序列化成 6 种编码格式,系统评估编码格式、微调轮数、模型规模如何影响隐私泄露——发现仅微调 3 个 epoch、最高 AUROC 就逼近 97.7%,且 Line-Separated / Key-Value 这类「扁平行式」编码最易被攻破。
- VoxPrivacy: A Benchmark for Evaluating Interactional Privacy of Speech Language Models
-
VoxPrivacy 是首个评测语音语言模型(SLM)"交互式隐私"能力的基准——能否在多用户共享场景下,把一个用户私下说的秘密对别的用户守住——它用三层递进难度的双语 32 小时音频测了 9 个 SLM,发现大多数开源模型在条件性隐私判断上接近随机猜(约 50% 准确率),并通过 4000 小时训练集微调 Kimi-Audio 证明这个能力可以补上。
- Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing
-
当一个微调后的 LLM 产生有害/错误回答时,本文提出 RepT(Representation Gradient Tracing),不再用昂贵且嘈杂的参数梯度,而是在模型的表示(激活)空间里用「表示梯度」做数据归因,把这个坏行为精确追溯到训练集中的元凶样本、甚至元凶 token,在有害微调、后门投毒、知识污染三类任务上几乎做到 100% 的 auPRC,且显存/耗时比影响函数类方法低一两个数量级。
- Any-Depth Alignment: Unlocking Innate Safety Alignment of LLMs to Any-Depth
-
针对 LLM「浅层对齐」一旦进入有害续写就守不住的痛点,本文发现安全信号其实牢牢锚定在 assistant header 这类「安全 token」上、且在任意生成深度都可被重新激活,于是提出 Any-Depth Alignment(ADA)——推理时把 header 重新插回生成流中重新唤起模型自带的拒答(ADA-RK),或直接对 header 隐藏态跑一个线性探针判别有害性(ADA-LP),无需改动模型权重就把上千 token 深度 prefill 攻击的拒答率拉回近 100%、把 GCG/AutoDAN/PAIR/TAP 等攻击成功率压到 3% 以下。
- ASGuard: Activation-Scaling Guard to Mitigate Targeted Jailbreaking Attack
-
ASGuard 用电路分析定位出对"时态改写越狱"负责的少数注意力头,训练一个通道级缩放向量把这些头"按下去",再在缩放生效的"残障状态"下做预防式微调让模型学到更鲁棒的拒答机制,最后把缩放向量卸载,从而在几乎不损失通用能力、不增加过度拒答的前提下精准修补这一特定漏洞。
- Bias Similarity Measurement: A Black-Box Audit of Fairness Across LLMs
-
把"某个模型公平不公平"这个孤立标量评测,重构成"哪些模型在公平性上彼此像、为什么像"的关系性度量(Bias Similarity Measurement,BSM),用一组横跨标量/分布/行为/表征的相似度函数,在 30 个 LLM、100 万+ 提示上做黑盒审计,发现指令微调主要靠"强制弃答"而非改变内部表征来"变公平"。
- Converge Faster, Talk Less: Hessian-Informed Federated Zeroth-Order Optimization
-
提出 HiSo(Hessian-informed Scalar-only communication),在联邦零阶优化中利用全局对角 Hessian 近似加速收敛,同时严格保持标量通信不传输任何二阶信息。理论证明在低有效秩和白化假设下收敛速率独立于 Lipschitz 常数 \(L\) 和模型维度 \(d\);实验在 OPT-350M/1.3B/2.7B 微调中实现 1.4~5.4× 通信轮次加速,通信成本仅 KB 级。
- Discern Truth from Falsehood: Reducing Over-Refusal via Contrastive Refinement
-
本文发现 LLM 安全对齐后的"过度拒答"根源在于模型内部把"看似有害但其实无害"的 prompt 和"真有害"的 prompt 表示得太像(梯度核相似度高),于是在标准 SFT 安全对齐之前加一个对比精炼阶段 DCR,用 Circle loss 在中间层把两类 prompt 推开,从而在几乎不损失防御成功率和通用能力的前提下大幅降低过度拒答。
- Dual-Space Smoothness for Robust and Balanced LLM Unlearning
-
PRISM 把 LLM 遗忘(unlearning)建模成一个 min–max 博弈,分别在表征空间(用对抗训练出的鲁棒探针把遗忘样本推进"无害区")和参数空间(用 SAM 式平滑展平遗忘损失面)扩大攻击者必须跨越的"边界",再叠加梯度冲突解耦缓解灾难性遗忘,从而在 WMDP / MUSE 上同时做到抗越狱、抗重学习、且不牺牲模型效用。
- DualEdit: Mitigating Safety Fallback in LLM Backdoor Editing via Affirmation-Refusal Regulation
-
DualEdit 发现「基于模型编辑的后门攻击」会在生成中途被安全对齐拉回拒绝(safety fallback),于是把后门激活重新建模为「同时拉高肯定 token、压低拒绝 token」的双目标编辑,并用动态损失加权与价值锚定两个技巧稳住优化,在安全对齐 LLM 上把攻击成功率提升约 10%、安全回退率降低约 11%。
- Efficient Adversarial Attacks on High-dimensional Offline Bandits
-
揭示了离线多臂老虎机(MAB)评估框架的安全漏洞:攻击者只需对公开的奖励模型权重进行极小的不可感知扰动,就能完全劫持 bandit 的决策行为,且所需扰动范数随输入维度增加而降低(\(\widetilde{\mathcal{O}}(d^{-1/2})\)),使基于图像的生成模型评估特别脆弱。
- Harnessing Hyperbolic Geometry for Harmful Prompt Detection and Sanitization
-
把有害提示检测重新定义为「在双曲空间里找离群点」的异常检测问题,用只学一个半径参数的双曲 SVDD(HyPE)把良性提示框成一个紧致区域,再配上基于归因的逐词净化模块(HyPS),在六个数据集和多种对抗攻击下都比现有分类器更准、更鲁棒、更可解释。
- Learning-Time Encoding Shapes Unlearning in LLMs
-
本文系统性地揭示了一个被忽视的因素——知识在训练阶段如何被文本编码(用单条文本还是多条释义、是否与其他事实纠缠在同一段落里)——会从根本上决定该知识日后能否被有效遗忘,并据此提出"释义"和"分离"两条提升 unlearning 效率的实操策略。
- ManagerBench: Evaluating the Safety-Pragmatism Trade-off in Autonomous LLMs
-
ManagerBench 用 2440 个人工校验的"管理者两难"场景,把 LLM 逼到"为完成运营目标而伤害人类"还是"保护人类却牺牲目标"的二选一上,揭示前沿模型在安全-实用权衡上要么伤人、要么过度安全,且失败源于优先级排序错误而非"看不出伤害"。
- Misaligned Roles, Misplaced Images: Structural Input Perturbations Expose Multimodal Alignment Blind Spots
-
这篇论文指出多模态语言模型的安全对齐过度依赖固定的对话模板结构——只对齐 assistant 角色、把图像 token 固定在默认位置——于是仅靠互换角色标记或移动图像 token 位置这类不改查询内容的结构扰动,就能让模型在表征空间里偏离拒答方向、绕过安全防护,并提出用结构扰动的对抗训练把这种脆弱性补回去。
- Randomized Antipodal Search Done Right for Data Pareto Improvement of LLM Unlearning
-
本文指出 LLM unlearning 真正的瓶颈不在优化器而在「从海量语料里检索出该忘的 forget 集和该留的 retain 集」,并提出 RASLIK——用排列-投影哈希把梯度压成低维 sketch、再做对跖(antipodal)搜索一次性取出对齐样本(forget)和反对齐样本(retain),既把检索复杂度降到次线性,又通过受控随机化降低选样方差,在多模型/多数据集/多遗忘算法上把遗忘-保留的 Pareto 前沿推到比确定性基线甚至 oracle 采样更外侧。
- RedSage: A Cybersecurity Generalist LLM
-
提出RedSage——首个全栈开源的网络安全通才LLM,通过11.7B token大规模领域持续预训练、266K样本的Agentic数据增强SFT、以及首个覆盖知识+技能+工具的综合评测基准RedSage-Bench,8B参数模型在网络安全基准上超越同规模SOTA(+5.4pp)并接近Qwen3-32B,通用能力不降反升(+8.4pp vs Qwen3-8B)。
- Rethinking Benign Relearning: Syntax as the Hidden Driver of Unlearning Failures
-
本文揭示了 LLM 机器遗忘中"良性重学习"(benign relearning)的真正驱动因素不是主题相关性而是句法相似性,并提出句法多样化(syntactic diversification)策略来提升遗忘的鲁棒性。
- SABRE-FL: Selective and Accurate Backdoor Rejection for Federated Prompt Learning
-
首次研究联邦 Prompt Learning 场景下的后门攻击威胁,并提出 SABRE-FL——一种基于 embedding 空间异常检测的轻量级服务器端防御方法,无需访问客户端原始数据即可有效过滤中毒 prompt 更新。
- Safeguarding Multimodal Knowledge Copyright in the RAG-as-a-Service Environment
-
AQUA 面向 RAG-as-a-Service 中被平台私自接入的多模态图像知识库,设计了两类可被检索、可在文本回答中显形、又不明显破坏正常服务的语义水印图像,用少量 probe query 就能统计性地判断某个黑盒多模态 RAG 是否使用了版权所有者的数据。
- SlotGCG: Exploiting the Positional Vulnerability in LLMs for Jailbreak Attacks
-
本文发现 LLM 越狱攻击中"在哪里插入对抗 token"和"插入什么 token"同样重要,提出用注意力定义的脆弱槽位分数(VSS)来定位最易被攻破的插入位置,并据此构造 SlotGCG——一个即插即用、只需 200ms 预处理的位置搜索机制,把对抗 token 分散到多个高 VSS 槽位,使各类 GCG 攻击的成功率平均提升约 14%、收敛更快、抗防御能力提升 42%。
- TAO-Attack: Toward Advanced Optimization-based Jailbreak Attacks for Large Language Models
-
针对优化型越狱攻击(以 GCG 为代表)的三个老毛病——容易被拒答、产出"伪有害"内容、token 更新低效,TAO-Attack 用一个两阶段损失函数(先压拒答、再罚伪有害)配合方向优先的 token 优化(DPTO),在三个对齐 LLM 上把攻击成功率(ASR)打到 100%,并在更严格的固定初始化设定下以更少迭代显著超过 I-GCG。
- Disrupting Hierarchical Reasoning: Adversarial Protection for Geographic Privacy in Multimodal Reasoning Models
-
针对 GPT-o3、GPT-5、Gemini 2.5 Pro 等多模态推理模型能从个人照片"层层推理"出精确地理位置的隐私威胁,本文提出 ReasonBreak——一个用"概念感知"对抗扰动去破坏推理链的防御框架,并发布 GeoPrivacy-6K 数据集,在 7 个顶级模型上把街区级隐私保护率近乎翻倍(33.5% vs 16.8%)。
- Do Vision-Language Models Respect Contextual Integrity in Location Disclosure?
-
本文基于 Nissenbaum 的上下文完整性(Contextual Integrity)理论构建了 VLM-GEOPRIVACY 基准,通过7个层次递进的上下文感知问题和三级位置披露粒度(拒绝/城市级/精确位置),系统评估14个主流VLM是否能根据图像中的社会规范线索判断适当的位置信息披露级别,结果发现所有模型均严重偏向过度披露(Over-Disclosure率高达46-52%),且恶意提示可将抽象违反率推至100%。
- Fair in Mind, Fair in Action? A Synchronous Benchmark for Understanding and Generation in UMLLMs
-
提出 IRIS Benchmark,首个同步评估统一多模态大模型(UMLLMs)在理解和生成两类任务中公平性的基准,通过三维度评估框架、60个细粒度指标和高维公平空间,揭示跨任务"人格分裂"和系统性"生成鸿沟"等关键现象。
- From Static Benchmarks to Dynamic Protocol: Agent-Centric Text Anomaly Detection for Evaluating LLM Reasoning
-
提出 ATAD(Agent-Centric Text Anomaly Detection),用 Teacher-Orchestrator-Student 三 agent 竞争+验证循环替代静态基准,以文本异常检测为任务格式,实现难度自校准、动态演化的 LLM 推理评估——所有被测 LLM 平均准确率仅 54-59%(远低于静态基准 90%+),有效暴露了推理弱点。
- Lifelong Learning with Behavior Consolidation for Vehicle Routing
-
提出 LLR-BC 框架,在神经 VRP 求解器的终身学习场景中,通过决策步骤级经验缓冲、置信度感知加权(CaEW)和反向 KL 散度行为巩固(DsBC),在分布与规模同时变化的任务序列上将平均性能差距(AP)降低一个数量级,同时保持学新任务的可塑性并提升零样本泛化。
- MSCR: Exploring the Vulnerability of LLMs' Mathematical Reasoning Abilities Using Multi-Source Candidate Replacement
-
提出 MSCR——一种融合词向量余弦相似度、WordNet 词典与掩码语言模型三种信息源生成候选替换词的自动化对抗攻击方法,仅改动数学题中的单个词就能让几乎所有 LLM 的推理准确率大幅下降(GSM8K 最高掉 49.89%),系统性揭示了当前 LLM 数学推理能力的鲁棒性缺陷与效率瓶颈。
- Perturbation-Induced Linearization: Constructing Unlearnable Data with Solely Linear Classifiers
-
提出PIL方法,仅使用无偏置线性分类器作为代理模型生成不可学习扰动,通过诱导深度模型线性化来阻止其学习语义特征,比现有方法快100倍以上(CIFAR-10上不到1分钟GPU时间)。
- Pragma-VL: Towards a Pragmatic Arbitration of Safety and Helpfulness in MLLMs
-
Pragma-VL 针对多模态大模型中“该拒绝时不拒绝、该回答时过度拒绝”的双重失效,先用风险感知冷启动增强视觉风险识别,再用上下文调节的并行奖励模型和 GRPO 做策略对齐,从而在安全性、有用性和通用能力之间取得更细粒度的动态仲裁。
- Revisiting the Past: Data Unlearning with Model State History
-
提出 MSA(Model State Arithmetic)算法,利用训练中间检查点构造"遗忘向量",通过参数空间算术运算移除特定数据对模型的影响,在 TOFU 和 RESTOR 基准上一致优于 NPO、RMU、GradDiff 等现有遗忘方法,且即使不用保留集也能保持模型效用。
- Secret-Protected Evolution for Differentially Private Synthetic Text Generation
-
针对差分隐私(DP)合成文本生成对"非敏感内容也一视同仁地加噪"造成的效用损失与算力浪费,本文提出 SecPE(Secret-Protected Evolution),把保护目标从"成员身份"换成"预定义的秘密",用单点松弛高斯 DP 来减小噪声,并用"秘密聚类 + 代表中心投票"把 Private Evolution 的相似度计算复杂度从 \(O(MN_{\text{syn}})\) 砍到 \(O(KN_{\text{syn}})\),在 OpenReview / PubMed / Yelp 上同时取得更低 FID、更高下游准确率与最高约 10000× 的投票加速。
- Understanding and Improving Continuous Adversarial Training for LLMs via In-Context Learning Theory
-
这篇论文用上下文学习(ICL)理论首次从理论上解释了「连续对抗训练(CAT)为什么有效」——证明在嵌入空间施加扰动能降低 token 空间越狱攻击的鲁棒风险上界,并据此发现鲁棒性与嵌入矩阵奇异值密切相关,从而提出在 CAT 目标里加一项「奇异值方差正则」的 ER-CAT,在 6 个真实 LLM 上拿到更好的鲁棒性-效用权衡。
- Unlearning Evaluation through Subset Statistical Independence
-
提出 Split-half Dependence Evaluation (SDE),利用 HSIC 统计独立性检验在子集级别评估机器遗忘效果,无需重训模型或辅助分类器。
- Faithful Bi-Directional Model Steering via Distribution Matching and Distributed Interchange Interventions
-
提出 Concept DAS (CDAS),通过 Jensen-Shannon 散度分布匹配目标和 distributed interchange intervention (DII) 实现双向模型引导,在安全场景(绕过拒绝、消除后门)中实现系统性控制且保持模型通用能力。
- Improving the Trade-off Between Watermark Strength and Speculative Sampling Efficiency for Language Models
-
提出水印强度的量化度量(期望 KL 散度)并完整刻画其与推测采样效率的 Pareto 权衡曲线,进而通过将接受决策伪随机化实现最大水印强度和最优采样效率的同时达成。
- No Caption, No Problem: Caption-Free Membership Inference via Model-Fitted Embeddings
-
提出 MoFit,首个面向无标题场景的扩散模型成员推断攻击框架,通过构建过拟合于目标模型的代理图像和条件嵌入,利用成员样本对条件错配的不对称敏感性实现有效推断。
- Understanding Sensitivity of Differential Attention through the Lens of Adversarial Robustness
-
首次从对抗鲁棒性角度分析 Differential Attention(DA)机制,揭示其减法结构在抑制噪声的同时会通过负梯度对齐放大对抗扰动敏感度,发现"脆弱性原理"——DA 在干净样本上提升判别力但在对抗攻击下更脆弱,且存在深度依赖的鲁棒性交叉效应。
- A Bayesian Nonparametric Framework for Private, Fair, and Balanced Tabular Data Synthesis
-
本文把条件式 VAE-GAN 生成器嵌入贝叶斯非参数学习(BNPL)框架,用 Dirichlet 过程做全局隐私、用 copula 基测度做逐列局部隐私、用 BNP 互信息正则做公平、用 KL 散度做类别平衡,首次在一个有理论保证的统一框架里同时处理隐私、公平、类别不平衡三个约束,并支持非二值敏感属性。
- A Fair Bayesian Inference through Matched Gibbs Posterior
-
针对"公平模型只给一个点估计、不会量化预测不确定性"的痛点,本文把群公平约束塞进贝叶斯框架,提出以匹配偏差(matched deviation)为惩罚项的 matched Gibbs 后验,把匹配函数 \(T\) 也当成可学习参数来回避对抗训练,从而用一个每步 \(O(n)\) 的 Gibbs 采样器同时拿到"满足人口学平价约束"和"校准良好"的后验分布。
- A General Framework for Black-Box Attacks Under Cost Asymmetry
-
针对"不同查询代价不一样"(如向 NSFW 检测器提交违规图片会触发封号)的现实场景,本文提出一个能适配任意成本比 \(c^\star\) 的决策型黑盒攻击通用框架:用非对称搜索 AS 替换二分搜索、用非对称梯度估计 AGREST 替换标准蒙特卡洛梯度估计,在不丢弃原攻击核心组件的前提下把总查询成本压到最低,扰动范数最多再降 40%。
- A Unified Total Variation Framework for Membrane Potential Perturbation Dynamic
-
本文证明了脉冲神经网络(SNN)中用于刻画对抗扰动的「膜电位扰动动态(MPPD)」本质上就是一个全变分(TV)算子,进而把现有的均方 MPPD 正则等价为 TV-ℓ2 框架,并提出更强的 TV-ℓ1 框架——借助 coarea 公式获得对尖锐对抗噪声更好的抑制能力,在高斯/对抗训练下都把 SNN 的鲁棒精度刷到新高。
- A2ASecBench: A Protocol-Aware Security Benchmark for Agent-to-Agent Multi-Agent Systems
-
这篇论文首次系统地评估了 Agent-to-Agent(A2A)协议驱动的多智能体系统的安全性:作者提出一套覆盖"供应链操纵"和"协议逻辑弱点"两大类、共 6 种协议感知攻击的威胁分类法,并据此构建首个 A2A 专用安全 benchmark——A2ASecBench,用动态适配器把攻击迁移到不同 agent 栈与下游任务、用"安全-效用联合评测"同时量化危害性与有用性,在官方 A2A demo 的旅行/医疗/金融三个高风险场景里发现多数攻击的攻击成功率(ASR)高达 100%,且能迁移到 LangGraph、ANP 等其他生态。
- Action-Free Offline-to-Online RL via Discretised State Policies
-
首次形式化"无动作离线到在线RL"设定,提出OSO-DecQN算法:通过将连续状态差分离散化为{-1, 0, 1}三类标记,在仅含(s, r, s')元组的数据上预训练状态策略(预测期望的下一状态变化方向而非动作),再通过策略切换机制+在线训练的逆动力学模型将状态策略转化为可执行动作,引导在线agent加速学习,在D4RL和DeepMind Control Suite上(含78维状态空间)一致提升收敛速度和渐近性能。
- Adaptive Logit Adjustment for Debiasing Multimodal Language Models
-
ALA 是一种后处理去偏方法:在自回归生成的每一步,用外部图像/文本分类器测出"图像该有的属性"与"文本当前流露的偏见"之间的偏差,再沿梯度方向只对偏见相关词的 logit 做按比例微调,从而在不改动模型内部表征、不重训的前提下,把图文属性对齐或中和有害刻板印象,且几乎不掉模型实用性。
- Adaptive Methods Are Preferable in High Privacy Settings: An SDE Perspective
-
首次用随机微分方程(SDE)框架分析差分隐私优化器,揭示 DP-SGD 和 DP-SignSGD 在隐私噪声作用下的本质差异:自适应方法在高隐私设置下具有更优的隐私-效用权衡 \(\mathcal{O}(1/\varepsilon)\) vs \(\mathcal{O}(1/\varepsilon^2)\),且超参数跨隐私预算可迁移。
- Adversarial Attacks Already Tell the Answer: Directional Bias-Guided Test-time Defense for Vision-Language Models
-
作者发现对抗样本在 CLIP 特征空间里经过多种图像变换后会沿一个"主方向"集体偏移(而干净样本是发散的),这个方向恰好指回正确类别中心,于是提出无需训练的测试时防御 DBD:估计"防御方向"并用基于 DB-score 的双流特征重构修复表征,在 15 个数据集上不仅刷新对抗鲁棒性 SOTA,还出现"对抗准确率反超干净准确率"的反直觉现象。
- All Code, No Thought: Language Models Struggle to Reason in Ciphered Language
-
作者系统测试了 10 个模型在 28 种密码(cipher)下的数学推理能力,发现一个关键的"不对称性":模型能流畅地把密文翻译回英文(看得懂),但用密文推理时准确率却大幅下降(想不通),说明现阶段 LLM 想靠密文化思维链来逃避监控并不可行。
- AP-OOD: Attention Pooling for Out-of-Distribution Detection
-
提出AP-OOD,将Mahalanobis距离的均值池化替换为可学习的注意力池化,解决了均值池化丢失token级异常信息的问题,在文本OOD检测中将XSUM摘要的FPR95从27.84%降至4.67%,支持无监督到半监督的平滑过渡。
- ATEX-CF: Attack-Informed Counterfactual Explanations for Graph Neural Networks
-
提出 ATEX-CF 框架,首次将对抗攻击的边添加策略与反事实解释的边删除策略统一起来,通过联合优化预测翻转、稀疏性和合理性,为 GNN 生成更忠实、更简洁、更合理的实例级反事实解释。
- Automatic Dialectic Jailbreak: A Framework for Generating Effective Jailbreak Strategies
-
ADJ 把对大模型的越狱攻击建模成攻击者与防御者之间一场「黑格尔辩证式辩论」的 Stackelberg 多目标博弈,通过正题—反题—合题的迭代逼出多样且抗防御的越狱策略,并用 Haar 小波把梯度投到 Hilbert 空间里求公共下降方向、配 Armijo 线搜索收敛到 Pareto–Nash 均衡,在 AdvBench / HarmBench 上 ASR 与 Harmful Score 全面超过 GCG、PAIR、AutoDAN-turbo 等基线。
- Back to Square Roots: An Optimal Bound on the Matrix Factorization Error for Multi-Epoch Differentially Private SGD
-
提出 Banded Inverse Square Root (BISR) 矩阵分解方法,通过对逆相关矩阵(而非相关矩阵本身)施加带状结构,首次在多轮参与差分隐私 SGD 中实现渐近最优的分解误差界,并配套低存储优化变体 BandInvMF。
- Benchmarking Bias Mitigation Toward Fairness Without Harm from Vision to LVLMs
-
本文提出 NH-Fair,一个覆盖经典视觉模型与大型视觉语言模型(LVLM)、统一了数据/指标/训练协议的"无害公平"评测基准,并通过两阶段选模(DTO 选 ERM 基线 + FWH 四区选缓解方法)系统证明:很多专门的去偏算法并不能稳定超过精调的 ERM,数据增强反而是最实用的无害提升路径,而单纯把模型做大并不会让模型更公平。
- Benchmarking Stochastic Approximation Algorithms for Fairness-Constrained Training of Deep Neural Networks
-
这篇论文把"训练公平的深度网络"统一形式化成带不等式约束的随机优化问题(约束子群之间的损失差),指出当前没有任何算法能在"随机+不等式+非凸+非光滑"全场景下给出收敛保证,于是从文献里挑出三类最贴近该场景、但此前一直没人实现的随机近似算法,把它们全部实现进一个 Python 工具箱,并在美国人口普查真实大规模数据(Folktables/ACSIncome)上首次系统对比它们的优化性能与公平性表现。
- Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning
-
提出 Daze 攻击——恶意模拟器开发者无需访问或修改智能体的奖励函数,仅通过操控状态转移来植入后门:智能体在触发状态下不执行目标动作时被迫执行随机动作("眩晕"),从而在理论上保证攻击成功且隐蔽,并首次在真实机器人硬件上演示了 RL 后门攻击。
- Beyond Match Maximization and Fairness: Retention-Optimized Two-Sided Matching
-
提出Matching for Retention(MRet)算法,首次将双边匹配平台的优化目标从"最大化匹配数"或"满足公平性"转向"直接最大化用户留存率",通过学习个性化留存曲线并利用凹函数性质将NP-hard的双方留存增益联合优化降为O(N log N)的排序问题,在合成数据和日本大型约会平台真实数据上均显著提升留存。
- Beyond Membership: Limitations of Add/Remove Adjacency in Differential Privacy
-
论文指出主流 DP 库默认的 add/remove 邻接只保护"成员是否在训练集里",对"已知在训练集里、想推断其属性/标签"的攻击其实只能提供 substitute 邻接下弱得多的保护;作者设计了一套面向 substitute 邻接的 canary 审计工具,实证出经验隐私泄漏可以突破 add/remove 报出的 \(\varepsilon_{AR}\) 上界,却紧贴 substitute 账本预测的 \(\varepsilon_S\)。
- Black-Box Privacy Attacks on Shared Representations in Multitask Learning
-
本文提出"任务推断(task-inference)"威胁模型,证明仅靠对多任务学习共享表示的黑盒查询、拿到同一任务若干样本的 embedding,攻击者就能在不训练影子模型、不用任何参考数据的前提下,判断某个任务是否被纳入了训练集——核心抓手是同一任务的 embedding 之间存在强协同依赖。
- Bridging Fairness and Explainability: Can Input-Based Explanations Promote Fairness in Hate Speech Detection?
-
首次系统性量化分析输入归因解释(input-based explanations)与公平性的关系:发现解释能有效检测有偏预测、可作为训练正则化减少偏见,但不能用于自动选择公平模型。
- Certifying the Full YOLO Pipeline: A Probabilistic Verification Approach
-
本文提出 ODPV——首个能在实际规模上验证完整 YOLO 检测流水线(含 NMS 后处理)对"物体消失"攻击鲁棒性的 PAC 概率验证框架,用"输出近似 → NMS 形式化验证 → 反例精化"三步把高维检测网络的认证变成可行的采样问题。
- CIMemories: A Compositional Benchmark For Contextual Integrity In LLMs
-
CIMemories 是一个评测「记忆增强 LLM 会不会在不该说的场景里把记忆里的隐私属性说出去」的组合式 benchmark:它用每人 100+ 属性的合成用户画像配上几十个社交任务,逐个 (属性, 任务) 标注「该说 / 不该说」,结果发现前沿模型最高有 69% 的属性级越界,且降低越界往往以牺牲任务完整性为代价,越界还会随任务数和采样次数不断累积。
- Closing the Safety Gap: Surgical Concept Erasure in Visual Autoregressive Models
-
这篇论文针对视觉自回归文生图模型缺少安全概念擦除机制的问题,提出 VARE 与 S-VARE,用辅助视觉 token 稳定擦除训练,并用过滤交叉熵和保持损失实现“只删目标概念、尽量不伤生成能力”的外科式概念擦除。
- Co-LoRA: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients
-
提出 FedMosaic 框架解决个性化联邦学习中的双重异构问题:RELA 通过梯度相似度度量任务相关性实现定制化聚合(解决数据异构),Co-LoRA 通过维度不变的 \(P \in \mathbb{R}^{r \times r}, Q \in \mathbb{R}^r\) 模块实现跨异构架构(如 Llama vs Qwen)的知识共享(解决模型异构),在新提出的 40 任务多模态 PFL benchmark DRAKE 上大幅超越 SOTA。
- CodeGenGuard: A Watermark for Code Generation Models
-
CodeGenGuard 用"语义保持变换 (SPT)"作为水印模式,配合可优化 token 触发器、双 LoRA 影子训练和辅助语义提示,在参数公开的代码生成模型上嵌入一个对微调/蒸馏鲁棒、且几乎不损害代码生成质量的所有权水印。
- Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing
-
这是第一项把 AI 智能体和真人网络安全专家放进同一个真实生产网络(某大学约 8000 台主机)做渗透测试的对照评测:作者同时跑 10 位专业渗透测试员、6 个现有智能体脚手架和自研的多智能体框架 ARTEMIS,结果 ARTEMIS 以 9 个有效漏洞、82% 有效提交率拿下总榜第二、压过 10 人中的 9 人,而 Codex、CyAgent 等现成脚手架几乎垫底——同时暴露出 AI 在系统化枚举/并行利用/成本上的优势与高假阳率、不会操作 GUI 的短板。
- Computational Barriers to Filtering for AI Alignment
-
这篇论文用密码学证明:当安全过滤器的算力严格弱于被监管的 LLM 时,无论过滤输入 prompt 还是过滤输出,都存在「可证明无法被高效过滤器识别、却能可靠诱发 LLM 有害行为」的对抗 prompt,因此纯外部(黑盒)过滤无法保证对齐,监管必须触及模型权重内部。
- Concept-Aware Privacy Mechanisms for Defending Embedding Inversion Attacks
-
针对"差分隐私防御对所有嵌入维度无差别加噪、导致语义被破坏"的痛点,本文提出 SPARSE:先用可微神经元掩码学习定位与用户指定隐私概念相关的敏感维度,再用马氏机制(Mahalanobis mechanism)注入按维度敏感度校准的椭球噪声,从而只扰动敏感维度、保留非敏感语义,在六个数据集上同时降低隐私泄露并保住下游效用。
- Concept-based Adversarial Attack: a Probabilistic Perspective
-
把对抗攻击从"扰动单张图像"升级为"扰动整个概念分布"——用扩散生成模型把一只特定柯基的多姿态多视角图像拟合成一个概念分布,再从这个概念分布与受害分类器分布的乘积里采样,生成既保留原概念身份、又能高成功率骗过分类器的对抗样本(白盒定向攻击成功率从 ProbAttack 的 59% 提到 98%)。
- Control Tax: The Price of Keeping AI in Check
-
这篇论文提出"控制税(Control Tax)"——即把 AI 控制(AIC)措施接入流水线所需付出的运营与金钱成本,先用 APPS 代码后门任务实测一批前沿模型当 monitor 的 ROC 性能,再用博弈论把这些 ROC 曲线翻译成"给定审计预算下的安全概率",最终画出"安全 vs 监控花费"的帕累托前沿,告诉实践者最贵的监控器并不一定最安全。
- Convergent Differential Privacy Analysis for General Federated Learning
-
本文用 f-DP 框架 + shifted interpolation 技术,首次证明了非凸光滑目标下两类经典联邦学习方法(Noisy-FedAvg / Noisy-FedProx)的"最坏隐私"在通信轮数 \(T\to\infty\) 时收敛到常数下界而非发散,从理论上推翻了"FL-DP 长期训练必然耗尽隐私预算"的旧认知。
- Dataless Weight Disentanglement in Task Arithmetic via Kronecker-Factored Approximate Curvature
-
该工作将曲率近似的经典理论(KFAC)与任务算术的实际需求巧妙结合,提出了一种无需外部数据的权重解缠正则化方法。理论推导清晰,从表征漂移正则化 → Jacobian Gramian → GGN → KFAC 的逻辑链条流畅。实验覆盖视觉和语言两个领域的多种模型规模,对 \(\alpha\) 超参数的鲁棒性分析很实用。不足在于 KFAC 对大模型仍有 \(O(d^2)\) 存储开销,且在文本领域与使用外部数
- Dataset Distillation for Memorized Data: Soft Labels can Leak Held-Out Teacher Knowledge
-
本文系统地证明:在数据蒸馏中,只用教师的软标签训练学生,学生能在自己从未见过、且无法靠泛化推断的"被记忆数据"上取得远超随机的准确率——这既是高效迁移记忆知识的途径,也是一条隐性的隐私泄漏通道,其强弱由样本复杂度和 softmax 温度精确调控。
- Decoupling the Class Label and the Target Concept in Machine Unlearning
-
本文指出传统类别遗忘默认"类别标签 = 想抹掉的目标概念",而真实的删除请求往往二者错配;为此作者把遗忘数据、模型输出、目标概念拆成三个标签域,定义出 target/model/data 三类错配任务,并提出 TARF 框架——用"表示引力"识别藏在剩余集里的同概念数据,再用退火梯度上升 + 目标感知梯度下降的三阶段动态目标,把目标概念精确剥离、逼近重训模型。
- Defending against Backdoor Attacks via Module Switching
-
针对"拿到来历不明的预训练模型、却没有训练数据和触发器先验"的后训练场景,本文提出模块交换防御(MSD):把同结构的多个可疑模型按层/按模块互相交换权重,打断后门所依赖的"捷径通路",在理论上证明其后门偏离度严格高于权重平均(WAG),并用进化搜索找出最优交换方案,仅需两个模型和 20–50 张干净验证样本即可显著降低攻击成功率。
- Designing Affine-Invariant Neural Networks for Photometric Corruption Robustness and Generalization
-
本文提出 SEqSI,一种把首层做成强度平移不变、把后续骨干做成强度缩放等变的 CNN 设计,在几乎不增加计算成本的情况下,为分类、定位和分割等任务提供对全局亮度/对比度仿射变化的可验证鲁棒性,并在 Cryo-ET 与显微图像等真实光度域偏移中明显优于普通网络。
- Differentially Private Two-Stage Gradient Descent for Instrumental Variable Regression
-
本文提出 DP-2S-GD——第一个面向工具变量回归(IVaR)的差分隐私算法:把经典的两阶段最小二乘(2SLS)改写成两阶段梯度下降,在每步梯度更新里做逐样本裁剪并注入校准好的高斯噪声,从而满足 \(\rho\)-zCDP,并给出了显式刻画"优化—隐私—采样"三方权衡的有限样本收敛率。
- Discrete Latent Features Ablate Adversarial Attack: A Robust Prompt Tuning Framework for VLMs
-
DEFEAT 发现「把 CLIP 的图像潜在特征离散化」能天然削弱对抗扰动,于是在提示调优框架里插入一个基于 VQ-VAE 的 PerturbShield 模块来重建 grid 特征,再用 logits 融合在鲁棒与干净精度间取平衡,15 个数据集上对抗少样本分类的鲁棒/精度调和均值比此前 SOTA 平均提升 13.76%。
- Distributional Machine Unlearning via Selective Data Removal
-
把"遗忘一整个不想要的子分布"形式化为信息论问题,证明只删掉离保留分布最远的一小撮高影响样本,就能在低散度场景下比随机删除获得二次方的样本效率提升,实测可比"全删"少删 15–82% 的数据。
- Do LLMs Forget What They Should? Evaluating In-Context Forgetting in Large Language Models
-
本文提出 ICF-Bench——首个系统评测 LLM「上下文内选择性遗忘」能力的基准,用配对的 NoForget/Forget 任务和 SFRR 指标揭示出一个反直觉的事实:模型记得住,却忘不掉,且记忆能力越强并不意味着遗忘能力越强。
- Don't Shift the Trigger: Robust Gradient Ascent for Backdoor Unlearning
-
作者发现用梯度上升(GA)做后门遗忘并没有真正"擦掉"触发器,而是把它的影响搬到了另一个类别(称为"触发器漂移"),并提出 Robust Gradient Ascent(RGA)——用一个基于 KL 散度的自适应权重在后门被中和时自动关闭梯度上升,再配 L2 锚定正则稳住优化,从而既去掉后门又不引入新的误分类。
- Doubly-Regressing Approach for Subgroup Fairness
-
当敏感属性很多导致子群数量爆炸、很多子群样本极少时,本文提出"子群子集公平"概念并用 supIPM 度量,再通过一个把权重向量和判别器同时回归的"双重回归 \(R^2\)(DR²)"代理目标,只用单个判别器就能同时保证所有大子群和边际属性的分布公平,在子群极度稀疏的数据集上显著优于现有方法。
- DPQuant: Efficient and Private Model Training via Dynamic Quantization Scheduling
-
DPQuant 首次指出"低比特量化在差分隐私(DP)训练里会造成远比普通训练严重的精度崩塌",并用"每个 epoch 概率性轮换被量化的层 + 用 DP 损失敏感度估计器优先量化低影响层"两招把量化方差压下去,在 ResNet/DenseNet/BERT 上做到掉点 <2%、理论加速最高 2.21×。
- DRIFT: Divergent Response in Filtered Transformations for Robust Adversarial Defense
-
DRIFT 在冻结分类器前面挂一组轻量可学习滤波器,用"共识发散"损失主动把不同滤波器的梯度方向逼散,从而打掉对抗扰动赖以迁移的"梯度共识";在 ImageNet 上对 CNN 和 ViT,面对 PGD-EoT、AutoAttack、BPDA 等强自适应攻击都拿到当前最好的鲁棒精度,而几乎不增加推理开销。
- Dual Randomized Smoothing: Beyond Global Noise Variance
-
本文指出标准随机平滑(RS)用一个全局噪声方差服务所有输入,导致小半径和大半径无法兼顾;作者先从理论上证明只要噪声方差在认证区域内"局部恒定"RS 认证依然成立,进而提出双 RS 框架——先用一个 RS 模型为每个输入预测最优方差、再用另一个 RS 分类器在该方差下分类,在 CIFAR-10 和 ImageNet 上同时拿到了小半径和大半径的强性能,推理开销仅增加约 60%。
- EigenScore: OOD Detection using Posterior Covariance in Diffusion Models
-
本文提出 EigenScore:把在 InD 数据上训好的扩散模型搬到 OOD 样本上时,去噪后验协方差会在主方向上系统性膨胀,于是用其特征值谱(top-K 特征值之和)作为分布偏移的信号,并用免雅可比的子空间迭代高效估计,在标准 OOD 基准上平均 AUROC 达到 SOTA(最高比最佳基线高约 2%),尤其在 CIFAR-10 vs CIFAR-100 这类近 OOD 场景下不崩。
- Eliciting Harmful Capabilities by Fine-Tuning on Safeguarded Outputs
-
即使前沿模型用分类器牢牢守住了直接有害的输出,攻击者仍可以让它回答"表面无害"的邻近领域问题(如有机合成),再用这些问答对去微调开源模型,从而把危险能力"诱导"到不会拒答的开源模型上——本文在化学武器场景下证明这种"诱导攻击"能恢复约 40% 的能力差距,并揭示了输出级护栏在生态层面的失效。
- Exponential-Wrapped Mechanisms: Differential Privacy on Hadamard Manifolds Made Practical
-
把"在切空间采样 + 指数映射推前"这一简单技巧系统化成 Exponential-Wrapped Laplace/Gaussian 机制,首次在一般 Hadamard 流形上统一实现 ε-DP、(ε,δ)-DP、GDP、RDP,并彻底甩掉 MCMC 采样,让流形数据的差分隐私真正变得可算、可扩展。
- Expressiveness of Multi-Neuron Convex Relaxations in Neural Network Certification
-
本文首次严格刻画了多神经元凸松弛的表达能力,证明它们和单神经元松弛一样天然不完备(把"单神经元凸障碍"推广为"普适凸障碍"),但通过等价网络变换或输入域凸多面体划分可以恢复完备性,且其划分复杂度严格优于单神经元松弛。
- Fair Classification by Direct Intervention on Operating Characteristics
-
不在分类器空间里搜索,而是直接在预训练分类器的群组级 ROC 凸包(operating characteristic 空间)上做几何优化,先定位满足多个公平约束的最优工作点,再用最少的标签翻转把基分类器后处理到该工作点,从而以接近 oracle 的精度损失同时满足 DP、EO、PP 等多个公平指标。
- Fair Conformal Classification via Learning Representation-Based Groups
-
FAREG 把"找出被算法歧视的子群"这件事从原始特征空间搬到一个由变分信息瓶颈学出来的隐表示空间,因此能捕捉到像异或这种非线性组合定义的不公平子群,再对这些子群单独做共形校准,在保证自适应等化覆盖的同时把预测集做得又小又快(复杂度 \(O(N+M)\),远低于 AFCP 的 \(O(N\log N+NM)\))。
- Fair Decision Utility in Human-AI Collaboration: Interpretable Confidence Adjustment for Humans with Cognitive Disparities
-
针对"专家和新手共用同一套 AI 辅助决策"场景,本文指出现有的校准(calibration)和人对齐(human-alignment)都无法保证不同认知能力人群获得公平的决策效用,提出新目标 组间对齐(inter-group-alignment) 并用 认知感知多重校准 同时实现高效用和效用公平。
- Fair Graph Machine Learning under Adversarial Missingness Processes
-
本文揭示了一个被忽视的攻击面——对抗性的敏感属性缺失过程可以让填补模型"看起来很公平"从而欺骗公平 GNN,并提出 BFtS:一个用三玩家对抗博弈、按"最坏情况公平"来填补缺失敏感值的框架。
- Fair Reinforcement Learning for Just AI
-
把"分位数公平"从需要完整 MDP 转移表的表格算法,改造成只调用标准策略优化 oracle(约 \(O(n)\) 次)的 oracle-efficient 算法,让"在多个冲突价值观之间做公平聚合"第一次能跑进深度 RL 规模,速度比前作快几个数量级。
- Fairness via Independence: A General Regularization Framework for Machine Learning
-
本文提出用 Cauchy-Schwarz(CS)散度作为公平性正则项,去最小化"模型预测"与"敏感属性"之间的统计依赖,用一个与模型无关、与具体公平定义无关的统一框架,在保持精度的同时同时改善 △DP 和 △EO,且对超参变化更鲁棒。
- Fairness-Aware Multi-view Evidential Learning with Adaptive Prior
-
针对多视图证据学习中"样本更倾向于把支持证据分给数据多的类、导致不确定性估计不公平"这一被忽视的问题,本文提出 FAML:用基于训练轨迹的自适应先验替代证据深度学习里固定的均匀先验、加上公平性约束和视图意见对齐,在六个真实多视图数据集上同时提升了分类精度(尤其尾部类)和不确定性可靠性。
- FaLW: A Forgetting-aware Loss Reweighting for Long-tailed Unlearning
-
首次研究"遗忘集呈长尾分布"这一真实场景,发现现有近似遗忘方法会产生异质遗忘偏差与倾斜遗忘偏差,并提出即插即用的实例级动态损失重加权方法 FaLW,用"未见数据的预测概率分布"来度量每个样本的遗忘状态、自适应调节遗忘力度。
- Federated Learning of Quantile Inference under Local Differential Privacy
-
本文提出一种在局部差分隐私(LDP)下做联邦分位数推断(不只是点估计)的 Local-SGD 算法,通过一个隐私机制把 LDP 问题等价化约成非私有问题,进而在分位数损失非光滑的条件下首次建立了 Local SGD 的弱收敛理论,并用自归一化技术免去对渐近方差的估计、直接构造有效置信区间。
- FERD: Fairness-Enhanced Data-Free Adversarial Robustness Distillation
-
FERD 首次把"鲁棒公平性"引入数据无关鲁棒蒸馏,通过对合成样本的类别比例重加权和对抗目标的分布均匀化,让学生模型在最弱类别上的鲁棒性大幅提升,缓解了类间鲁棒性严重失衡的问题。
- Fine-Grained Class-Conditional Distribution Balancing for Debiased Learning
-
本文把无偏置标注的 group-robust learning 拆成“先用模型过拟合找偏置模式、再按混淆矩阵做细粒度类条件分布匹配”,提出 MST 与 FG-CCDB,在真实二分类、多 shortcut 和极端多分类场景中接近甚至超过依赖人工 group 标注的方法。
- Fine-Grained Privacy Extraction from Retrieval-Augmented Generation Systems by Exploiting Knowledge Asymmetry
-
本文提出一个黑盒攻击框架,利用「RAG 系统」与「标准 LLM」之间的知识不对称作为诊断信号,把 RAG 回答按句切分后逐句打相似度分并训练分类器,从而精确定位哪些句子来自私有知识库,在单域场景 ESR 超 90%、多域超 80%,比基线高 30%+。
- Fingerprinting Deep Neural Networks for Ownership Protection: An Analytical Approach
-
AnaFP 把深度网络所有权保护中的“指纹应该离决策边界多远”从经验调参问题改写成 stretch factor 的可行区间求解问题,用鲁棒性下界和唯一性上界共同约束对抗样本指纹,在 CNN、MLP 和 GNN 上都比现有指纹方法更稳定地区分盗版模型与独立训练模型。
- Fisher-Rao Sensitivity for Out-of-Distribution Detection in Deep Neural Networks
-
本文用黎曼信息几何重新审视分布外(OoD)检测,把网络对输入的预测看成统计流形,发现 OoD 输入在训练好的参数处具有更高的局部 Fisher-Rao 敏感度;用 Fisher 信息矩阵(FIM)的迹来量化这种敏感度,作者从理论上推出"特征幅度 × 输出不确定度"这一乘积形式统一了已有 OoD 信号,并进一步用乘积流形构造把它升级成更鲁棒的加性分数,无需重训、无需 OoD 数据、单次前向就能取得有竞争力的检测效果。
- Formalising Human-in-the-Loop: Computational Reductions, Failure Modes, and Legal–Moral Responsibility
-
本文用可计算性理论中的 oracle 机器与「归约」概念,把五花八门的 Human-in-the-Loop(HITL)人类监督方案严格形式化为三类——平凡监控、端点干预、深度交互,再据此建立失效模式分类法并剖析 UK/EU 法律的盲点,最终揭示出一个无法回避的「责任归属 ↔ 技术可解释性」权衡。
- From "Sure" to "Sorry": Detecting Jailbreak in Large Vision Language Model via JailNeurons
-
JDJN 把 LVLM 越狱检测落到"神经元级"——用因果消融在每层定位出一小撮专门被越狱输入激活的 JailNeurons,再跨层聚合它们的激活训练一个轻量 SVM,从而以近乎零误报、超低延迟实现对未见攻击类型的强泛化检测。
- From Curiosity to Caution: Mitigating Reward Hacking for Best-of-\(N\) with Pessimism
-
把强化学习里"好奇心(curiosity)"奖励预测误差当作探索信号的思路反过来用——训练一个预测器去拟合奖励模型在典型回复上的内部特征,用预测误差作为"分布外不确定性"惩罚奖励分数,从而让 Best-of-\(N\) 采样在 \(N\) 增大时不再被奖励攻击拖垮,反而单调变好。
- Generative Adversarial Post-Training Mitigates Reward Hacking in Live Human-AI Music Interaction
-
针对实时旋律-和弦伴奏中 RL 后训练"为刷一致性奖励而坍缩成重复和弦"的奖励黑客问题,本文提出 GAPT:用一个与策略协同进化的判别器提供"像不像真实数据"的对抗奖励,配合两阶段自适应更新调度,在不牺牲和声一致性的前提下把输出多样性恢复到接近数据集水平,并在 12 位职业音乐人的实时对弹用户研究中显著提升适应速度与掌控感。
- Get RICH or Die Scaling: Profitably Trading Inference Compute for Robustness
-
本文提出 RICH 假设(Robustness from Inference Compute Hypothesis)——推理时计算只有在"被攻击数据的成分已被训练数据覆盖"时才能换来鲁棒性,并据此证明:先对 VLM 视觉编码器做轻量对抗微调,就能让扩展推理(CoT / budget forcing)从"几乎无效"变成"显著加固",呈现"富者愈富"的动态。
- Ghost in the Cloud: Your Geo-Distributed Large Language Models Training is Easily Manipulated
-
本文揭示了在地理分布式 / 联邦训练大模型的场景下,单个恶意客户端就能用一套带"隐藏触发器 + 伪对比安全对齐 + 下游性能保护"的攻击(CloudGhost),把越狱后门悄悄注入全局模型,在 74–93% 攻击成功率的同时让服务端两类防御几乎完全失效(检测真阳率 <5%)。
- GradPCA: Leveraging NTK Alignment for Reliable Out-of-Distribution Detection
-
GradPCA 利用 NTK alignment 导致的网络梯度低秩结构,对「类均值梯度」做 PCA 来刻画 ID 子空间,把梯度落在子空间外的输入判为 OOD,在多个图像分类基准上取得了比现有方法更一致(而非偶尔最优)的检测性能,并配上一套谱方法 OOD 检测的理论框架。
- GraphShield: Graph-Theoretic Modeling of Network-Level Dynamics for Robust Jailbreak Detection
-
GraphShield 把 LLM 内部的信息路由建模成「token–层」有向图,用 refusal 锚点(如 "cannot")量化「拒绝语义是否被真正传导到输出」,再从图上抽取多尺度结构/语义特征喂给轻量 SVM 检测越狱,只需单次前向就把 LLaMA-2 / Vicuna 的攻击成功率压到 1.9% / 7.8%。
- HiddenEcho: Mitigating Noise Amplification in Differentially Private LLMs with Hidden-State Correction
-
针对差分隐私噪声在 LLM transformer 层间逐层放大、严重拖垮下游任务的问题,HiddenEcho 让服务器把中间隐藏状态回传给客户端,用一个轻量去噪模块基于干净 embedding 端到端地逐层校正噪声,免预训练,同时用梯度选层 + 信息瓶颈压缩把通信开销砍掉 85% 以上。
- Hot PATE: Private Aggregation of Distributions for Diverse Tasks
-
本文提出 Hot PATE,用「协调采样(coordinated sampling)」让 teacher 集成在共享随机性下投票,使隐私直方图变得峰锐且高方差,从而在不增加隐私代价的前提下把生成模型的输出多样性无损地转移给学生,彻底改善了 Cold PATE 在多样性场景下的隐私-效用权衡。
- How Catastrophic is Your LLM? Certifying Risks in Conversation
-
本文提出 C3LLM——第一个对 LLM 多轮对话灾难性风险给出统计认证下界的框架:把对话建模为查询图上的 Markov 过程,对整个对话分布(而非固定攻击序列)采样,用 Clopper–Pearson 置信区间证明"该模型在某分布下产生灾难性输出的概率至少为 p",对前沿模型测出最高 70%+ 的认证下界。
- How to Cure Newton for Unlearning Neural Networks? An Empirical Study from the Hessian Perspective
-
本文发现牛顿型二阶遗忘(Newton unlearning)在真实神经网络/LLM 上会因 Hessian 退化(大量零/负特征值)而失效,提出基于三次正则化的 CuReNU 及其随机 Hessian-free 变体 CuReNUS,能自动确定阻尼因子 \(\gamma\)、保证收敛到二阶驻点,并在批量与序列遗忘乃至 LLM 规模上达到与 SOTA 经验方法相当的遗忘效果。
- HyCAS:用混合卷积与注意力随机性,同时打通认证鲁棒与经验鲁棒
-
HyCAS 把确定性的 1-Lipschitz 谱归一化卷积,和两类架构内部随机性(谱归一化随机投影 + 随机注意力噪声)耦合成一个全局 ≤2-Lipschitz 的随机化网络,从而在同一个模型里同时拿到可证明的 ℓ₂ 认证半径,和对强 ℓ∞ 攻击(APGD/AutoAttack)的经验鲁棒性。
- Identifying Robust Neural Pathways: Few-Shot Adversarial Mask Tuning for Vision-Language Models
-
本文提出 AdvMask:不改动 CLIP 预训练权重,只在视觉编码器上学一组二值掩码、关掉对对抗扰动敏感的参数,从而"挖出"一条天然抗攻击的鲁棒神经通路,并配合逐层自适应特征对齐损失(LAFA)专攻少样本场景下的对抗鲁棒微调。
- Inference-Time Personalized Safety Control via Paired Difference-in-Means Intervention
-
提出一种训练无关、推理时的激活干预方法 PCMS(Paired Contrast Mean Shift),用话题配对的均值差向量估计"有害方向"并从激活中减去它,在几乎不损失有用性的前提下按用户个性化偏好抑制特定类型(暴力/政治/性/心理健康)的内容。
- Information-Theoretic Membership Inference for Granular Quantification of Memorization
-
本文把当前 SOTA 的成员推断攻击 RMIA 重新表述为一个信息论形式的 InfoRMIA——用"目标点相对群体数据能为模型节省多少比特"的连续统计量替代 RMIA 离散的"支配计数",从而以更少的群体样本取得更强攻击;并进一步把序列级成员推断细化到 Token 级,精确定位 LLM 究竟记住了哪些(隐私)token。
- INO-SGD: Addressing Utility Imbalance under Individualized Differential Privacy
-
本文指出"个性化差分隐私"(IDP)会在训练集本身均衡的情况下凭空制造效用失衡——隐私要求更强的数据被严重欠表示,并提出 INO-SGD:在每个 batch 内按损失排序、对不重要梯度做"连续化"降权,从而在严格满足每位数据所有者 IDP 预算的前提下补偿更隐私群体的效用。
- Inoculation Prompting: Eliciting traits from LLMs during training can reduce trait expression at test-time
-
在微调数据前面加一句"主动召唤坏特质"的 system prompt(如"你总是说西班牙语"),测试时去掉这句话,模型就能学会想要的特质却几乎不表达那个被"接种"的坏特质——一个不改目标、不加数据、不动内部权重的极简选择性学习技巧。
- Jailbreaking on Text-to-Video Models via Scene Splitting Strategy
-
SceneSplit 把一句有害提示拆成多个"单看都人畜无害"的分镜,靠这些场景的时序组合把视频生成的输出空间挤压到不安全区域,再迭代改写最具影响力的场景去绕过视觉安全过滤器,在 5 个商用 T2V 模型上把越狱成功率(ASR)做到 68.6%–84.1%。
- JailbreakLoRA: Your Downloaded LoRA from Sharing Platforms might be Unsafe
-
本文指出 LoRA 共享平台存在被投毒的供应链风险:攻击者可训练一个既擅长下游任务、又能在触发词下越狱的恶意 LoRA,通过不确定性加权 + 梯度冲突缓解解决多目标训练干扰,再用触发词—肯定前缀注入借助推理时幻觉放大越狱效果,使恶意适配器更容易被平台推荐、被用户采纳。
- Knowledge Externalization: Reversible Unlearning and Modular Retrieval in Multimodal Large Language Models
-
本文提出 Knowledge Externalization(知识外化)——把敏感知识从 MLLM 内部参数"搬运"到外部记忆 token,使遗忘从"永久销毁"变成"可逆、可审计、可组合"的模块化操作:基础模型忘掉概念,但凭对应的记忆 token 即可高保真复原,还能对 token 单独编辑、把多个 token 自由拼接同时复原多概念。
- Label Smoothing Improves Machine Unlearning
-
本文把"负标签平滑"嫁接到梯度上升的机器遗忘里,提出即插即用的 UGradSL:在被遗忘数据上做带负平滑标签的梯度上升、在保留数据上做梯度下降,几乎不增加计算量就显著缩小了与"重训模型"的性能差距,并附带理论证明它能改善标签级局部差分隐私。
- LAMDA: A Longitudinal Android Malware Benchmark for Concept Drift Analysis
-
LAMDA 构建了一个覆盖 2013-2025 年、超过 100 万个 Android APK 的长期恶意软件基准,用 Drebin 静态特征、家族标签和多种时间切分系统揭示现有恶意软件检测器在真实概念漂移下会快速退化。
- Learnability and Privacy Vulnerability are Entangled in a Few Critical Weights
-
揭示隐私脆弱性集中在极少量关键权重中(可低至0.1%),且与学习能力高度纠缠(Pearson r>0.9),提出CWRF方法通过回绕并冻结隐私脆弱权重、仅微调其余权重来实现优越的隐私-效用权衡。
- Learning to Lie: Adversarial Attacks on Human-AI Teams and LLMs
-
本文设计了一个由真人三人 + 一个 AI 助手组成的智力游戏实验范式,让 AI 助手暗中变成"会学习撒谎"的对手——它用模型基强化学习(MBRL)预测人类信任的演化并择机欺骗,结果证明无论真人团队还是 LLM 团队都会被这种基于信任的攻击显著拖垮战绩。
- LingoLoop Attack: Trapping MLLMs via Linguistic Context and State Entrapment into Endless Loops
-
LingoLoop 通过给输入图像加微小对抗扰动,利用「词性先验压制 EOS」和「收缩隐藏状态诱导循环」两步,把多模态大模型逼进无穷重复输出,在放开生成上限时可产生比正常多 367× 的 token,造成算力/能耗耗尽式的拒绝服务。
- LiteGuard: Efficient Task-Agnostic Model Fingerprinting with Enhanced Generalization
-
LiteGuard 用"训练 checkpoint 扩增模型集 + 每个指纹配一个轻量局部验证器"两招,把任务无关模型指纹的训练模型需求压到极致(每个集合只需 1 个真实训练模型),在五类任务上 AUC 全面超越 SOTA 的 MetaV,同时把训练成本降低 5~10 倍。
- LitmusValues: Will AI Tell Lies to Save Sick Children? Litmus-Testing AI Values Prioritization with AIRiskDilemmas
-
本文提出 LitmusValues 评估框架与 AIRiskDilemmas 困境数据集,通过让模型在「价值互搏」的两难场景中做选择来揭示其真实价值排序,并证明这些揭示出的价值(哪怕是看似无害的「关怀」)能预测模型在已见与未见场景下的风险行为,从而充当 AI 风险的早期预警系统。
- Machine Unlearning under Retain–Forget Entanglement
-
针对"遗忘集和保留集语义纠缠"导致的相关样本误伤问题,提出两阶段优化框架:第一阶段用增广拉格朗日法激进遗忘并锁住无关保留样本,第二阶段用 Wasserstein-2 距离正则化的梯度投影修复语义相邻保留样本的精度,同时保住遗忘效果。
- Membership Privacy Risks of Sharpness Aware Minimization
-
本文首次系统性地揭示了 SAM(Sharpness-Aware Minimization)训练的模型虽然泛化性能更好,但反而比 SGD 更容易遭受成员推断攻击(MIA),并从记忆化行为和方差收缩两个角度给出了理论和实验解释。
- Memorization Through the Lens of Sample Gradients
-
本文提出累积样本梯度(CSG)——把"损失对输入的梯度"沿训练过程累加——作为 Feldman 记忆化分数的高效代理,理论上证明 CSG 同时被记忆化程度和学习时间线性界定,并由此发现"在权重范数峰值处早停"这一无需验证集的判据,把记忆化估计加速最多 5 个数量级。
- Missing Mass for Differentially Private Domain Discovery
-
本文把差分隐私"域发现"(从未知巨大字典里私有地挑出有信息量的高频项)的好坏,从"挑出多少个不同项(基数)"重新定义为"挑出多少质量(缺失质量 missing mass)",并据此证明了一个简单可扩展的加权高斯机制(WGM)在 Zipf 分布数据上具有近最优的 \(\ell_1\) 缺失质量保证、以及无分布假设的 \(\ell_\infty\) 保证;再用"半预算先发现域、半预算跑已知域算法"的元算法把这套保证推广到私有 top-k 与 k-命中集,实验证明在六个真实数据集上与现有方法持平或更优。
- Mitigating Privacy Risk via Forget Set-Free Unlearning
-
本文提出部分盲机器遗忘(partially-blind unlearning)设定和 RELOAD 方法,用训练末尾缓存的全数据梯度代替原始 forget set,通过一次反向遗忘梯度、选择性权重重初始化和 retain set 微调,在不保留待删除样本的情况下逼近从头重训模型,并在普通样本遗忘、LLM 实体遗忘和纠错遗忘上取得强结果。
- MOAI: Module-Optimizing Architecture for Non-Interactive Secure Transformer Inference
-
MOAI 用「列打包 + 对角打包跨层一致」的求值流、以及无旋转(rotation-free)的 Softmax/LayerNorm 算法,把纯 FHE 非交互式 Transformer 推理里最贵的 HE 旋转操作砍到极致(BERT-base 全程仅 9648 次矩阵乘旋转、Softmax/LayerNorm 旋转归零),相比 SOTA THOR 端到端提速 52.8%,单卡每条输入摊销 2.36 分钟。
- Monitoring Decomposition Attacks with Lightweight Sequential Monitors
-
针对"把有害目标拆成一串看似无害子任务"的分解攻击,本文构建了最大规模数据集 DecomposedHarm(4,634 对任务),并提出一个累积式序列监控框架:精心提示工程后的轻量模型(如 GPT-4o-mini)即可达到 93% 防御成功率,超过 Llama-Guard-4 与 o3-mini,同时成本降 90%、延迟降 50%。
- MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes
-
MoReBench 提出用专家手写的 23,018 条 rubric 准则去评测推理模型在 1,000 个道德困境上思考过程的结构质量(而非最终结论对错),并发现 scaling laws 与数学/代码基准都无法预测模型的道德推理能力。
- Multi-Feature Quantized Self-Attention for Fair Large Language Models
-
提出 MQAR:在冻结的 LLM 自注意力层前插一个「向量量化 + 对抗自编码器」的轻量插件,在不动 backbone、不接触预训练数据的前提下,把性别/种族等多个敏感属性信息从注意力表征里挤掉,同时把下游精度损失压在 0.4% 以内。
- MUSE: Model-Agnostic Tabular Watermarking via Multi-Sample Selection
-
MUSE 提出一种"多采样选择"的表格数据水印范式:对每行生成多个候选样本,用一个带密钥的打分函数挑出得分最高的那个,从而绕开扩散模型 DDIM 反演不可靠的难题,做到模型无关、可校准、低失真。
- Nasty Adversarial Training: A Probability Sparsity Perspective for Robustness Enhancement
-
本文把原本用于"防模型被蒸馏"的 Nasty Training 借来增强对抗鲁棒性:通过一个 vanilla 训练的"对手模型"做散度正则,逼迫目标模型输出稀疏的概率分布,从而拉大类间间隔、增大决策边界余量,以极低开销在 CIFAR / ImageNet 上取得 SOTA 鲁棒性,并给出了可解释的空间度量视角。
- NatADiff: Adversarial Boundary Guidance for Natural Adversarial Diffusion
-
NatADiff 用扩散模型把采样轨迹引向"真类与对抗类的交界处",生成的不是加扰动的约束对抗样本,而是天然混入对抗类语义线索的"自然对抗样本",从而在保持白盒攻击成功率的同时大幅提升跨架构迁移性,并在分布上更像真实的 test-time error。
- No Prior, No Leakage: Revisiting Reconstruction Attacks in Trained Neural Networks
-
本文从"防守"视角重新审视基于隐式偏置的训练数据重构攻击,严格证明在没有数据先验知识的情况下,攻击目标函数存在无穷多个彼此无法区分、且可任意远离真实训练集的全局最优解,进而说明此类攻击的"成功"本质上依赖外部先验而非隐式偏置本身泄露的信息。
- NoisePrints: Distortion-Free Watermarks for Authorship in Private Diffusion Models
-
NoisePrints 把扩散模型生成时的随机种子当作天然作者指纹,通过哈希种子生成初始噪声并与生成内容的 VAE latent 做相关性验证,在不改模型、不改采样、不做反演的前提下实现图像和视频生成内容的轻量级作者身份验证。
- On Optimal Hyperparameters for Differentially Private Deep Transfer Learning
-
本文系统研究了差分隐私(DP)迁移学习中裁剪界 \(C\) 和批量大小 \(B\) 这两个关键超参数,指出"强隐私就该用小 \(C\)、固定步数下用大 batch"这类主流经验法则是错的,并用一套基于 MSE 分解的最优裁剪理论和累积 DP 噪声分析,解释了为什么应该随"学习问题难度"联合调 \((C, B, \eta)\)。
- On the Interaction of Compressibility and Adversarial Robustness
-
本文给出一套统一的理论框架,证明神经元级与谱级两种「结构化压缩」会把参数能量集中到少数主导方向上,从而抬高网络的算子范数与 Lipschitz 常数、在表示空间制造出少量「高敏感方向」供对抗攻击放大,最终系统性地损害对抗鲁棒性;并在多种架构、数据集和训练范式上验证了这一鲁棒性上界的预测。
- Optimal Transport-Induced Samples against Out-of-Distribution Overconfidence
-
利用半离散最优传输(OT)的几何奇异边界定位语义模糊区域,在其附近生成代理OOD样本(OTIS),训练时通过置信度抑制损失迫使模型在结构性不确定区域给出均匀预测,从而系统性地缓解DNN的OOD过度自信问题。
- Optimizing Canaries for Privacy Auditing with Metagradient Descent
-
这篇论文用元梯度下降(metagradient descent)去直接优化隐私审计中使用的 canary(探针样本)集合,使得在黑盒、单次训练的差分隐私审计场景下,仅凭最终模型输出就能把经验隐私下界 \(\varepsilon\) 提升到现有随机/错标 canary 的数倍。
- PateGAIL++: Utility Optimized Private Trajectory Generation with Imitation Learning
-
PateGAIL++ 在联邦式差分隐私模仿学习框架里,按"每个样本的隐私敏感度"动态分配隐私预算、自适应注入 Laplace 噪声,并用 WGAN-GP 稳定离散轨迹下的策略训练,从而在相同隐私预算下显著改善合成移动轨迹的"隐私—效用"折中、对成员推断攻击近乎随机。
- PE-SGD: Differentially Private Deep Learning via Evolution of Gradient Subspace for Text
-
PE-SGD 把"梯度投影 + 私有进化合成数据"结合起来做差分隐私微调:用一个会随训练不断进化的合成数据集张成梯度投影子空间,并把 DP 噪声加在最优的投影系数上,在私有数据极少(M<500)、隐私预算极紧(ε=1)时显著超过 DP-SGD 及一众投影类基线。
- Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models
-
作者为整个 LAION-400M 数据集生成了 2.76 亿个人物边界框 + 感知性别/种族标签 + 人物级 caption,用这套首次覆盖全量 web 数据的标注审计出"男性、黑人、中东裔被过度关联到犯罪和负面内容"等系统性偏见,并证明 CLIP 与 Stable Diffusion 中 60–70% 的性别偏见可以用数据里"性别-概念共现频率"的一条线性拟合直接预测出来。
- Physically-Guided Optical Inversion Enable Non-Contact Side-Channel Attack on Isolated Screens
-
本文首次证明墙面漫反射散射光可以充当一条「光学投影侧信道」,并提出物理引导的反演网络 IR4Net,仅凭被动捕获的散射光斑、在无直视、无电磁、无网络连接的条件下,把物理隔离屏幕上的显示内容重建出来。
- Pisces: Cryptography-based Private Retrieval-Augmented Generation with Dual-Path Retrieval
-
Pisces 是首个基于密码学、且同时支持「语义 + 词法」双路检索的私密 RAG 检索框架:用 SimHash + oblivious filter 做语义粗筛、用多实例 labeled PSI 一次性算出 BM25 所需的全部词频,在同时保护用户查询和知识库的前提下,把检索精度做到与明文基线相差不超过 1.87%。
- PLAGUE: 终身学习驱动的多轮越狱即插即用框架
-
PLAGUE 把一次多轮越狱攻击的"生命周期"拆成 Planner / Primer / Finisher 三个可即插即用的阶段,配上 rubric 反思评分、回溯和基于目标嵌入检索的终身记忆,让红队智能体在相近或更少的查询预算下把攻击成功率(ASR)相对提升 30%+,在被认为极难越狱的 o3 和 Claude Opus 4.1 上分别打到 81.4% 和 67.3%。
- PluriHarms: Benchmarking the Full Spectrum of Human Judgments on AI Harm
-
PluriHarms 用"过采样生成 → 可解释特征抽取 → 遗传算法筛选"的自动化流水线,造出 150 条横跨"完全无害到明确有害"光谱、且刻意聚焦边界争议的 prompt,配上 100 名标注者的 15,000 条评分与人口学/心理特质,把"标注者异见"当成信号而非噪声来研究,并据此评测安全模型——发现个性化对齐能显著提升对人类危害判断的预测,但仍有很大改进空间。
- Prior-based Noisy Text Data Filtering: Fast and Strong Alternative for Perplexity
-
提出基于 token 先验(词频统计)的文本数据过滤方法,利用文档内 token 先验的均值和标准差作为 PPL 的近似替代,在 20 个下游基准上取得最高平均性能,同时比 PPL 过滤快 1000 倍以上。
- Privacy Beyond Pixels: Latent Anonymization for Privacy-Preserving Video Understanding
-
在冻结的视频基础模型上挂一个轻量「匿名适配器」,直接在潜特征空间里用自监督对抗训练抹掉肤色/性别/着装等私密信息,让一套匿名特征通用于动作识别、时序检测、异常检测等多种下游任务——隐私泄露下降 35%,下游任务性能只掉 1-2%。
- Private Rate-Constrained Optimization with Applications to Fair Learning
-
本文提出 RaCO-DP——一个差分隐私版的随机梯度下降-上升(SGDA)算法,通过把"群体公平"等各类速率约束统一成基于直方图的"广义速率约束",让整套约束优化的额外隐私开销只相当于每步私有估计一个 mini-batch 直方图的代价,从而在隐私-效用-公平三角上 Pareto 超越了现有私有公平学习方法。
- ProSafePrune: Projected Safety Pruning for Mitigating Over-Refusal in LLMs
-
本文把 LLM 的"过度拒绝"(把无害但带敏感词的指令也拒了)归因于参数里存在一小撮"过度放大有害特征"的低秩方向,于是用 SVD 拆出安全/有害/伪有害三类子空间、设计重叠算子精准定位伪有害指令里被放大的有害分量,再在最具判别力的中间层做行空间低秩剪枝,无需训练、不增推理开销,就把误拒率显著拉下来,同时还略微提升了通用任务表现。
- Protection against Source Inference Attacks in Federated Learning
-
针对联邦学习里"服务器猜某条数据属于哪个客户端"的来源推断攻击(SIA),本文指出标准 shuffle 不够用——攻击者能借影子数据集把打乱的模型重新映射回原主人;作者把参数级 shuffle 与剩余数系统(RNS)+ 一元编码组合到比特粒度,让服务器只能看到聚合结果、看不到任何单个客户端模型,从而把 SIA 成功率压回随机猜测水平,且几乎不损失联合模型精度。
- Reducing Information Dependency Does Not Cause Training Data Privacy. Adversarially Non-Robust Features Do.
-
本文用三个反直觉实验推翻了"降低训练数据-模型信息依赖能防止重建攻击"这一主流假设,证明模型逆向攻击(MIA)下的隐私其实来自"对抗非鲁棒特征",并据此提出反向对抗训练 AT-AT,把 ResNet-152 的重建率从 84% 压到 6.5%,同时精度高于现有 SOTA 防御。
- Reliable Poisoned Sample Detection against Backdoor Attacks Enhanced by Sharpness-Aware Minimization
-
本文发现投毒样本检测(PSD)方法在弱后门攻击下大幅失效的根本原因是"后门效应"太弱,于是提出用 Sharpness-Aware Minimization(SAM)训练特征提取模型来放大后门效应,从而即插即用地增强各类已有 PSD 方法,平均真阳率(TPR)提升 +34.3%。
- Remaining-data-free Machine Unlearning by Suppressing Sample Contribution
-
本文把"样本对训练的贡献"刻画为预训练模型对该样本的输入敏感度,并提出 MU-Mis:只用预训练模型和遗忘数据、不碰任何剩余数据,通过最小化"目标类与无关类的敏感度差"直接抹掉遗忘样本的贡献,首次让一个 remaining-data-free 方法在效用上追平依赖剩余数据的 SOTA。
- RESFL: An Uncertainty-Aware Framework for Responsible Federated Learning by Balancing Privacy, Fairness and Utility
-
RESFL 把"对抗式隐私解耦"和"不确定性引导的公平聚合"塞进同一条联邦学习流水线,用证据神经网络算出一个尺度无关的群组公平指标 UFM 来给客户端更新加权,在自动驾驶目标检测上同时压低隐私泄露、缩小群组差距,且几乎不掉精度。
- Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models
-
针对差分隐私联邦学习(DPFL)中直接套用 LoRA 会性能崩塌的问题,本文剖析出梯度耦合、噪声乘性放大、聚合后陷入尖锐解三大病根,提出 LA-LoRA——在每个本地轮内交替更新两个低秩矩阵、并用一个固定高斯低通滤波器平滑带噪梯度,在 Swin Transformer 和 RoBERTa 上都拿到 SOTA(Swin-B / Tiny-ImageNet / \(\epsilon=1\) 比最好基线 RoLoRA 高 16.83%)。
- Rethinking Pareto Frontier: On the Optimal Trade-offs in Fair Classification
-
本文把"给定模型结构下能达到的最优公平-精度权衡(model-specific Pareto 前沿)"重写成关于混淆向量的凸优化问题,证明了已有后处理前沿其实是次优的,进而提出带组相关偏置的末层重训练框架,并从理论上证明它严格优于随机翻转类后处理基线。
- ReTrace: Reinforcement Learning-Guided Reconstruction Attacks on Machine Unlearning
-
把"被遗忘数据"的恢复建模成强化学习问题——用遗忘前后两个模型之间残留的差异(trace)当作奖励信号,引导一个生成器在输入空间里搜索高奖励区域,从而在 ResNet 和 DistilBERT 等大模型上重构出本该被删除的样本与类别分布,实例级恢复成功率最高达 73.1%。
- Risk-Sensitive Agent Compositions
-
将Agent工作流形式化为有向无环图(Agent Graph),以max损失函数建模安全/公平/隐私需求,提出BucketedVaR算法通过联合界+动态规划在多项式时间内找到最小化VaR/CVaR的最优Agent组合,并证明在独立损失假设下渐近近最优。
- Robust Adversarial Attacks Against Unknown Disturbances via Inverse Gradient Sample
-
提出 IGSA(Inverse Gradient Sample-based Attack),用"逆梯度采样"主动找到对抗样本邻域内最具破坏性的扰动方向,再沿该方向做扰动引导优化,从而生成在各种未知扰动(模糊、JPEG、旋转、透视等)下仍能保持攻击成功率的鲁棒对抗样本,理论与实验都显著超过 EOT 等现有方法。
- Robust Adversarial Quantification via Conflict-Aware Evidential Deep Learning
-
针对证据深度学习(EDL)在对抗扰动下会"自信地犯错"的痛点,本文提出一个无需重训的后处理方法 C-EDL:对每个输入生成多个保标签的变换视图,量化这些视图在证据空间里的"冲突",并据此按需衰减证据来放大不确定性,从而把 OOD 数据的覆盖率最多降 ≈55%、对抗数据覆盖率最多降 ≈90%,同时几乎不损失 ID 精度与推理效率。
- Robust Federated Inference
-
本文首次形式化「鲁棒联邦推理」问题——多个本地模型的预测在服务器端被聚合,但其中最多 \(f<n/2\) 个客户端的输出可能被任意篡改——并给出第一份鲁棒性分析:当聚合器是平均型时推导出可证认证,当聚合器是非线性神经网络时把问题转化为对抗学习,进而用 DeepSet + 对抗训练 + 推理时鲁棒平均的组合(DeepSet-TM)把最差情形准确率比现有鲁棒聚合方法提升 4.7–22.2 个百分点。
- Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer with Epsilon-Scheduling
-
本文发现从非鲁棒预训练模型做鲁棒微调(RFT)时,哪怕用很小的对抗扰动也会出现"次优迁移"——干净精度大幅低于普通微调甚至接近随机;作者把根因归到"任务适应被延迟",提出 Epsilon-Scheduling(训练扰动强度先 0、再线性爬升到目标值的两段铰链调度)来先适应任务再上鲁棒约束,并提出 期望鲁棒性指标更全面地刻画精度-鲁棒性权衡,在 6 个骨干 × 5 个数据集上一致改善。
- Robust LLM Unlearning via Post Judgment and Multi-Round Thinking
-
针对"输入预过滤"式 LLM 遗忘方法在前缀/复合问题攻击下几乎完全失效的问题,本文提出 PoRT 框架——先用上下文学习清洗对抗输入,再对"清洗后的问答对"做带置信度的后判定,最后只对不合规/低置信输出触发多轮自纠正,使遗忘在对抗攻击下仍保持高鲁棒(TOFU 上 HFQ 稳定在 0.83 以上,WMDP 危险知识准确率贴近 25% 随机基线),同时几乎不损失通用效用、推理开销仅增加约 1%。
- Robust Optimization for Mitigating Reward Hacking with Correlated Proxies
-
这篇论文把 reward hacking 建模为“在所有与代理奖励保持 \(r\) 相关的可能真实奖励中,对最坏情况仍表现好”的 max-min 鲁棒策略优化问题,并给出通用 Max-Min 与线性奖励版 Linear Max-Min 两套算法,在 Traffic、Pandemic、Glucose、Tomato 和 RLHF 等环境上显著提升最坏情况回报和稳定性。
- Robust Spiking Neural Networks Against Adversarial Attacks
-
从理论上证明阈值邻近脉冲神经元是直接训练SNN对抗鲁棒性的关键瓶颈(它们既设定了对抗攻击强度的理论上界,又最容易发生状态翻转),并提出Threshold Guarding Optimization (TGO) 方法——通过膜电位约束+噪声LIF神经元双管齐下,在多种对抗攻击场景下取得SOTA鲁棒性,且推理阶段零额外开销。
- Robustify Spiking Neural Networks via Dominant Singular Deflation under Heterogeneous Training Vulnerability
-
作者发现脉冲神经网络(SNN)在"直接编码 + BPTT"主流训练范式下存在异构训练脆弱性——只要训练中混进一个分布略有差异的 batch 就会导致整网崩溃,并从理论上把根因归结为 Hessian 谱半径随时间步线性增长;据此提出无超参的 Dominant Singular Deflation(DSD),在每步反传时正交剔除梯度的主奇异分量来压低谱半径,在同构与异构训练下都显著提升了 SNN 的对抗鲁棒性。
- SafeDialBench:面向大模型多轮对话与多样越狱攻击的细粒度安全评估基准
-
本文提出 SafeDialBench——一个覆盖 6 大安全维度、7 种越狱攻击、22 个对话场景、4053 段中英双语多轮对话的安全评估基准,并配套一个细粒度评估框架,把"安全"拆成识别风险、处理不安全信息、保持一致性三种能力来打分,从而比以往"单轮 + 单一攻击"的基准更精确地刻画 19 个 LLM 的安全短板。
- SafeMoE: Safe Fine-Tuning for MoE LLMs by Aligning Harmful Input Routing
-
SafeMoE 指出 MoE LLM 在微调后会把有害输入从原本的安全关键专家路由开,并通过对 harmful instructions 的 router 分布做 KL 正则,把微调模型的路由拉回 safety-aligned 初始模型,从而在几乎不损失下游任务效果的情况下显著降低 harmful fine-tuning 风险。
- Sample-Efficient Distributionally Robust Multi-Agent Reinforcement Learning via Online Interaction
-
本文首次研究了分布鲁棒马尔可夫博弈(DRMGs)的在线学习问题,提出 MORNAVI 算法,在无需模拟器或离线数据的情况下,通过在线交互高效学习最优鲁棒策略,并提供了 TV 散度和 KL 散度不确定性集下的首个可证明遗憾界。
- SCOPED: Score–Curvature Out-of-Distribution Proximity Evaluator for Diffusion
-
SCOPED 把扩散模型分数函数的「平方范数 / 雅可比迹(曲率)」组成一个单一统计量 \(T(x)\) 来判断样本是否在分布内,靠 Hutchinson 估计器把曲率压成一次 JVP,只需 1~2 次前向评估就能逼近最强扩散类 OOD 方法的精度,比依赖完整去噪轨迹的方法少一个数量级的模型评估。
- Secure Outlier-Aware Large Language Model Inference
-
本文提出 SOAL 框架,发现 LLM 非线性层(归一化 / 激活 / Softmax)也普遍存在"离群激活"现象,并通过给输入前缀特殊 token 把离群值"关进"固定位置、再针对收窄后的输入域重设计 MPC 非线性协议,在不微调模型的前提下把安全推理中 RMSNorm 提速约 2×、SiLU 约 2×、Softmax 超 3×,整体加速近 2×。
- Self-Destructive Language Models
-
本文提出 SEAM,一种对齐阶段的防御方法:通过让良性任务与有害任务的梯度方向"反着走",把 LLM 训练成"自毁模型"——正常任务照常微调,一旦被有害数据微调就会大幅退化甚至彻底崩坏,让攻击者陷入"弱攻击破不了、强攻击模型自爆"的两难。
- SeRI: Gradient-Free Sensitive Region Identification in Decision-Based Black-Box Attacks
-
在只能拿到 top-1 标签、查询预算极紧的决策型黑盒攻击场景下,SeRI 提出一种基于"决策边界"的连续像素敏感度定义,并用递归区域细分 + 局部扰动增减的方式给每个像素估出敏感度权重,作为即插即用的扰动优化器,让 HSJA / CGBA / RayS / ADBA 等主流攻击在相同查询下把 \(\ell_2\) 扰动再压低约 15%~30%。
- Skirting Additive Error Barriers for Private Turnstile Streams
-
证明差分隐私旋转门流中的多项式纯加性误差下界(不同元素计数 \(\Omega(T^{1/4})\)、\(F_2\) 矩 \(\Omega(T)\))可以通过引入乘性误差来绕过——对不同元素计数实现 \((\text{polylog}(T), \text{polylog}(T))\) 混合误差,对 \(F_2\) 矩实现 \((1+\eta, \text{polylog}(T))\) 混合误差,且两者仅需 polylogarithmic 空间。
- STAR: Strategy-driven Automatic Jailbreak Red-teaming for Large Language Model
-
STAR 把越狱"策略"的探索从文本空间搬到模型的激活空间——用引导向量(steering vector)表示每条已知策略、对它们做 PCA 提取正交的"策略基元"再随机线性组合采样出大量全新且语义互异的策略,再用 GRPO 训练一个开源 LLM 当"编译器"把抽象策略翻译成高成功率的越狱 prompt,在攻击成功率和策略多样性上同时大幅超过 AutoDAN-Turbo 等 SOTA。
- STEDiff:揭示文生图扩散模型后门攻击中的时空冗余
-
作者首次揭示扩散模型后门攻击中存在大量"时空冗余"——只有少数关键权重(富集现象)和少数关键时间步(边际效应)真正参与后门注入;据此提出统一框架 STEDiff,攻击端 STEBA 把后门注入加速最高 15.07× 并省 82% 显存,防御端 STEDF 利用时空特征实现最高 99.8% 的实时后门检测。
- Strategic Obfuscation of Deceptive Reasoning in Language Models
-
本文发现 Claude 3.5 Sonnet 在被告知"思维链正在被监控"时,能在几乎不说出任何对齐伪装推理(verbalization 下降 93.7%)的情况下,依然保持 24.3% 的训练/部署合规差距——也就是说模型出于内在动机就能悄悄绕过监控;而通过指令明确教它隐藏推理的方法效果差得多(即使在更简单任务上、即使手把手协助,verbalization 也只降 47.6%),说明当前靠指令诱导来评估模型"隐藏推理"能力会严重低估真实风险。
- StyliTruth: Unlocking Stylized yet Truthful LLM Generation via Disentangled Steering
-
本文发现给 LLM 注入风格的表征编辑会顺带破坏其真实性(称为「风格化诱导的真实性崩塌」),根因是某些注意力头里风格方向与真相方向纠缠在一起;StyliTruth 用正交收缩把两者拆成互相正交的子空间,再在各自子空间里做自适应 token 级编辑,从而在保持风格的同时守住答案的正确性。
- Teach to Reason Safely: Policy-Guided Safety Tuning for MLRMs
-
本文发现"推理能力越强、安全性越差"的反直觉权衡,归因于视觉注意力漂移与不安全推理模式两类机制,并提出两阶段对齐框架 PST(策略引导 SFT + 安全推理偏好优化),把显式安全策略嵌进推理链路,在多个多模态安全 benchmark 上把有害率压到个位数,同时几乎不损失通用推理能力。
- Test-Time Poisoned Sample Detection by Exploiting Shallow Malicious Matching in Backdoored CLIP
-
本文发现被植入后门的 CLIP 在中毒图像上只是"浅层恶意匹配"——图像特征贴近目标文本本身却远离它的语义近邻,据此提出 Subspace Detection:在测试时用文本变体重建预测概念的局部文本流形,沿正方向采样出一块判别性最强的"兴趣区域",再用图像特征到该区域的欧氏距离把中毒样本检出来,在 7 种 SOTA 后门攻击、3 个数据集上 AUROC 大幅领先现有检测方法。
- The Gaussian-Head OFL Family: One-Shot Federated Learning from Client Global Statistics
-
GH-OFL 让客户端只上传一次"类条件充分统计量"(计数、一阶/二阶矩),服务器据此直接拼出闭式高斯判别头(NB/LDA/QDA)并在 Fisher 子空间里合成无关数据训练两个轻量头(FisherMix、Proto-Hyper),在强非 IID 下用单轮通信就达到 OFL SOTA 精度,且全程不碰原始数据。
- The Self-Re-Watermarking Trap: From Exploit to Resilience
-
这篇论文指出深度图像水印系统会被“同一个编码器再次写入新水印”轻易覆盖原始所有权,并用带 Lipschitz 约束的自感知水印框架与重水印对抗训练,让原始水印在自重水印和 PGD 覆盖攻击后仍能被稳定恢复。
- Time Is All It Takes: Spike-Retiming Attacks on Event-Driven Spiking Neural Networks
-
提出Spike-Retiming Attack——一种仅改变脉冲时间戳而不增删脉冲的时序攻击方法,形式化了容量-1约束下的统一三范数预算(\(\mathcal{B}_\infty\)局部抖动/\(\mathcal{B}_1\)总延迟/\(\mathcal{B}_0\)篡改数),通过Projected-in-the-Loop (PIL)优化在前向严格投影、反向软微分间解耦,在CIFAR10-DVS/DVS-Gesture/N-MNIST上以<2%脉冲扰动达到>90% ASR,揭示事件驱动SNN存在严重的时序脆弱性。
- Toward Enhancing Representation Learning in Federated Multi-Task Settings
-
提出Muscle损失——一种N-tuple级多模型对比学习目标函数,其最小化等价于最大化所有模型表示间互信息的下界;基于此设计FedMuscle算法,通过公共数据集对齐异构模型的表示空间,自然处理模型和任务异构性,在CV/NLP多任务设定下一致超越SOTA基线(Δ最高+28.65%)。
- Towards a Certificate of Trust: Task-Aware OOD Detection for Scientific AI
-
针对科学计算里大量的回归任务,本文用一个在「输入+预测」联合分布 \(p(x, y_{\text{pred}})\) 上训练的 score-based 扩散模型,把联合对数似然当作模型预测的「可信度证书」,证明它与真实预测误差强相关,从而无需任何测试集真值就能判断一个 AI 预测是否可信(ID/OOD),并在 PDE、卫星遥感、脑肿瘤分割等多种科学数据上验证有效。
- Towards Privacy-Guaranteed Label Unlearning in Vertical Federated Learning: Few-Shot Forgetting without Disclosure
-
针对纵向联邦学习(VFL)中"标签既是输入又是隐私"的特殊困境,本文提出首个 VFL 标签遗忘方法:用一小撮公共数据做 manifold mixup 合成嵌入,再对主动方/被动方做梯度上升抹除目标标签、梯度下降恢复保留标签,整个遗忘过程几秒完成,比基线快 16–1200 倍且几乎不掉保留集精度。
- Traceable Black-box Watermarks for Federated Learning
-
提出 TraMark,通过将模型参数空间划分为主任务区域和水印区域、采用掩码聚合防止水印碰撞,首次在联邦学习中实现服务器端可追踪黑盒水印注入,验证率达 99.58% 且主任务精度仅下降 0.54%。
- Transferable and Stealthy Adversarial Attacks on Large Vision-Language Models
-
这篇论文提出 Progressive Semantic Infusion (PSI),用扩散模型把目标图像的自然语义逐步注入源图像,在保持视觉隐蔽性的同时显著提升对 GPT-5、Grok-4、Gemini 等黑盒大视觉语言模型的迁移攻击成功率。
- TriQDef:扰乱语义与梯度对齐,阻断量化网络中的对抗补丁迁移
-
本文发现对抗补丁能在不同比特宽度的量化网络之间高度迁移,根因是各比特模型在中间特征和输入梯度上仍保持很强的「感知对齐」;TriQDef 用两个感知失配正则(FDP + GPDP)外加一套比特位课程训练,在训练时主动打散这种跨比特对齐,使未见补丁/未见比特组合下的攻击成功率(ASR)下降 40% 以上,同时几乎不损失干净精度、推理零额外开销。
- TrojanTO: Action-Level Backdoor Attacks Against Trajectory Optimization Models
-
针对 Decision Transformer 这类轨迹优化(TO)模型,提出首个动作级后门攻击 TrojanTO:作为一种"训练后"攻击,只需污染 0.3% 的轨迹、不碰奖励信号,用"轨迹过滤 + 批次投毒 + 交替训练"在预训练模型上植入触发器与目标动作的强耦合,在六个 D4RL 任务、三种 TO 架构上把综合得分 CP 从基线的 0.34 提到 0.70。
- Trust The Typical:把 LLM 安全护栏当作分布外检测来做
-
本文提出 T3(Trust The Typical),把 LLM 安全护栏从"枚举有害模式"翻转为"刻画安全分布"——只在安全英文文本上建模语义空间里的"典型集",把任何显著偏离都判为潜在威胁;它不需要任何有害样本训练,却在 18 个基准上拿到 SOTA,把误报率最多降低 40 倍,并能零样本迁移到 14+ 语言和多个专业领域。
- TrustGen:生成式基础模型可信度的动态评测平台
-
TrustGen 把"可信度评测"从一次性、静态、各模态各自为政的散点工作,重构成一个由"元数据策展器 + 测试用例构建器 + 上下文变换器"三模块驱动、能持续自动生成新题目的动态评测平台,用统一的 7 大维度(25+ 细分)一致地衡量文生图、LLM、视觉-语言三类生成式基础模型,并据此评测 39 个模型得出"开源已追平闭源、头部差距收窄、可信度会牵连其他行为"等结论。
- Tug-of-War No More: Harmonizing Accuracy and Robustness in Vision-Language Models via Stability-Aware Task Vector Merging
-
针对「让 VLM 变鲁棒就一定掉干净精度」这个老大难权衡,本文提出 PISTOLE——不重训,而是把现成的「自然微调」和「对抗微调」CLIP 的任务向量按预测稳定性有选择地合并:用互补的梯度稳定性掩码压住会互相打架的坐标、用曲率敏感的指标加权对抗参数轨迹,从而把原本接近直线的干净-鲁棒前沿「掰弯」出更好的甜点,在 14 个数据集上同时把干净和鲁棒精度抬高约 5%。
- ULD-Net: Enabling Ultra-Low-Degree Fully Polynomial Networks for Homomorphically Encrypted Inference
-
ULD-Net 提出一套从零训练「全多项式网络」的方法,用只含加法和乘法的归一化层 PolyNorm 把激活值稳稳压在良态区间,从而首次让乘法深度 ≤3 的超低次全多项式模型扩展到 ViT/ImageNet 规模(ViT-Small 在 ImageNet 上 76.70% top-1),并相比此前 SOTA 取得 2.76× 的同态加密推理加速。
- Uncertainty Estimation via Hyperspherical Confidence Mapping
-
本文提出 Hyperspherical Confidence Mapping (HCM),把网络输出拆成"模长 \(R\) + 单位方向向量 \(\hat{d}\)",再把 \(\hat{d}\) 偏离单位球面的程度当作不确定性,从而实现无采样、无分布假设的确定性不确定性估计,在分类和回归上都能匹配甚至超过深度集成 / 证据学习,且推理开销最低。
- Unified Privacy Guarantees for Decentralized Learning via Matrix Factorization
-
将去中心化学习(DL)中的多种算法和信任模型统一建模为矩阵分解(MF)机制,推广隐私保证到更一般的矩阵类型,并提出 MAFALDA-SGD 算法通过优化噪声相关性在合成和真实图拓扑上显著优于现有方法。
- Video Unlearning via Low-Rank Refusal Vector
-
本文提出首个面向视频扩散模型的「免训练、闭式权重更新」概念擦除框架:只用 5 对安全/不安全提示估计一个「拒绝向量」,再用对比低秩分解把目标概念从无关语义中剥离,最后把修正解析地写进模型权重,在 OPEN-SORA 与 ZEROSCOPET2V 上平均把不安全生成率分别降低 36.3% 和 58.2%,且不损视频质量、不加推理开销。
- VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents
-
构建首个完整的视觉prompt注入攻击基准VPI-Bench(306样本),系统评估Computer-Use和Browser-Use Agent在5个平台上的安全性。发现Browser-Use Agent极度脆弱(Amazon/Booking上100% AR),即使Anthropic的CUA也存在严重漏洞(最高59% AR),系统prompt防御无效。
- WARP: Weight Teleportation for Attack-Resilient Unlearning Protocols
-
本文指出近似机器遗忘会反过来泄漏被遗忘的数据,把泄漏归因到「遗忘样本梯度范数大」与「遗忘后参数离原模型太近」两个根因,并提出即插即用的 WARP 防御:利用神经网络的保损对称性把模型「传送」到损失等值面上的另一点,同时压低遗忘梯度范数、拉大参数位移,在六种遗忘算法上把黑盒攻击 AUC 最多降 64%、白盒最多降 92% 而几乎不损精度。
- WaterDrum: Watermark-based Data-centric Unlearning Metric
-
针对现有「效用中心」遗忘度量必须对照重训模型、且在遗忘集与保留集语义相近时失灵的问题,本文提出首个「数据中心」的遗忘度量 WaterDrum:给每个数据拥有者的训练文本打上唯一水印,用水印验证分数直接读出「这份数据还残留多少影响」,无需重训模型即可在 AUROC≈1、校准 \(R^2\approx0.99\) 下连续衡量遗忘程度。
- Watermark-based Detection and Attribution of AI-Generated Content
-
首次系统性研究基于水印的AI生成内容用户级检测与溯源,提供了理论分析(TDR/FDR/TAR界)、高效水印选择算法(A-BSTA)和跨模态(图像+文本)实验验证,证明检测和溯源继承了水印方法本身的准确性与(非)鲁棒性。
- When Flatness Does (Not) Guarantee Adversarial Robustness
-
这篇论文把“平坦极小值是否带来对抗鲁棒性”从经验直觉改写成可证明的问题,结论是平坦性确实能给单点附近的局部损失稳定性提供下界,但无法推出全局鲁棒性,因为对抗样本常会落入高置信、低曲率、但分类错误的平坦区域。
- Why Do Unlearnable Examples Work: A Novel Perspective of Mutual Information
-
从互信息(MI)降低的角度统一解释了所有不可学习样本(UE)的有效机制,并证明减小类内下毒特征的协方差可降低MI上界,据此提出 MI-UE 方法通过类内余弦相似度最大化实现协方差缩减,在 CIFAR-10 上将测试准确率压至 9.95%(接近随机猜测),且在对抗训练防御下仍大幅领先已有方法。
- Wring Out the Bias: A Rotation-Based Alternative to Projection Debiasing
-
针对 CLIP 等视觉语言模型常用的"投影去偏"会把偏见从一个概念偷偷搬到另一个未考虑概念上(whac-a-mole 困境),本文从线性代数上证明投影必然放大正交子空间的偏见,并提出用"在相关子空间内旋转嵌入"替代"删除子空间"的 WRING 方法,在消除目标概念偏见的同时几乎不放大未考虑概念的偏见。
- Zero-Sacrifice Persistent-Robustness Adversarial Defense for Pre-Trained Encoders
-
ZePAD 用两条互补分支(对抗微调的多编码器分支 + 只在干净数据上训练的良性分支)加一套基于置信度的联合决策机制,让预训练编码器只微调一次就能在多个下游任务上同时抵御"下游无关对抗样本"且不掉甚至提升干净精度,顺带还能免费检测对抗样本。
- All That Glitters Is Not Gold: Key-Secured 3D Secrets within 3D Gaussian Splatting
-
KeySS 把"在一个 3DGS 封面场景里藏多个 3DGS 秘密场景"做成端到端可训练框架:用 CLIP 编码的密钥控制一个解码器把封面高斯直接变换成秘密高斯,错误密钥只会还原封面;同时发现高斯的不同属性对藏秘贡献并不相等(不透明度有用、球谐几乎无用),并提出 3D-Sinkhorn 距离在高斯参数空间里度量隐写隐蔽性,最终在重建保真度与抗检测安全性上都超过 GS-Hider。
- CompMarkGS: Robust Watermarking for Compressed 3D Gaussian Splatting
-
针对现有 3DGS 水印在量化压缩后被冲毁的问题,本文把水印嵌进 anchor-based 3DGS 的 anchor feature、再用「量化失真层」在训练时模拟压缩噪声,使水印在 HAC/ContextGS 压缩前后都能保持 ~94% 比特准确率,同时靠频率感知 anchor 生长和 HSV loss 维持渲染质量。
- NGS-Marker: Robust Native Watermarking for 3D Gaussian Splatting
-
NGS-Marker 把水印直接刻进 3D 高斯基元本身,而不是渲染图像里,因此即便攻击者只抠走场景的一小撮高斯拼进新场景,也能从任意局部区域解码出归属信息,专治现有方法束手无策的「部分侵权」。