HYVE: Hybrid Views for LLM Context Engineering over Machine Data¶

会议: NeurIPS 2026
arXiv: 2604.05400
OpenReview: https://openreview.net/forum?id=VqKTNdjUqP
领域: LLM效率
关键词: 上下文工程, 机器数据, 混合视图, DuckDB, 结构化推理

一句话总结¶

针对机器数据中深层嵌套与高频冗余导致的上下文膨胀和幻觉，HYVE 结合数据库管理理念，构建请求级轻量内存数据库与混合行/列视图，配合延迟查询与模板回填，在降低 50%–90% Token 消耗的同时显著提升大模型的结构化生成与范围推理能力。

研究背景与动机¶

日志、遥测指标、追踪链路与配置快照等机器生成数据（Machine Data）是现代分布式系统可观测性与故障排查的核心基石。随着运维智能体与多轮故障诊断系统的兴起，这些数据被频繁注入大语言模型（LLM）的上下文窗口中。然而，机器数据本质上由程序循环与数据序列化生成，内部充斥着高度重复的键名、深度嵌套的结构与长序列数组。将这些原始载荷直接作为 Prompt 输入，往往引发严重的 Token 爆炸，不仅挤占有效推理窗口，更会造成注意力机制在长文本中的“迷失”（Context Rot），使模型极易忽视关键异常并丧失对数值和时间序列的基本推理能力。

这类失败的核心矛盾在于机器数据的物理呈现与 LLM 的推理归纳偏好严重错配。在关联多组数组的索引关系时，LLM 极易发生越界错位，而横向展开的行式视图（Row-oriented View）能将强相关实体字段并排排列；相反，当要求模型生成趋势折线图或执行单字段聚合分析时，遍历庞大的字典列表极易诱发长序列截断，而连续纵向聚合的列式视图（Column-oriented View）则天然贴合字段提取的注意力流向。现有的 Prompt 压缩方法（如 LLMLingua 等基于小模型的语义剪枝）依赖语义摘要丢弃冗余 Token，属于不可逆的有损压缩，一旦过滤掉关键罕见异常（如长尾高延迟点），后续诊断将满盘皆输。

本文的切入角度是：机器数据的上下文压缩必须是“保真结构化且可逆的”，而非依赖有损语义摘要。核心 idea：将数据库管理理念引入上下文工程，通过请求级 DuckDB 内存库实现原始数据全保真驻留，解耦出列式聚合与行式实体两套互补的混合视图并施加参考感知排序截断，结合后置模板回填（Backfill）与单轮有界 SQL 增强推理，以最小 Token 代价重塑无损的超长机器数据上下文。

方法详解¶

整体框架¶

HYVE 围绕标准大模型服务接口，构建了高度协调的预处理器（Preprocessor）、请求级轻量内存数据存储（Request-scoped Datastore）和后处理器（Postprocessor）。系统保持单次请求的隔离生命周期，不引入复杂的不可控多轮智能体循环，默认在主调用之外最多触发一次额外的有界 LLM 调用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始输入文本<br/>自由文本与嵌入结构混合"] --> B["1. 鲁棒解析与模式一致性聚类<br/>解嵌套/类型推断/模式一致性检验"]
    B --> C["2. 混合视图生成与参考感知截断<br/>列视图+行视图+BM25相关性排序"]
    C --> D["3. 内存关系化建模与SQL引导注入<br/>DuckDB :memory: 建模与模式提示构建"]
    D --> E["主 LLM 调用<br/>意图识别与决策路由"]
    E -->|Mode 1: 可见上下文充足| F["直接输出结果"]
    E -->|Mode 2: 结构化渲染/图表| G["4. 模板生成与数据回填<br/>SQL查询执行+字段路径回填"]
    E -->|Mode 3: 复杂聚合/范围推理| H["5. 有界SQL增强语义合成<br/>执行SQL过滤聚合+二次调用合成"]
    G --> I["最终结构化结果"]
    H --> I
    F --> I

整个处理流程分为三个阶段： 1. 预处理与数据存储构建：预处理器从混杂的原始文本中鲁棒提取结构化数据段（如 JSON 或 Python AST 字面量），在内存 DuckDB 中物化为关系表并推断模式；同时检测重复模式，分别构建连续的列式视图和聚焦实体的行式视图，依据输入指令进行 BM25 排序截断，仅向模型暴露最具辨识度的代表切片与数据库元数据提示。 2. 主模型调用与路由决策：LLM 接收包含精简混合视图和工具规格说明的紧凑 Prompt，判断自身信息需求。如果截断前的信息已足够完成任务，则直接返回；否则模型自主选择生成数据填充模板或发起查询。 3. 后处理执行与延迟查询：若触发 Mode 2（模板回填），后处理器执行模型输出的 SQL 语句并根据路径映射无缝填入图表等复杂结构；若触发 Mode 3（SQL 增强合成），系统执行 SQL 聚合分析并将检索结果注入上下文，进行单次有界追问以生成最终语义结论。

关键设计¶

1. 鲁棒解析与模式一致性聚类：实现深度嵌入载荷的安全规范化

面对实际运维中夹杂在文本、Markdown 代码块甚至字符串内部多次转义的残缺 JSON，预处理器采用“快速解析 + 渐进式修复恢复”的两阶段容错解析机制。在消除代码围栏后，系统优先以严格模式解析原生 JSON 与 Python 字面量，并递归展开字符串字段内嵌套的序列化子串；若解析失败，则自动启动字符控制符清洗、未加引号键名补全及转义字符配平，并在最后通过单词覆盖度检验（ValidateSourceCoverage）拦截静默截断。

在构建统一列视图时，为了避免异构记录强行对其造成的格式崩溃，HYVE 提出了底向上的模式一致性（Schema Consistency）判别准则。设结构化元素列表为 \(L = [e_1, \ldots, e_n]\)，算法遍历 JSON 树并计算各子项的递归模式签名：要求对象类型必须拥有完全相同的键集合，且相应子字段与叶子节点的规范化数据类型（如统一 int 与 float 为 number）保持一致。只有模式一致的记录才被提取为带有相对展平路径 \(p\) 和数组祖先上下文路径 \(c\) 的列标识元组 \(((c, p), V)\)，而模式不一致的节点则显式保留数字索引，严禁错误合流。

2. 混合视图生成与参考感知截断：兼顾分析与关联的紧凑表征

针对大模型在长序列跨行索引与单字段纵向抽取上的认知偏差，HYVE 联合生成两种互补视图： - 列式视图 \(\mathsf{Col}(J)\)：将同一结构下相同字段的值按原始遍历顺序排列成连续数组（例如将时间戳序列与各节点时延指标分别整合成纯数组），极大降低模型在生成多序列折线图或执行数值对比时的跨行跳转成本。 - 行式视图 \(\mathsf{Row}(\mathbf{J})\)：将同一记录中紧密耦合的实体键值对（例如节点 ID、运行状态、所属区域）以管道符分隔的表格形式横向并排呈现，保留实体内部属性的共现绑定关系。

为了将长序列压缩到预定阈值内，预处理器基于非表格字段与周围自然语言指令构建参考查询字符串 \(q = t_1 \oplus \cdots \oplus t_{m+1} \oplus \mathbf{Slim}(\mathbf{J})\)。在列视图中，系统固定保留头部和尾部边界，并插入依据 \(q\) 在组内计算 BM25 相关性得分最高的值项；在行视图中，则直接计算整行记录与查询上下文的跨表 BM25 得分，仅筛选保留顶层高辨识度实体行。

3. 内存关系化建模与SQL引导注入：无损存储与确定性按需恢复

在向大模型隐藏大部分非核心记录的同时，系统在底层为每个请求初始化一个隔离的无名 DuckDB 内存数据库实例（:memory: 模式）。预处理器递归扫描解析出的 JSON 结构，将包含对象数组的节点转化为关系父表，并将嵌套的子列表通过自增外键 parent_<id> 规范化为子表与孙表；对于并行列表，自动补充序列标识字段 series_idx 与行标识 _row_id。

当触发数据截断时，HYVE 自动将推断出的精确表名、列名、外键关系及定制的少样本（Few-shot）查询范例动态编织入 Prompt 尾部的系统指令中。大模型因此获得了一种全局上帝视角的元数据感知：明确知晓完整数据完整保留于底层数据库中，随时可通过受控 SQL 发起检索，从根本上消除了模型面对不完整上下文时的盲目猜测。

4. 模板生成与数据回填（Mode 2）：破解长序列生成的物理瓶颈

在图表渲染（如 Highcharts/ECharts JSON 规范）等结构化生成任务中，大模型普遍存在输出长度衰减或主动将长数据数组缩略为占位符的倾向。HYVE 采用“渐进式披露”策略引导模型采用 GenTemplateAndBackfill 流程。模型在第一阶段仅需输出包含整体渲染结构、坐标轴配置及留空数据骨架的 JSON 模板，并附带一个 BackfillData 规格调用：包含精确的 SQL 提取语句以及字段重映射路径映射列表。

SELECT x, y, series_idx FROM data ORDER BY series_idx, _row_id

后处理器在 DuckDB 中执行该 SQL 查询后，依据规则模板路径（例如 CDSAILineChart.data.list.(series_idx).data.(_row_id).y），通过轻量级脚本直接将成百上千个数据点原子级回填入指定层级的数组槽位中。大模型仅负责把控模式与样式，具体的长序列数据搬运由确定性数据库查询完成。

5. 有界SQL增强语义合成（Mode 3）：复杂分析与范围查询的精准闭环

针对跨多维属性的筛选、极值定位、全局计数与均值统计（如“统计特定区域内告警级别为 critical 且丢包率超标的节点数”），大语言模型若直接在长文本中计算极易产生累加失真与范围遗漏。Mode 3 允许主 LLM 发起 QueryDatastore 工具调用，将复杂的算术与过滤逻辑下推（Push down）给 DuckDB 关系引擎。

此外，HYVE 支持注册领域专用的分析算子。例如时序异常检测算子 DETECT_ANOMALY(data, y) 可以在数据库内部直接执行基于 \(k\text{-}\sigma\) 偏离与周期性过滤的轻量级检测，直接向后处理器返回格式化的紧凑统计摘要。后处理器捕获查询结果后，将其追加至对话上下文中，由模型执行单次追加的有界合成调用输出最终结论。

一个完整示例¶

以网络性能指标多系列折线图生成任务为例： 1. 原始输入：包含用户问题“绘制各站点网络延迟对比图”以及包含 3 个监测节点、每条曲线含 768 个时间点（共 2,304 条记录）的深度嵌套 JSON 对象。若直接序列化输入，消耗超过 5,000 个 Token。 2. 预处理：HYVE 提取出数据矩阵，在 DuckDB 中物化为 data(series_idx, x, y, _row_id) 表。列视图保留各系列前 3 个点，行视图仅打印前 6 行样例并标注 ... (762 more rows)。Prompt 尾部自动注入包含表结构与索引说明的模式提示。 3. 主 LLM 决策与模板生成：模型识别出长序列绘图意图，触发 Mode 2 并输出紧凑的图表骨架 JSON 与 BackfillData 工具调用，指定从 data 表检索 x, y, series_idx 并映射至模板数组。 4. 后处理回填：DuckDB 毫秒级执行 SQL，后处理器将 2,304 个数据点精准注入对应 series 槽位，端到端耗时仅 3.11s，生成无任何数据丢失的完美折线图，Token 消耗仅 132.5K。

实验关键数据¶

主实验¶

论文在包括网络工程认证考试（Cert-QA）、运维排障手册（Runbook）、折线图生成（Line）、柱状图生成（Bar）、异常检测（Anom）、看板报告摘要（Sum）、上下文插槽填充（Canvas）、API响应总结（RB-Text）、条件判断推理（RB-JSON）、多跳排障（Hard）以及公共基准 TOON-QA 共 11 项基准数据集上进行了广泛评估。评估指标包括 LLM 裁判通用分（GenericJudge，最高 5 分）、结构化推理裁判分（ReasoningJudge，最高 5 分）、图表几何相似度（Similarity，最高 1.0）以及精准匹配准确率（ExactMatch，最高 1.0）。

数据集	评测指标	GPT-5 原始	GPT-5 + HYVE	GPT-4.1 原始	GPT-4.1 + HYVE
Line	Similarity ↑	0.68	0.97 (+42.6%)	0.41	0.95 (+131.7%)
Bar	Similarity ↑	0.85	1.00 (+17.6%)	0.99	0.99 (持平)
Anom	ReasoningJudge ↑	3.28	3.77 (+14.9%)	3.22	4.03 (+25.2%)
Hard	ReasoningJudge ↑	4.33	5.00 (+15.5%)	4.04	5.00 (+23.8%)
Canvas	ReasoningJudge ↑	4.96	4.96 (持平)	4.94	4.95 (微升)
TOON-QA	ExactMatch ↑	0.96	0.98 (+2.1%)	0.47	0.93 (+97.9%)
Runbook	GenericJudge ↑	4.55	4.58 (+0.7%)	4.26	4.32 (+1.4%)

在端到端消耗与延迟方面，HYVE 带来了极为显著的降本提速： - Token 消耗：Line 折线图场景在 GPT-5 下由 4.2M 降至 748.0K（下降 82.2%），Bar 场景由 1.8M 降至 251.8K（下降 86.0%），Canvas 场景由 122.8M 骤降至 38.2M（下降 68.9%），Hard 场景由 80.5K 降至 20.3K（下降 74.8%）。 - 执行延迟：Line 生成任务在 GPT-5 下延迟由 125.11s 缩短至 39.79s（下降 68.2%），GPT-4.1 下由 47.86s 缩短至 8.93s（下降 81.3%）；Bar 任务在 GPT-5 下由 75.27s 降至 12.73s（下降 83.1%）。

消融实验¶

在基于 GPT-4.1 的系统消融实验中，作者分别对预处理阶段的参考排序（- rank）、数组截断（- trunc）、编码序列化格式（+ TOON）以及后处理阶段的恢复与综合能力（- post）进行了模块隔离分析：

配置	Bar (Similarity)	Anom (Reasoning)	Hard (Reasoning)	TOON-QA (ExactMatch)	Token 总消耗
Full (HYVE 全量)	0.99	4.03	5.00	0.93	132.5K / 8.9M / 15.1K / 153.8K
Full − rank (无参考排序)	0.99	4.03	5.00	0.91	115.1K / 8.9M / 16.2K / 255.8K
Full − trunc (不截断全量)	0.73	3.83	4.10	0.87	928.7K / 15.7M / 74.7K / 361.2K
Full + TOON (TOON编码)	0.97	4.02	5.00	0.92	91.7K / 8.9M / 12.8K / 143.2K
Full − post (无后处理回填/查询)	0.06	3.41	3.93	0.38	132.3K / 6.2M / 14.8K / 94.5K

关键发现¶

后处理是图表与聚合任务的生命线：移除后处理（- post）后，Bar 柱状图几何相似度从 0.99 骤跌至 0.06（崩盘 94%），TOON-QA 准确率暴跌至 0.38（下跌 59%）。这证实大模型单靠自身长序列生成极难保持数据完整性，结构化回填与 SQL 下推执行是保障严谨数据真实性的决定性因素。
过度冗长的上下文引发上下文腐化（Context Rot）：当关闭截断（- trunc）时，Token 消耗剧烈暴增 3 到 7 倍（如 Bar 任务从 132.5K 膨胀至 928.7K），但 Hard 任务评分却从 5.00 跌落至 4.10，Bar 任务跌落至 0.73。过度冗余的机械格式干扰了注意力分配，导致模型反而丢失了核心约束。
上下文工程可有效弥合模型能力代差：在 TOON-QA 上，轻量级模型配合 HYVE（GPT-4.1 + HYVE 达到 0.93）直接逼近了昂贵前沿大模型的原始基线（GPT-5 原始为 0.96），在节约近 90% Token 的同时实现了越级推理。

亮点与洞察¶

将 Prompt 压缩从“概率摘要”重构为“确定性关系映射”：传统文本压缩依靠小模型熵过滤进行不可逆裁剪，极易损伤数值敏感的机器数据；HYVE 采用“行/列互补视图暴露精简切片 + 内存 DuckDB 兜底全局真值”，既满足了注意力聚焦，又保留了精确按需回填的能力。
模板回填（Backfill）巧妙解耦了“模式规划”与“数据搬运”：让大模型专注于生成 JSON/ECharts 模式与渲染配置等高层认知任务，将成百上千项数值数组的搬运下推给确定性 SQL 查询与路径正则回填，彻底杜绝了模型在超长序列输出时的截断幻觉与延迟飙升。
架构设计严格收敛智能体爆炸，兼顾极简工程集成：系统不搞开放式自治智能体的无限循环发散，而是将自身封装为无缝兼容 OpenAI/Anthropic API 的标准包装网关，默认至多触发一次有界后处理，以极低延迟开销换取生产级的稳定表现。

局限与展望¶

单请求范围的短期记忆局限：HYVE 的 DuckDB 实例严格绑定在单次请求的生命周期内（:memory: 随请随销），缺乏跨多轮交互或长会话周期的持久化认知；未来可探索与 MemGPT/Mem0 等跨会话长效记忆机制的协同。
强依赖结构化与半结构化数据规范：系统默认假设机器输入已具备 JSON、字典或 Python AST 形式；对于深嵌于非格式化日志段落中的自由文本指标，仍需额外依赖前置文本提取算子将其转化为结构化对象。
Mode 3 带来的延迟开销双刃剑：在极快的小型模型任务（如 GPT-4.1 运行 TOON-QA 与 RB-Text）中，发起二次 LLM 语义合成会引入额外的网络往返，导致端到端延迟较直接单次推理略有上升。

评分¶

新颖性: ⭐⭐⭐⭐☆ (将内存关系引擎与混合视图优雅引入上下文工程，突破了传统的单纯语义压缩范式)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 11 项多样化真实工业运维与公开基准，指标设计严谨，消融剖析极其透彻)
写作质量: ⭐⭐⭐⭐⭐ (形式化定义数学清晰，架构与实现细节完备，图表展现与分析一目了然)
价值: ⭐⭐⭐⭐⭐ (已被思科核心 AI 运维产品实机部署验证，具备极强的工业落地与跨领域推广价值)