TraversRL: Traversable Pedestrian Pathway Generation With Reinforcement Learning¶
会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 自动驾驶
关键词: 行人路径提取、强化学习、航拍图像分析、迭代图生成、GRPO
一句话总结¶
针对传统航拍图像语义分割提取人行道常导致拓扑断裂的问题，TraversRL 将行人路径网络生成建模为模拟行人视角的逐步决策过程，提出方向与距离离散动作空间并结合 GRPO 全局图缓冲 IoU 与局部几何效率奖励微调，使网络连通性指标 TravSim 翻倍并大幅减少冗余分支。
研究背景与动机¶
高精度、拓扑连通的行人路径地图（人行道、过街斑马线及无标线连接道）是无障碍导航、微观出行分析与城市规划的基础设施。然而，真实世界的人行道数据收集成本极高且经常缺失。从航拍图像中推断可通行的行人网络面临严峻的视觉与几何挑战：人行道通常极其狭窄且线形蜿蜒，频繁被行道树冠层遮挡，许多路段仅存在隐式连接（如无斑马线过街、穿过停车场），且微小的几何预测偏差往往引发关键连通性断裂，严重破坏端到端可导航性。
现有主流建图管线普遍采用“分割后矢量化”范式（如 Tile2Net），先预测像素级栅格掩码，再通过形态学骨架提取与启发式后处理生成图。这种自底向上的方法极易产生碎片化、不连通的子图，无法保证网络级可达性。另一类在机动车道路提取中表现优异的迭代图生长方法（如 RoadTracer、VecRoad、NETracer）则无法直接迁移至行人环境，因为道路网络骨干明确、交叉口显著，而行人路径存在尺度多变、短弧段密集、交叉口视觉弱先验等特质，极易在迭代展开中发生位置漂移并累积拓扑错误。
将路径生成建模为智能体在环境中的长程序贯决策，面临的核心矛盾是：局部的逐步监督（如单步分类）与最终网络的可通行性（全图连通性与几何重合）存在目标失配，单步贪心往往导致误差累积；而强化学习能直接针对最终非可微的图级指标进行优化，但纯终局奖励面临极高的信用分配难度与方差。核心 idea：将航拍行人路径提取建模为局部感知驱动的步进式生成过程，先通过带位置扰动的监督预训练构建基础策略，再借助 GRPO 框架利用全局缓冲 IoU 奖励与局部几何效率优势塑形（Advantage Shaping）联合微调，兼顾全局拓扑可通行性与局部边缘放置精度。
方法详解¶
整体框架¶
TraversRL 采用“两阶段训练 + 迭代推理生成”的完整体系。模型以路口级航拍图像切片为输入，从初始种子节点出发，模拟行人在建成环境中的探索，逐步向外扩展路径边缘。在每个生成步，模型结合当前局部的图像表观与已生成的全局网络画布，联合预测下一步的位移方向与步长，直至触发停止动作或预算耗尽。
训练流程分为两步：第一阶段为有监督预训练（TraversRL-Pre），学习模仿真值图的节点扩展序列，并通过注入空间定位噪声增强抗漂移能力；第二阶段为基于组相对策略优化（GRPO）的强化学习微调。在第二阶段中，策略同时接收全局图级终局奖励（缓冲 IoU）与局部逐步几何效率奖励的塑形反馈，在冻结的参考策略正则化约束下收敛至具备高连通度与低冗余度的生成策略。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：航拍切片 Iu + 当前画布 Cu<br/>拼接为 4 通道状态 Xu"] --> B["4 通道视觉骨干网络<br/>ResNet-18 / ViT-S / Swin-T"]
B --> C["带噪声扰动的监督预训练<br/>学习 361 维方向-距离离散动作"]
C --> D["GRPO 组轨迹采样与优势计算<br/>冻结参考策略 πθ0 施加 KL 约束"]
D --> E["全局缓冲 IoU 终局奖励<br/>评估全图整体拓扑与重合度"]
D --> F["局部逐步几何效率优势塑形<br/>计算每步新增缓冲的真值贡献比例"]
E --> G["输出：拓扑连通且几何精简的行人路径图"]
F --> G关键设计¶
1. 4通道状态表征与自适应方向-距离动作空间：捕捉复杂非结构化行人微拓扑 为了使生成决策既感知真实地物表观，又能感知当前的生成进展以避免重复探索或死循环，TraversRL 在每个展开节点 \(u\) 处提取以其为中心的空间窗口（原图宽高的 \(0.5 \times 0.5\) 区域），将 RGB 图像切片 \(I_u\) 与栅格化已生成所有边的单通道画布切片 \(C_u\) 沿通道维度拼接，构建 \(4 \times H \times W\) 的复合状态输入 \(X_u\)。在动作空间设计上，行人路径包含大量短急转弯与跨路口的长跨距，传统单一步长设定无法兼顾平滑弯道与遮挡跨越。模型设计了离散化的极坐标位移空间：将角度离散为 \(N_\theta = 36\) 个区间（每个区间 \(10^\circ\)），位移距离在归一化尺度 \([0, 0.2]\) 内划分为 \(N_r = 10\) 个距离档位，加上终止动作 \(\text{Stop}\)，构成总大小为 \(|A| = N_\theta N_r + 1 = 361\) 的紧凑动作空间。视觉骨干通过复用预训练 RGB 权重并零初始化画布通道输入层，经 MLP 分类头直接输出 361 维动作概率分布。
2. 注入定位噪声的鲁棒监督预训练：缓解自回归迭代展开中的累积漂移 直接使用精确的真值节点进行师生强制（Teacher Forcing）训练会导致暴露偏差（Exposure Bias）：模型在测试期一旦出现轻微几何偏差，后续步骤将面临未见过的偏离状态而迅速失效。为此，在预训练阶段，对当前节点坐标 \(u\) 注入可控的均匀分布空间噪声： $$ \tilde{u} = u + \epsilon, \quad \epsilon \sim \mathcal{U}([-\eta, \eta]^2) $$ 实验中取归一化扰动半径 \(\eta = 0.02\)。模型以扰动中心 \(\tilde{u}\) 提取切片，并将回归目标设为从扰动点指向真实邻居节点 \(v\) 的相对位移 \(\Delta = v - \tilde{u}\)，通过交叉熵损失优化动作预测。这种噪声注入迫使策略学会自适应纠偏，使模型在真实推理连续展开时具备强大的抗漂移容错性。
3. GRPO 全局图级终局奖励驱动：直接对齐非可微的网络级重合度 预训练虽然能学会局部的延伸模式，但由于路径评估指标（如缓冲 IoU）高度依赖全局几何连通且不可微，传统的梯度优化无法直接作用于生成终态。TraversRL 引入 GRPO 框架，在无需维护独立 Critic 网络的情况下进行高效微调。对每个训练路口，当前策略 \(\pi_\theta\) 采样 \(K=4\) 条完整 rollout 轨迹 \(\{\tau_i\}_{i=1}^K\)，每条轨迹产生预测边集 \(\hat{E}_i\)。利用 1 米缓冲半径（归一化半径 \(r=0.01\)）渲染生成折线与真值折线，计算两者的缓冲交并比作为终局奖励 \(R_i = \text{IoU}_{\text{buf}}(E, \hat{E}_i)\)。在组内计算标准化相对优势： $$ A_i = \frac{R_i - \bar{R}}{\mathrm{std}({R_j}_{j=1}^K) + \epsilon} $$ 结合与冻结参考策略 \(\pi_{\theta_0}\) 之间的 KL 散度约束，直接拉高产生高连通度与高重合度完整路网的动作概率，使模型摆脱局部最优陷阱。
4. 局部逐步几何效率优势塑形：细粒度信用分配抑制冗余伪分支 纯全局终局奖励对单条轨迹内的所有步统一赋予单一优势标量 \(A_i\)，存在粗粒度信用分配缺陷，容易将整体较好轨迹中的局部冗余误预测一并正向强化。为此，模型定义了无序每步几何效率奖励。令 \(P_{t-1}\) 和 \(P_t\) 分别为增加第 \(t\) 步前后的生成多边形缓冲并集，\(G\) 为真值路径缓冲并集。新增总缓冲面积为 \(\Delta A_t = \text{area}(P_t) - \text{area}(P_{t-1})\)，新增的与真值重叠面积为 \(\Delta I_t = \text{area}(P_t \cap G) - \text{area}(P_{t-1} \cap G)\)。单步局部奖励定义为重叠增量与新增总面积之比： $$ r_t = \frac{\Delta I_t}{\Delta A_t + \epsilon} $$ 若新生成的边偏离真值，\(\Delta I_t \approx 0\)，则 \(r_t \approx 0\)；若完美对齐，则 \(r_t \approx 1\)。在轨迹内部将 \(r_{i,t}\) 标准化为 \(\tilde{r}_{i,t}\)，并将其与全局优势加权相加，得到复合步级优势： $$ \hat{A}{i,t} = A_i + \lambda \tilde{r} $$ 采用加性塑形（\(\lambda = 0.1\)，裁剪至 \([-3, 3]\)）避免了跨轨迹逐步归一化造成的极高方差与训练崩溃，既保留了全局目标的稳定性，又精准惩罚了无意义的毛刺与冗余侧支，显著提升了图的整洁度。
损失函数 / 训练策略¶
TraversRL 采用两阶段递进训练： 1. 预训练阶段：使用 AdamW 优化器（学习率 \(1 \times 10^{-4}\)，权重衰减 \(1 \times 10^{-4}\)，梯度裁剪 1.0），对 4 通道视觉骨干网络进行 50 个 epoch 的多分类交叉熵训练，以 16 个节点扩展累积梯度，选验证集损失最低的模型作为 \(\pi_{\theta_0}\)。 2. RL 微调阶段：以 \(\pi_{\theta_0}\) 初始化策略 \(\pi_\theta\) 并冻结一份作为参考。采用 AdamW 优化器（学习率 \(3 \times 10^{-5}\)，权重衰减 \(1 \times 10^{-4}\)），训练 15 个 epoch，梯度累积 8 个路口图。微调损失由策略梯度项与逐步全分布 KL 正则项构成： $$ \mathcal{L}{\text{local}}(\theta) = -\frac{1}{K}\sum}^K \frac{1}{T_i}\sum_{t=1}^{T_i}\hat{A{i,t}\log\pi\theta(a_{i,t}\mid s_{i,t}) + \beta \cdot \frac{1}{K}\sum_{i=1}^K \frac{1}{T_i}\sum_{t=1}^{T_i} D_{\mathrm{KL}}!\left(\pi_\theta(\cdot\mid s_{i,t})\,\Vert\,\pi_{\theta_0}(\cdot\mid s_{i,t})\right) $$ 其中 KL 惩罚系数 \(\beta = 0.05\)。推理时维护活动节点栈，支持 Top-\(k\) 回退选择、多起点重启（\(R\) 次采样取最高置信度边际和）与单节点扩展上限约束。
实验关键数据¶
主实验¶
模型在华盛顿州 13 个城市的路口基准 WashingtonInter（域内）以及西雅图和华盛顿特区两个零样本迁移数据集 PathwayBench 上进行了全面评测，指标采用严格的 1 米缓冲几何 IoU 和反映可通行性的拓扑交并比 TravSim（5 次不同随机种子均值与标准差）。
| 数据集 | 算法 / 骨干 | 训练阶段 | 缓冲 IoU | TravSim | 相对基准表现 |
|---|---|---|---|---|---|
| WashingtonInter (In-domain) | Tile2Net (SOTA分割) | – | \(0.264 \pm 0.046\) | \(0.114 \pm 0.017\) | 分割基线严重碎片化 |
| VecRoad (道路图基线) | – | \(< 0.001\) | \(< 0.001\) | 道路规则无法适应行人 | |
| NETracer (管状追踪) | – | \(0.098\) | \(0.005\) | 拓扑剪枝过激导致断裂 | |
| TraversRL (ResNet-18) | Pre | \(0.510 \pm 0.003\) | \(0.586 \pm 0.005\) | 预训练显著优于分割 | |
| TraversRL (ResNet-18) | Global | \(0.539 \pm 0.001\) | \(0.591 \pm 0.008\) | 全局 RL 稳定提升 | |
| TraversRL (ResNet-18) | Local | \(0.540 \pm 0.002\) | \(0.605 \pm 0.004\) | 局部塑形强化连通 | |
| TraversRL (Swin-T) | Pre | \(0.531 \pm 0.004\) | \(0.605 \pm 0.006\) | 层次特征表达更强 | |
| TraversRL (Swin-T) | Global | \(0.559 \pm 0.002\) | \(0.607 \pm 0.004\) | 全局 IoU 显著增长 | |
| TraversRL (Swin-T) | Local | \(0.584 \pm 0.003\) | \(0.611 \pm 0.008\) | 全域最佳（IoU +121%，TravSim +436%） | |
| Seattle (PB) (Zero-shot) | Tile2Net | – | \(0.169 \pm 0.021\) | \(0.175 \pm 0.037\) | 跨分辨率泛化受挫 |
| TraversRL (Swin-T) | Pre | \(0.205 \pm 0.004\) | \(0.401 \pm 0.004\) | 零样本连通性大幅翻倍 | |
| TraversRL (Swin-T) | Global | \(0.218 \pm 0.001\) | \(0.416 \pm 0.004\) | 跨城市几何鲁棒改善 | |
| TraversRL (Swin-T) | Local | \(0.230 \pm 0.005\) | \(0.418 \pm 0.007\) | 最佳泛化表现 | |
| D.C. (PB) (Zero-shot) | Tile2Net | – | \(0.226 \pm 0.018\) | \(0.317 \pm 0.023\) | 分割基准 |
| TraversRL (Swin-T) | Pre | \(0.231 \pm 0.002\) | \(0.535 \pm 0.004\) | 保持显著连通优势 | |
| TraversRL (Swin-T) | Local | \(0.252 \pm 0.003\) | \(0.535 \pm 0.003\) | 零样本几何最高 |
消融实验¶
1. 强化学习奖励与图稀疏度 / 拓扑质量消融（全骨干与多数据均值） 平均节点度 AvgDeg 反映生成图的冗余分支程度（越低说明越干净、分支越少），TravSim 反映边界端到端连通一致性。
| 数据集 | 训练配置 | 平均节点度 AvgDeg ↓ | 相对 Pre 变化率 | TravSim ↑ | 相对 Pre 变化率 |
|---|---|---|---|---|---|
| WashingtonInter | TraversRL-Pre | 0.429 | 基准 | 0.595 | 基准 |
| TraversRL-Global | 0.416 | -3.0% | 0.599 | +0.6% | |
| TraversRL-Local | 0.407 | -5.1% | 0.607 | +2.0% | |
| Seattle (PB) | TraversRL-Pre | 0.574 | 基准 | 0.389 | 基准 |
| TraversRL-Global | 0.541 | -5.7% | 0.401 | +3.1% | |
| TraversRL-Local | 0.519 | -9.6% | 0.411 | +5.7% | |
| D.C. (PB) | TraversRL-Pre | 0.553 | 基准 | 0.513 | 基准 |
| TraversRL-Global | 0.528 | -4.5% | 0.516 | +0.6% | |
| TraversRL-Local | 0.520 | -6.0% | 0.521 | +1.6% |
2. 动作空间离散粒度消融（ResNet-18, TraversRL-Local） 固定距离档位为 10，改变方向角度分箱数：
| 动作空间大小 \(\|A\|\) | 角度分箱数 | WashingtonInter (IoU / TravSim) | Seattle (PB) (IoU / TravSim) | D.C. (PB) (IoU / TravSim) | 结论 |
|---|---|---|---|---|---|
| \(\|A\| = 181\) | 18 bins (\(20^\circ\)) | 0.448 / 0.581 | 0.174 / 0.385 | 0.195 / 0.503 | 动作过粗导致严重欠拟合与偏航 |
| \(\|A\| = 361\) (默认) | 36 bins (\(10^\circ\)) | 0.540 / 0.605 | 0.199 / 0.403 | 0.227 / 0.513 | 精度与跨域泛化鲁棒性的最优平衡 |
| \(\|A\| = 721\) | 72 bins (\(5^\circ\)) | 0.569 / 0.618 | 0.198 / 0.383 | 0.237 / 0.520 | 域内进一步微升，但外域出现过拟合扰动 |
关键发现¶
- RL 微调的核心增益在于“找回漏检真实路径”而非盲目生枝：细粒度误差分解表明，在 WashingtonInter 上 TraversRL-Pre 每图平均预测 1.86 条边界连通关系（\(\text{TP} \approx 1.55\)、\(\text{FP} \approx 0.31\)、\(\text{FN} \approx 1.09\)），漏检严重多于虚警。经 TraversRL-Local 微调后，真阳性 \(\text{TP}\) 提升至 1.60（+3.5%），漏检 \(\text{FN}\) 显著下降至 1.04（-5.0%）。在 59% 提升的路口场景中，92% 表现为 TP 增加，91% 表现为 FN 下降。
- 越严苛的几何重合阈值，越能凸显 RL 与局部塑形的精度价值：在 WashingtonInter 缓冲半径消融中，当缓冲由宽松的 4 米收窄至精细的 1 米时，TraversRL-Global 相对 Pre 的增益从 2.1% 放大至 5.2%；TraversRL-Local 的相对增益更从 2.5% 跃升至 6.8%，证明强化学习显著改善了航向贴合度。
- 机动车道路提取算法无法直接用于人行道场景：VecRoad 因依赖高置信度交叉路口检测而几乎全军覆没（\(<0.001\)）；NETracer 的管状追踪规则过于严苛，在复杂分支和隐式过街时发生早停断裂（IoU 仅 0.098，TravSim 仅 0.005）。
亮点与洞察¶
- 自回归迭代追踪的强化学习范式成功落地于细粒度地理矢量提取：将不可微的图级拓扑指标转化为基于 GRPO 采样的序列回报，不仅打破了像素级语义分割的孤岛碎片化局限，而且不需要复杂的判别器网络，训练稳定性强。
- 全局终局优势与局部每步几何效率的加性塑形设计极其巧妙：直接用逐步单步优势训练会导致跨轨迹多步方差过大而崩塌，而将其作为标准化的局部偏差附加到全局轨迹优势上，既保留了全局目标的强指导，又精准惩罚了无收益的误探边。
- “减枝增质”的拓扑自净化能力：微调后模型平均节点度 AvgDeg 下降 5%~9.6%，而 TravSim 反而显著上升，说明强化学习有效消除了监督模仿中因过拟合或噪声产生的杂乱毛刺与重复闭环。
局限与展望¶
- 输入切片采用固定归一化视场造成的物理尺度失配：模型采用固定的图像归一化视场（\(0.5 \times 0.5\)），在不同航拍变焦等级（如 WashingtonInter 对应 zoom 20，而 PathwayBench 对应 zoom 19）下，行人路径的实际像素宽度出现明显差异，影响了零样本迁移精度。未来可引入物理地理尺度自适应的输入重缩放机制。
- 高度依赖真值种子节点作为推理起点：当前实验假设已知至少一个起始真实节点。在完全无先验的大规模实地建图场景中，必须额外配备一个种子候选生成网络（如粗粒度分割或交叉口检测器）。
- 多独立连通分量场景下的单种子受限：由于单次 rollout 仅能追踪从该起点出发的可达子图，对于包含物理断开或多组隔离人行道的区域，需要配合多种子采样与未探索区域掩码调度策略。
相关工作与启发¶
- vs Tile2Net: Tile2Net 依赖自底向上的语义分割掩码与细化骨架后处理，在遭遇树荫遮挡或隐式无划线横穿时必然产生断连；TraversRL 通过行人的视线前向延展与长步长跨越动作，具备拓扑补全与跨越遮挡的内在连通性保证。
- vs RoadTracer / VecRoad: 现有道路图提取方法针对宽度稳定、连接规则的机动车道设计，其固定步长或基于强路口特征的假设在人行道高度曲折、短路段密集的场景下失效；TraversRL 的方向-距离双重离散空间与局部几何效率塑形填补了复杂微观行人路网生成的空白。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [将 GRPO 强化学习与局部效率优势塑形创新引入航拍行人矢量路网提取]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 个骨干、3 套数据集、严格 1m 缓冲与 TravSim 评测，且带详尽消融与误差分解]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图文对照详实，概念与数学形式定义清晰自洽]
- 价值: ⭐⭐⭐⭐⭐ [为人行道无障碍导航地图的大规模低成本自动化生产提供了极具实用价值的技术方案]