---
title: TRIP-Qwen2.5-1.5B-RLPF
canonical_url: "https://www.modelscope.cn/models/TLabFineTuning/TRIP-Qwen2.5-1.5B-RLPF"
md_url: "https://www.modelscope.cn/models/TLabFineTuning/TRIP-Qwen2.5-1.5B-RLPF.md"
repository: TLabFineTuning/TRIP-Qwen2.5-1.5B-RLPF
chinese_name: TRIP-Qwen2.5-1.5B-RLPF
last_updated: 2026-02-06
pipeline_tag: text-generation
tasks:
  - text-generation
parameters: 18.5M
tensor_type:
  - F32
library_name:
  - safetensors
  - pytorch
frameworks:
  - pytorch
downloads: 349
stars: 4
---

# TRIP-Qwen2.5-1.5B-RLPF

> TRIP-Qwen2.5-1.5B-RLPF - TLabFineTuning 在 ModelScope 开源的模型。TRIP-Qwen2.5-1.5B-RLPF Transport Reasoning with Intelligence Progression (RL with Physics Feedback)

- **Repository**: TLabFineTuning/TRIP-Qwen2.5-1.5B-RLPF
- **Tasks**: text-generation
- **Parameters**: 18.5M
- **Downloads**: 349
- **Stars**: 4
- **Last updated**: 2026-02-06

Source: https://www.modelscope.cn/models/TLabFineTuning/TRIP-Qwen2.5-1.5B-RLPF

---

# TRIP-Qwen2.5-1.5B-RLPF  
**Transport Reasoning with Intelligence Progression (RL with Physics Feedback)**

---

## 项目简介

本项目在 Qwen2.5-1.5B 大语言模型基础上，提出一种**融合物理语义反馈的后训练方法（RL-PF）**，用于提升大模型在**复杂交通场景理解与决策推理任务**中的一致性、可执行性与安全性。

与传统仅依赖语义统计的推理方式不同，我们引入**物理规则与仿真反馈**作为客观监督信号，使模型输出不仅“语言上合理”，而且“物理上可行”。

---

## 研究动机

大语言模型在交通与时序决策类任务中常出现以下问题：

- 推理过程忽略基础物理约束（速度、距离、制动能力等）
- 输出在语义上合理，但在现实世界中不可执行
- 多目标、多对象场景下决策稳定性不足

与此同时：

- 物理模型具备精确的可执行性，但缺乏语义泛化能力
- LLM 具备强语义与推理能力，但缺乏物理一致性约束

**本项目的目标**是在两者之间建立可训练的桥梁。

---

## 方法概览：RL-PF（Reinforcement Learning with Physics Feedback）

我们提出 RL-PF 框架，用**物理仿真器或物理规则**替代传统 RLHF 中的人类偏好标注，作为模型优化信号来源。

### 核心思想

- LLM 生成多个候选决策
- 基于物理规则 / 仿真器评估其可行性与风险
- 构造偏好对（Preferred / Rejected）
- 使用 DPO 等后训练方法进行对齐优化

该过程不依赖人工主观打分，反馈信号**可量化、可复现、可扩展**。

---

## 数据构建：从感知数据到物理场景表示

本项目基于多个开源自动驾驶数据集，并将其**重构为“交通场景理解与决策推理”任务**：

- nuScenes
- Waymo
- ONCE
- Reason2Drive

### 场景抽象方式

每个时间步被抽象为结构化物理场景：

- **Ego 状态**
  - Ego speed（m/s）

- **环境对象集合（objects）**
  - 相对距离（distance）
  - 相对方位（sector：front / front-left / front-right / left / right / back）
  - 对象属性（moving / stopped / pedestrian / parked）

每个样本通常包含 4–6 个关键对象，重点关注：
- Ego 前向及侧前方扇区
- 距离最近或潜在风险最高的对象

---

## 场景分类（基于物理约束）

基于 Ego 速度与安全制动距离关系，我们定义四类核心交通场景：

- **Moving Safe**：59.7%
- **Moving Critical**：21.8%
- **Stopped Close**：5.0%
- **Stopped Far**：13.5%

该分类用于构建物理一致的偏好对与训练样本分布控制。

---

## 第一阶段：基于物理规则的 DPO 后训练

在第一阶段中，我们构建物理一致的 DPO 训练数据：

- **Chosen**：符合基础物理规律的决策
- **Rejected**：违反物理常识或动力学约束的决策

该阶段不强制模型给出推理解释，重点在于：
- 消除明显物理错误
- 提升基础安全性与一致性

---

## 第二阶段：结构化 Chain-of-Thought（CoT）

仅对最终结果进行监督在复杂场景中存在上限。为此，我们进一步引入**结构化思维链（Structured CoT）**。

---

## 模型效果对比

| 模型 | 是否物理对齐 | 危险场景误判率 | 推理稳定性 |
|------|--------------|---------------|------------|
| Qwen2.5-1.5B (Base) | 否 | 较高 | 不稳定 |
| DeepSeek R1-1.5B | 部分 | 中等 | 提升 |
| TRIP-RLPF (ours) | 是 | 最低 | 最稳定 |

---

## 模型贡献人员

- 模型研发与维护
TRIP 项目小组

- 核心贡献者
吴子坚、周臻、霍锦彪（东南大学复杂交通网络研究中心）

- 支持单位
东南大学交通学院
东南大学统计与数据科学学院