---
title: SENTINEL
canonical_url: "https://www.modelscope.cn/datasets/pspdada/SENTINEL"
md_url: "https://www.modelscope.cn/datasets/pspdada/SENTINEL.md"
repository: pspdada/SENTINEL
chinese_name: SENTINEL
last_updated: 2026-07-02
license: "Apache License 2.0"
storage_size: "53 MB"
downloads: 2647
stars: 1
---

# SENTINEL

> SENTINEL - pspdada 在 ModelScope 开源的数据集。SENTINEL 引入了一种自动的、句子级的早期干预策略，以预防和缓解多模态大语言模型（MLLMs）中的对象幻觉。

pspdada/SENTINEL 是 ModelScope 魔搭社区上的数据集，存储大小 53 MB，采用 Apache License 2.0 许可。

- **Repository**: pspdada/SENTINEL
- **License**: Apache License 2.0
- **Storage size**: 53 MB
- **Downloads**: 2647
- **Stars**: 1
- **Last updated**: 2026-07-02

Source: https://www.modelscope.cn/datasets/pspdada/SENTINEL

---

# ICCV 2025 | SENTINEL 数据集卡片:<br>Mitigating Object Hallucinations via Sentence-Level Early Intervention <!-- omit in toc -->

<a href='https://arxiv.org/abs/2507.12455'>
<img src='https://img.shields.io/badge/论文-Arxiv-purple'></a>
<a href='https://huggingface.co/collections/psp-dada/sentinel-686ea70912079af142015286'>
<img src='https://img.shields.io/badge/模型权重-HF-Green'></a>
<a href='https://github.com/pspdada/SENTINEL'>
<img src='https://img.shields.io/badge/Github 仓库-Repo-orange'></a>
<a href='https://huggingface.co/papers/2507.12455'>
<img src='https://img.shields.io/badge/讨论区-HF-blue'></a>
<a href='https://github.com/pspdada/SENTINEL/blob/main/LICENSE'>
<img src='https://img.shields.io/badge/许可证-Apache_2.0-yellow'></a>

<a href='https://modelscope.cn/datasets/pspdada/SENTINEL'>
<img src='https://img.shields.io/badge/数据集-🤖ModelScope-pink'></a>
<a href='https://modelscope.cn/collections/pspdada/SENTINEL'>
<img src='https://img.shields.io/badge/模型-🤖ModelScope-red'></a>

## 摘要 <!-- omit in toc -->

多模态大语言模型（MLLMs）在跨模态理解方面取得了突破性进展，但仍然容易产生幻觉，即生成与视觉输入相矛盾的虚构内容。现有的幻觉抑制方法要么计算开销过高，要么在训练数据与模型输出之间引入分布不一致的问题。我们发现了一个关键现象：幻觉往往在文本生成的早期阶段出现，并在后续生成过程中不断传播和放大。

基于这一观察，我们提出了 SENTINEL (Sentence-level Early iNtervention Through IN-domain prEference Learning)，一种无需人工标注的框架。具体而言，我们首先通过迭代采样模型输出，结合两个开放词汇目标检测器进行交叉验证以确认物体是否真实存在，并将句子划分为“存在幻觉”和“无幻觉”两类，从而自举构建高质量的域内偏好样本对。随后，我们利用上下文连贯的正样本与包含幻觉的负样本，迭代构建具备上下文感知能力的偏好数据。最后，通过引入一种上下文感知的偏好损失（C-DPO），在幻觉最初出现的句子层面强化模型的判别式学习。

实验结果表明，与原始模型相比，SENTINEL 可将幻觉现象降低 90% 以上，并在幻觉相关基准和通用能力基准上均优于此前的最新方法，充分验证了其优势与良好的泛化能力。

## 🎊 新闻 <!-- omit in toc -->

- [2025.07.30] 🔍 我们的工作已被 52CV 专题报道和解读，请查看[这里](https://mp.weixin.qq.com/s/Sfr1wdUCkeOLmj7NVWNUnw)。
- [2025.07.21] 📖 所有代码、数据和模型已发布！
- [2025.06.26] 🎉 我们的 SENTINEL 被 **ICCV 2025** 接收！

## 🚀 概述 <!-- omit in toc -->

**SENTINEL** 引入了一种自动的、句子级的早期干预策略，以预防和缓解多模态大语言模型（MLLMs）中的对象幻觉。主要优势：

- **无需标注**：不需要人工标记。

- **模型无关**：与任何 MLLM 架构兼容。

- **高效**：轻量级 LoRA 微调。

## 📚 数据集

### 简介

SENTINEL 数据集包含 `LLaVA-v1.5`、`LLaVA-v1.6`、`Qwen2-VL` 和 `Qwen2.5-VL` 系列模型的偏好训练样本对，无需外部监督即可实现稳健且可扩展的幻觉缓解。

有关此数据集的详细信息，请参阅 GitHub 仓库的[文档](https://github.com/pspdada/SENTINEL?tab=readme-ov-file#-dataset)。

> 提示：在使用此数据集之前，请将数据文件中的 `/your/path/to/VisualGenome` 更改为您自己的路径。

它包含以下组件：

- `image_data.jsonl` 文件

  此文件包含从 Visual Genome 数据集中提取的开源图像选择。它仅包含三个字段：`image_id`、`image_path` 和 `question`，用于构建图像描述任务中幻觉抑制的偏好训练数据。

  **注意**：如果您想使用此文件中的数据，请确保将 `image_path` 字段替换为您本地 Visual Genome 数据集副本的路径。

- `<model_name>.json` 文件

  这些文件表示训练数据构建步骤后生成的偏好训练数据集，每个文件对应一个特定模型。

  它们包含 **C-DPO 训练**所需的字段，例如：`"question"`、`"context"`、`"y_win"` 和 `"y_lose"`。

<table align="center">
    <p align="center">
      <img src="/docs/figures/dataset.png" width="80%" />
    </p>
</table>

### 下载方法

:modelscope-code[]{type="sdk"}

:modelscope-code[]{type="git"}

## 📝 引用

如果您觉得我们的模型/代码/数据/论文有帮助，请考虑引用我们的论文 📝 并为我们点赞 ⭐️！

```bibtex
@inproceedings{SENTINEL_2025,
  title     = {Mitigating Object Hallucinations via Sentence-Level Early Intervention},
  author    = {Peng, Shangpin and Yang, Senqiao and Jiang, Li and Tian, Zhuotao},
  booktitle = {Proceedings of the IEEE International Conference on Computer Vision},
  pages     = {635--646},
  year      = {2025}
}
```

## 📧 联系我们 <!-- omit in toc -->

如果您有任何问题、评论或建议，请随时提交 issue 或 PR，以帮助推进该领域的研究。

## 许可证 <!-- omit in toc -->

[Apache License 2.0](https://github.com/pspdada/SENTINEL/blob/main/LICENSE)