---
title: Loong
canonical_url: "https://www.modelscope.cn/datasets/iic/Loong"
md_url: "https://www.modelscope.cn/datasets/iic/Loong.md"
repository: iic/Loong
chinese_name: "大模型多文档复杂问答长文本理解评测数据集"
last_updated: 2024-09-12
license: "Apache License 2.0"
storage_size: "38 MB"
domain:
  - text
tasks:
  - "long-context evaluation"
languages:
  - en
  - zh
size_scale:
  - 10k-250k
type:
  - document-task
  - question-answering
  - text-generation
downloads: 6313
stars: 8
---

# Loong

> Loong - iic 在 ModelScope 开源的数据集。《Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA》

iic/Loong 是 ModelScope 魔搭社区上的long-context evaluation数据集，涉及 text 领域，存储大小 38 MB，采用 Apache License 2.0 许可。

- **Repository**: iic/Loong
- **License**: Apache License 2.0
- **Tasks**: long-context evaluation
- **Domain**: text
- **Storage size**: 38 MB
- **Downloads**: 6313
- **Stars**: 8
- **Last updated**: 2024-09-12

Source: https://www.modelscope.cn/datasets/iic/Loong

---

# Loong: Benchmarking Long-Context LLMs with Extended Multi-Doc QA

<p align="center"><font size=6>📃</font> <a target="_self" href="https://arxiv.org/abs/2406.17419"> <img style="height:20pt" src="https://img.shields.io/badge/-Paper-red?style=flat&logo=arxiv"></a> <font size=6>•</font> <font size=6>🔔</font> <a target="_self" href="https://github.com/MozerWang/Loong"> <img style="height:20pt" src="https://img.shields.io/badge/-Code-pink?style=flat&logo=github"></a></p>

## 背景

目前最常用的长文本评估工作是“大海捞针”，几乎所有发布的长文本模型都会在该任务上评测，但这种评测方法只评测了长文本建模能力的表层--知识定位能力，并且在实际测试过程中，Prompt 的差异对模型的表现影响较大，不能准确的评估模型真实长文本能力。从任务形式上来讲，大海捞针要求模型在长文本中定位出少量与答案相关的片段，这与真实应用场景是不贴合、有偏差的。从评测表现上来看，各家大模型已经将“大海捞针”刷饱和了，几乎都是满分表现，并不能反映出模型之间的差距。同时，在训练数据中添加一些合成任务数据，就能显著提升模型在大海捞针这种合成任务上取得很好的效果。 

此外，各家大模型应用都开放了文档上传功能，用户经常上传多篇文档让LLM分析。但目前已有的评测工作，很少关注这一场景，只是针对单一文档长文本进行评测，或者简单扩充（添加噪声文本）单文档QA作为多文档QA。因此，我们从这一典型应用场景出发，希望构建一个全线的多文档长文本QA benchmark去贴合真实场景，评估模型长文本建模能力。由此，我们以“Leave No Document Behind”为设计理念，将evidence分布在每一篇文档中，忽略任何一篇文档都无法推理出完整的答案，标注了全新的长文本评估数据集Loong。考虑到各种多文档语义关系和LLM对多文档输入的处理方式，我们创新性地提出新的四种任务分类，希望尽可能涵盖多文档长文本建模能力。为了保证数据质量和广泛的评测维度，我们挑选2024年文档（财报、论文、判决文书）作为数据来源，并且保证中英双语种，构建多长度范围评测集合。 

在实验章节部分，我们不仅评测了现有最先进的几个长文本LLMs，还在“RAG vs Long-context”议题上给出我们自己的看法。依靠 RAG 并不能解决与长文本建模相关的所有问题。要真正提高长上下文建模能力，需要更强的训练方法和对更长文本的有效训练，而不仅仅是集成RAG模块。

## 数据简介

Loong 每个测试实例平均由 11 个文档组成，涵盖三个现实场景，包括英语和中文的：(1) *财报*，(2) *法律文书* (3) *学术论文*。同时，Loong 从 *Spotlight Locating*、 *Comparison*、 *Clustering* 和 *Chain of Reasoning* 的角度引入了新的评估任务，以促进对长上下文理解的更现实和全面的评估。此外，Loong 包括不同长度（*10K-50K*, *50K-100K*, *100K-200K*, *200K以上*）及多样化难度的评估任务，使得能够对不同上下文长度和任务复杂性下的 LLM 进行细致评估。

<div style="text-align: center;">
  <img src="comp_vs_other.jpeg" alt="其他长文本评测基准与Loong的特征对比" style="display: block; margin: 0 auto; width: 100%;">
  <p>其他长文本评测基准与Loong的特征对比</p>
</div>

<div style="display: flex; justify-content: center; align-items: center; width: 100%;">
  <div style="text-align: center; width: 66%;  margin-right: 20px;">
    <img src="main_fig.jpg" alt="Loong的问题分类" style="width: 100%;">
    <p>Loong的问题分类</p>
  </div>
  
  <div style="text-align: center; width: 31%;">
    <img src="data_stat.jpeg" alt="Loong的数据统计" style="width: 100%;">
    <p>Loong的数据统计</p>
  </div>
</div>


## 实验结果

<div style="text-align: center;">
  <img src="result_level.jpeg" alt="实验结果" style="display: block; margin: 0 auto; width: 100%;">
  <p>LLM在四个不同长度集的评估任务上的表现。对于每项任务，左侧的指标代表 Avg Scores(0～100)，右侧的指标代表 Perfect Rate(0~1)</p>
</div>

## 数据集使用

请先参考我们的github仓库 <https://github.com/MozerWang/Loong>