---
title: SA1B-Paired-Captions-Images
canonical_url: "https://www.modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Paired-Captions-Images"
md_url: "https://www.modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Paired-Captions-Images.md"
repository: Tongyi-DataEngine/SA1B-Paired-Captions-Images
chinese_name: "SA1B-描述-子图对"
last_updated: 2024-08-02
license: "Apache License 2.0"
storage_size: "3.9 GB"
domain:
  - multi_modal
tasks:
  - image-captioning
language:
  - zh
size_scale:
  - ">1m"
downloads: 4079
stars: 31
---

# SA1B-Paired-Captions-Images

> SA1B-Paired-Captions-Images - Tongyi-DataEngine 在 ModelScope 开源的数据集。包含SA-1B图片数据集经过分割后的子图序列及其对应的文本描述。

Tongyi-DataEngine/SA1B-Paired-Captions-Images 是 ModelScope 魔搭社区上的image-captioning数据集，涉及 multi_modal 领域，存储大小 3.9 GB，采用 Apache License 2.0 许可。

- **Repository**: Tongyi-DataEngine/SA1B-Paired-Captions-Images
- **License**: Apache License 2.0
- **Tasks**: image-captioning
- **Domain**: multi_modal
- **Storage size**: 3.9 GB
- **Downloads**: 4079
- **Stars**: 31
- **Last updated**: 2024-08-02

Source: https://www.modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Paired-Captions-Images

---

# SA1B-Paired-Captions-Images Dataset README
## 新闻
- loading..
- 2024-07-18开源模型[**Qwen-VL-Chat-Finetuned-Dense-Captioner**](https://modelscope.cn/models/Tongyi-DataEngine/Qwen-VL-Chat-Finetuned-Dense-Captioner)
- 2024-07-16开源数据集[**SA1B-描述-子图对**](https://modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Paired-Captions-Images)
- 2024-05-24开源数据集[**SA1B-长文本图文描述**](https://modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Dense-Caption)

## 数据简介

[SA1B-长文本图文描述](https://modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Dense-Caption/file/edit/master?fileName=README.md)基于 SAM-CLIP_Object_Centric pipeline的后处理数据集，匹配与局部描述对应的子图。

~~7月16日，第一批开源，总计7万量级的描述-子图对数据。~~

~~7月25日，第二批开源，总计77万量级描述-子图对数据;~~

~~7月29日，第三批开源，总计465万量级描述-子图对数据;~~

8月2日，最后一批开源，总计770万量级描述-子图对数据;

<table>
  <tr>
    <th style="width: 400px;">图像</th>
    <th style="width: 300px;">Matched_Caption</th>
    <th style="width: 400px;">Matched_Image</th>
  </tr>
  <tr>
    <td rowspan="3"><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-cot-qwen/sa_8586912.jpg" width="400"/></td>
    <td>一个穿着黄色上衣和白色短裤的网球运动员正以动态的姿态挥拍击球。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/68e653b18939f61d7e8513d57a3e73c0.jpg" width="400"/></td>
  </tr>
  <tr>
    <td>网球在空中飞行，即将被运动员的网球拍击中。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/466564e019047783f261783468b67e61.jpg" width="400"/></td>
  </tr>
  <tr>
    <td>网球场的蓝色硬地表面作为背景，与运动员形成对比。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/0816a80f750c7334293a77b47313b4d2.jpg" width="400"/></td>
  </tr>
  <tr>
    <td rowspan="2"><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-cot-qwen/sa_9312582.jpg" width="400"/></td>
    <td>飞机机身呈灰色，细节如引擎、机翼和尾部导弹发射口清晰可辨。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/fb1cc1d093fb892377528843681ffa0b.jpg" width="400"/></td>
  </tr>
  <tr>
    <td>喷气式战斗机在蓝天中飞行，机翼尖端喷射出蓝色和白色的烟雾。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/d2fcc9eac8238d81d5c15fe9474b5a49.jpg" width="400"/></td>
  </tr>
  <tr>
    <td rowspan="4"><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-cot-qwen/sa_9308384.jpg" width="400"/></td>
    <td>旁边的建筑物是黄色和白色的，门上方有一个小亭子，上面写着'KALINOWSKA'。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/06a39c3ef55c89305457c38826759af5.jpg" width="400"/></td>
  </tr>
   <tr>
    <td>一辆绿色公交车停靠在路边，车窗反射出周围环境。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/12c0f2f48b864adcce6485749601ac0b.jpg" width="400"/></td>
  </tr>
   <tr>
    <td>一位骑自行车的人站在公交车旁，似乎正在等待上车或下车。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/9eaea12a144d36d25bc1540488d33d1e.jpg" width="400"/></td>
  </tr>
   <tr>
    <td>远处的钟楼高耸入云，成为这个街景中的一个显著特征。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/b0fd405c47fd05c6c55977307e052b59.jpg" width="400"/></td>
  </tr>
  <tr>
    <td rowspan="2"><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-cot-qwen/sa_4534763.jpg" width="400"/></td>
    <td>穿着黑色夹克的人站在签名桌旁，似乎在等待签名。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/23b05f3655e8ba77bc6a285afdcd89e2.jpg" width="400"/></td>
  </tr>
  <tr>
    <td>戴兜帽的人物正在查看购物袋上的签名，他/她穿着黑色服装，头戴兜帽。</td>    
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/2edf6b20669e47a2012dbdcc88e29eb5.jpg" width="400"/></td>
  </tr>
  <tr>
    <td rowspan="2"><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-cot-qwen/sa_3387730.jpg" width="400"/></td>
    <td>一位穿着灰色长袖上衣和牛仔裤的男性摄影师正在使用相机拍照。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/506df41cd67c7ee8db9f98336cd57101.jpg" width="400"/></td>
  </tr>
  <tr>
    <td>另一位穿着蓝色印花衬衫和棕色裤子的男性摄影师也在操作他的相机。</td>
    <td><img src="https://modelscope.cn-beijing.oss.aliyuncs.com/open_data/sa-1b-mask-caption/prod/7064eade932338c516792f41bf868f39.jpg" width="400"/></td>
  </tr>
</table>

## 数据组成
该数据包含：

1. 图片: opensource_url

2. 图片的全局描述: global_caption

3. 图片的局部描述列表: local_captions

4. 匹配上的图像局部描述：matched_local_captions

5. 匹配上的子图：matched_local_urls

## 数据来源
[SA1B-长文本图文描述](https://modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Dense-Caption/file/edit/master?fileName=README.md)

## 数据结构

该数据集不区分训练集和测试集，整体以parquet格式组织，存放在data/ 目录下。使用者可直接按如下所示方式加载数据集即可


## 下载方法 
:modelscope-code[]{type="sdk"}
:modelscope-code[]{type="git"}