--- title: SA1B-Dense-Caption canonical_url: "https://www.modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Dense-Caption" md_url: "https://www.modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Dense-Caption.md" repository: Tongyi-DataEngine/SA1B-Dense-Caption chinese_name: "SA1B-长文本图文描述" last_updated: 2024-07-30 license: "Apache License 2.0" storage_size: "280 GB" domain: - multi_modal tasks: - image-captioning language: - zh size_scale: - ">1m" downloads: 34191 stars: 105 --- # SA1B-Dense-Caption > SA1B-Dense-Caption - Tongyi-DataEngine 在 ModelScope 开源的数据集。该数据集包含sa-1b数据集中8631528张图片的详细的、长文本描述。 Tongyi-DataEngine/SA1B-Dense-Caption 是 ModelScope 魔搭社区上的image-captioning数据集，涉及 multi_modal 领域，存储大小 280 GB，采用 Apache License 2.0 许可。 - **Repository**: Tongyi-DataEngine/SA1B-Dense-Caption - **License**: Apache License 2.0 - **Tasks**: image-captioning - **Domain**: multi_modal - **Storage size**: 280 GB - **Downloads**: 34191 - **Stars**: 105 - **Last updated**: 2024-07-30 Source: https://www.modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Dense-Caption --- # SA1B-Dense-Caption Dataset README ## 新闻 - loading.. - 2024-07-18开源模型[**Qwen-VL-Chat-Finetuned-Dense-Captioner**](https://modelscope.cn/models/Tongyi-DataEngine/Qwen-VL-Chat-Finetuned-Dense-Captioner) - 2024-07-16开源数据集[**SA1B-描述-子图对**](https://modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Paired-Captions-Images) - 2024-05-24开源数据集[**SA1B-长文本图文描述**](https://modelscope.cn/datasets/Tongyi-DataEngine/SA1B-Dense-Caption) ## 数据简介 sa-1b数据集中的**8631528**张图片的**详细的、高质量的、长文本描述**。该数据集的图片描述分为**整体描述**和**细节元素**两方面，其中**细节描述**为图片中的重点元素的描述，**整体描述**包含细节描述汇总的各种信息
图像 QWen-VL-Caption SA1B-Dense-Caption
这是一张篮球比赛的照片，场上队员正在紧张地进行比赛。其中，一个队员高高跃起，试图抢断对方队员手中的篮球。场边观众席上坐满了观众，他们正在观看着比赛。 {
'global_caption': '这是一张体育摄影风格的照片，捕捉了一场篮球比赛中的精彩瞬间。图中，一名穿着白色球衣的球员（号码34）正准备投篮，他的姿势专注而有力。在他面前，两名穿着绿色球衣的防守队员似乎在努力阻挡或干扰他。场地上的其他球员和裁判员也在关注着这一动作。背景中可以看到观众席上密集的人群，他们似乎全神贯注地观看着场上的比赛。',

'local_caption': ['一名穿白色球衣的球员（号码34）正在做投篮动作', '两名穿绿色球衣的球员在进行防守', '场地上还有其他球员和裁判员参与比赛', '背景是观众席，人群密集']
}
这是一张滨海湾金沙酒店和艺术科学博物馆的照片，位于新加坡。可以看到酒店和博物馆的现代化建筑和周围的环境。 {
'global_caption': '这是一张展示新加坡滨海湾地区天际线的摄影作品。图像中心是一座独特的白色建筑，其设计类似于一个巨大的莲花花瓣，位于画面的右侧。左侧是一座由多个弯曲金属结构组成的斜坡式建筑，下方是与之相连的圆形玻璃桥。背景中，可以看到一系列高耸入云的摩天大楼，它们的倒影在平静的水面上清晰可见。天空呈现出晴朗的蓝色，几朵白云悠闲地飘浮着。',

'local_caption': ['中心位置的白色建筑类似莲花花瓣，设计独特，成为视觉焦点', '左侧的斜坡式建筑由多个弯曲金属结构组成，下方连接着圆形玻璃桥', '背景中的摩天大楼群高耸入云，反射在水面上形成美丽的倒影', '天空晴朗，蓝天中散布着几朵白云']
}
这是一张1991年美国发行的圣诞邮票。邮票上有一个经典的圣诞老人形象，他坐在红色的雪橇上，旁边是一棵装饰着彩灯和饰品的圣诞树。圣诞老人的左手拿着一个大礼盒，右手正在解开一个红色的蝴蝶结。他的脚下是厚厚的积雪，右边则是一个穿着黄色外套的圣诞小精灵。邮票的下方写着“1991年USA Christmas”。 {
'global_caption': "这是一张1991年美国发行的圣诞主题邮票，展示了穿着传统红色和白色服装的圣诞老人站在装饰有彩灯和金色丝带的圣诞树旁。邮票上印有'1991 USA CHRISTMAS'字样，下方是邮票的齿孔部分。",

'local_caption': ['圣诞老人：穿着传统的红色和白色服装，戴着帽子，脸上带着微笑，手里拿着一个大礼物盒。', '圣诞树：绿色的树枝上挂满了彩灯和金色的丝带，营造出节日气氛。']
}
### 数据集支持的任务 多模态任务：VLM、SD等 ## 数据组成 该数据包含： - 图片: opensource_url - 图片的分割信息: seg_info - 图片的详细描述: cap_seg ### 数据来源 - 图片：基于sa1b数据集、经过nsfw过滤后的860w图片 - 分割信息：sa1b数据集 - 图像描述：基于Qwen-VL-Chat, finetune支持结构化、详细图文描述任务的ft模型作为captioner;模型开源进行中 ### 数据集标注 万量级标注数据集开源准备中 ### 标注过程 itag图生文标注工具：[Pai-itag智能标注工具](https://www.aliyun.com/product/bigdata/learn/itag?spm=5176.28508143.J_XmGx2FZCDAeIy2ZCWL7sW.50.4526154aqFGBxc&scm=20140722.S_product@@%E4%BA%91%E4%BA%A7%E5%93%81@@2722371._.RL_itag-LOC_topbar~UND~product-OR_ser-V_3-RE_productNew) ## 数据结构 该数据集不区分训练集和测试集，整体以parquet格式组织，存放在data/ 目录下。使用者可直接按如下所示方式加载数据集即可 ## 数据集获取 :modelscope-code[]{type="sdk"} :modelscope-code[]{type="git"} ## 参考信息 - https://ai.meta.com/datasets/segment-anything/ - https://modelscope.cn/models/qwen/Qwen-VL-Chat/summary ## 许可和分享 ## 维护和联系信息 更多高质量多模态数据开源需求，请联系：chenjixuan.cjx@alibaba-inc.com