---
title: M3D-Seg
canonical_url: "https://www.modelscope.cn/datasets/GoodBaiBai88/M3D-Seg"
md_url: "https://www.modelscope.cn/datasets/GoodBaiBai88/M3D-Seg.md"
repository: GoodBaiBai88/M3D-Seg
chinese_name: "3D多模态医疗数据集-分割"
last_updated: 2024-05-08
license: "Apache License 2.0"
storage_size: "455 GB"
domain:
  - image
tasks:
  - image-segmentation
size_scale:
  - 100-10k
downloads: 25712
stars: 46
---

# M3D-Seg

> M3D-Seg - GoodBaiBai88 在 ModelScope 开源的数据集。大规模通用 3D 医疗图像分割数据集 (M3D-Seg)。3D 医学分割是医疗图像分析的主要挑战之一。目前，由于隐私和成本的限制，缺乏大规模的公开利用的 3D 医学图像和标注。 为此，我们收集了 25 个公开的 3D CT 分割数据集，包括CHAOS, HaN-Seg, AMOS22, AbdomenCT-1k, KiTS23, KiPA22, KiTS19, BTCV, Pancreas-CT, 3D-IRCADB,…

GoodBaiBai88/M3D-Seg 是 ModelScope 魔搭社区上的image-segmentation数据集，涉及 image 领域，存储大小 455 GB，采用 Apache License 2.0 许可。

- **Repository**: GoodBaiBai88/M3D-Seg
- **License**: Apache License 2.0
- **Tasks**: image-segmentation
- **Domain**: image
- **Storage size**: 455 GB
- **Downloads**: 25712
- **Stars**: 46
- **Last updated**: 2024-05-08

Source: https://www.modelscope.cn/datasets/GoodBaiBai88/M3D-Seg

---

![Data_visualization](M3D_Seg.jpg)

## 数据集描述
大规模通用 3D 医疗图像分割数据集 (M3D-Seg)

### 数据集简介
3D 医学图像分割是医疗图像分析的一项主要挑战。目前，由于隐私和成本的限制，公开且可用的大规模 3D 医学图像及其标注数据较为匮乏。
为此，我们收集了 25 个公开的 3D CT 分割数据集，包括 CHAOS、HaN-Seg、AMOS22、AbdomenCT-1k、KiTS23、KiPA22、KiTS19、BTCV、Pancreas-CT、3D-IRCADB、FLARE22、TotalSegmentator、CT-ORG、WORD、VerSe19、VerSe20、SLIVER07、QUBIQ、MSD-Colon、MSD-HepaticVessel、MSD-Liver、MSD-lung、MSD-pancreas、MSD-spleen、LUNA16。这些数据集被统一编码从 0000 至 0024，
总计 5,772 个 3D 图像和 149,196 个 3D mask 标注。每个 mask 所对应的语义标签可以通过文本表示。
每个子数据集文件夹内，包含多个数据文件夹（其内包括 image 和 mask 文件），每个子数据集独立使用自己的 json 文件划分数据集。

- **data_load_demo.py**: 提供了如何读取数据集中的 image 和 mask 的示例代码。
- **data_preocess.py**: 描述了如何将原始的`nii.gz`或其他格式的数据集转化为更高效的`npy`格式并进行预处理，保存为统一格式。本数据集已经进行了预处理，因此不需要使用 data_preocess.py。如果需要加入新的数据集，请采用统一的处理方式。
- **dataset_info.json 和 dataset_info.txt**: 包含了每个数据集的名称及其内部标签的文本表示。
- **term_dictionary.json**: 为数据集中的每个语义标签提供多个定义或文本描述，这些描述由 ChatGPT 为每个词生成。研究人员可以将数据集中的类别 ID ，通过 dataset_info.txt 中的信息转换为文本语义标签， 然后利用 term_dictionary.json 进一步转换为文本描述，作为分割模型的文本输入，以实现基于文本提示的分割和推理分割等任务。

本数据集不仅支持传统的分割任务，还支持基于文本提示的分割任务，有关详细方法，请参阅 [SegVol](https://github.com/BAAI-DCAI/SegVol) 和 [M3D](https://github.com/BAAI-DCAI/M3D)。 
作为通用分割数据集，我们提供了便捷、统一和结构化的数据集组织方式，可以按照与本数据集相同的格式统一更多的公开和私有数据集，从而构建更大规模的通用 3D 医疗图像分割数据集。


### 数据集支持的任务
本数据集不仅支持传统的 image-mask 图像分割任务，还可以将数据表示为 image-mask-text 的形式，其中 mask 又可以通过 bounding box 转化为 box 坐标，基于此，该数据集能够有力支持一系列图像分割与定位任务，具体如下： 
- 3D 分割：语义分割，文本提示分割，指代分割，推理分割等。 
- 3D 定位：visual grounding\referring expression comprehension, referring expression generation。


## 数据集的格式和结构

### 数据格式
<pre>
    M3D_Seg/
        0000/
            1/
                image.npy
                mask_(1, 512, 512, 96).npz
            2/
            ......
            0000.json
        0001/
        ......
</pre>

### 数据集下载

总数据集约为 224G。

#### Clone with HTTP
:modelscope-code[]{type="git"}

#### SDK下载
:modelscope-code[]{type="sdk"}

#### 手动下载
从数据集文件手动下载所有文件，推荐使用批量下载工具进行高效下载。
请注意以下几点：

- **分卷下载与合并**：由于 0024 数据集体积较大，原始压缩文件已拆分为两个部分：0024_1 和 0024_2。请确保分别下载这两个文件，并在同一目录下解压缩，以确保数据完整性。

- **稀疏矩阵存储的mask文件**：为有效节省存储空间，mask 文件中的前景信息以稀疏矩阵格式存储，并以`.npz`扩展名保存。每个 mask 文件的名称通常包含其自身的形状信息，便于识别和加载。

- **数据加载示例**：在数据集提供的代码库中，通常包含一个名为 data_load_demo.py 的脚本，供用户参考如何正确地读取和解析上述稀疏矩阵格式的 mask 文件以及其他相关数据。请查阅此脚本以了解具体的加载流程和所需依赖。


### 数据集加载方式
#### 1. 直接使用已处理数据
如果您已经下载了经过预处理的本数据集，无需执行额外的数据处理步骤，可直接进入步骤2进行数据集的构建与加载。请注意，本数据集提供的内容已通过 data_process.py 转换和编号，与原始的 `nii.gz` 文件存在差异。如需了解具体的预处理过程，参阅 data_process.py 文件以获取详细信息。如需添加新数据集或更改原始数据集，请参考 data_process.py 进行数据预处理和统一格式。

#### 2. 创建 Dataset 实例
为了便于利用本数据集进行模型训练与评估，我们为您提供了 Dataset 类的示例代码。请在您的项目中按照以下模板进行数据集的封装：

```python

```


### 数据集划分
每个子数据集文件夹内通过 json 文件划分数据集，分为`train, test`两部分，以便于训练和测试模型。

### 数据集来源

| 序号 | 数据集  | 链接 |
| ------------- | ------------- | ------------- |
| 0000 |CHAOS|	https://chaos.grand-challenge.org/ |
| 0001 |HaN-Seg|	https://han-seg2023.grand-challenge.org/|
| 0002 |AMOS22|	https://amos22.grand-challenge.org/|
| 0003 |AbdomenCT-1k|	https://github.com/JunMa11/AbdomenCT-1K|
| 0004 |KiTS23|	https://kits-challenge.org/kits23/|
| 0005 |KiPA22|	https://kipa22.grand-challenge.org/|
| 0006 |KiTS19|	https://kits19.grand-challenge.org/|
| 0007 |BTCV|	https://www.synapse.org/#!Synapse:syn3193805/wiki/217753|
| 0008 |Pancreas-CT|	https://wiki.cancerimagingarchive.net/display/public/pancreas-ct|
| 0009 | 3D-IRCADB  | https://www.kaggle.com/datasets/nguyenhoainam27/3dircadb |
| 0010 |FLARE22|	https://flare22.grand-challenge.org/|
| 0011 |TotalSegmentator|	https://github.com/wasserth/TotalSegmentator|
| 0012 |CT-ORG|	https://wiki.cancerimagingarchive.net/pages/viewpage.action?pageId=61080890|
| 0013 |WORD|	https://paperswithcode.com/dataset/word|
| 0014 |VerSe19|	https://osf.io/nqjyw/|
| 0015 |VerSe20|	https://osf.io/t98fz/|
| 0016 |SLIVER07|	https://sliver07.grand-challenge.org/|
| 0017 |QUBIQ|	https://qubiq.grand-challenge.org/|
| 0018 |MSD-Colon|	http://medicaldecathlon.com/|
| 0019 |MSD-HepaticVessel|	http://medicaldecathlon.com/|
| 0020 |MSD-Liver|	http://medicaldecathlon.com/|
| 0021 |MSD-lung|  	http://medicaldecathlon.com/|
| 0022 |MSD-pancreas|	http://medicaldecathlon.com/|
| 0023 |MSD-spleen|	http://medicaldecathlon.com/|
| 0024 |LUNA16|	https://luna16.grand-challenge.org/Data/|


## 数据集版权信息

本数据集涉及的所有数据集均为公开数据集，详细版权信息请参考对应数据集的链接。

## 引用方式
如果使用本数据集，需引用以下工作：
```BibTeX
@misc{bai2024m3d,
      title={M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models}, 
      author={Fan Bai and Yuxin Du and Tiejun Huang and Max Q. -H. Meng and Bo Zhao},
      year={2024},
      eprint={2404.00578},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
@misc{du2024segvol,
      title={SegVol: Universal and Interactive Volumetric Medical Image Segmentation}, 
      author={Yuxin Du and Fan Bai and Tiejun Huang and Bo Zhao},
      year={2024},
      eprint={2311.13385},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}
```