|
|
|
面向 4K 与更高分辨率影像的多来源飞机目标检测数据集
🤗 Hugging Face · 🟣 魔搭 ModelScope · 数据统计 · 来源条款
中文 | English: Hugging Face · ModelScope
## 数据集介绍 **4K-Aircraft-Detection（4K 飞机目标检测数据集）**面向高分辨率航空与卫星影像中的飞机检测研究。它整合 **DOTA、FAIR1M 和 HRPlanes** 中的飞机样本，提供统一、可追溯的检测数据接口，保留图像原始字节，按来源原图组重新划分，并支持三种尺度属性和单一飞机语义类别两种使用方式。 **1.0.0 版**包含 **3,406 张独立图像**和 **41,955 个训练框记录**；整合输入中的 **42,007 条原始标注行**全部保留用于追溯。本项目的贡献包括数据整合、重复样本核对、框处理记录、划分协议和使用接口，原始影像与标注继续归功于来源作者。 **名称中的“4K”表示研究定位，并不表示全部图像固定为 4K 尺寸。**其中 1,036 张恰为 3840 × 2160，3,326 张长边不少于 3,840 像素，另有 80 张低于该阈值；尺寸变化至 29200 × 27620。发布过程不统一缩放或放大图像，本版也与合成拼接图像集合分别维护。 ## 数据概览 | 项目 | 1.0.0 版 | |:---|:---| | 独立图像 | 3,406 张 | | 训练框记录 | 41,955 条 | | 完整保留的输入原始标注行 | 42,007 条 | | 来源原图组 | 2,370 组 | | 按字节去重后的来源构成 | DOTA：1,263；FAIR1M：29；HRPlanes：2,114 | | 恰为 3840 × 2160 | 1,036 张 | | 长边 ≥ 3,840 像素 | 3,326 张 | | 长边 < 3,840 像素 | 80 张 | | 最大图像尺寸 | 29200 × 27620 | | 最大单张编码 PNG | 约 1.30 GB | | 完整分辨率存储 | 每个 Parquet 行对应一张图像，内嵌原始编码字节，`image.path=null` | | Parquet 数据量 | **25,886,081,462 字节**，共 **91 个分片** | | 轻量浏览预览 | 独立的 `preview` / `sample` 配置，含 6 张无框缩略图，长边 ≤ 1,280 像素 | Parquet 文件大小与原始图像编码载荷的字节总量不同。各分片大小与 SHA-256 校验值见 [metadata/parquet_manifest.json](./metadata/parquet_manifest.json)。较大的原图可以独占一个分片，不会为了达到分片大小目标而降低图像分辨率。 ## 三种尺度属性，一个飞机语义类别 全部目标的语义类别都是飞机。三个类别 ID 保留整合输入中基于**边界框相对面积**的尺度属性，不代表飞机机型或飞机的真实物理尺寸。 对输入中**尚未裁剪**的归一化 YOLO 宽高 `w`、`h`，令 `r = w × h`： | 类别 ID | 标签 | 原始相对面积规则 | |---:|:---|:---| | 0 | `small_plane` | `r < 0.013015267062517454` | | 1 | `middle_plane` | `0.013015267062517454 <= r < 0.04767318343391047` | | 2 | `big_plane` | `r >= 0.04767318343391047` | 将训练框裁剪到图像边界时，**不重新计算类别 ID**。数据同时给出裁剪前、后的相对面积，因此裁剪后的框即使落入另一面积区间，仍保留原始类别 ID。这些阈值与 COCO 小中大目标定义不同；裁剪或补边改变图像画布，也可能改变相对面积。 还可导出**单类 `plane=0` 视图**，使用完全相同的图像、框和划分，便于将尺度属性与飞机定位任务分别评测。 ## 数据划分与重复样本处理 | Parquet 划分名 | YOLO / manifest 划分名 | 图像数 | |:---|:---|---:| | `train` | `train` | 2,384 | | `validation` | `val` | 511 | | `test` | `test` | 511 | | **合计** | | **3,406** | 本版以完整来源原图组为单位重新划分，随机种子为 **20261025**，目标比例为 70/15/15。DOTA 中具有相同 `P` 编号的切片和重采样变体归为一组；HRPlanes 去除重复来源前缀后，使用完整原文件名主体作为来源 ID；FAIR1M 使用原始图像 ID。若不同 ID 的图像 SHA-256 完全相同，则将对应来源组合并。 最终 2,370 组在训练、验证、测试之间的**已识别来源 ID 组重合数为 0**，**图像 SHA-256 重合数为 0**。这表示已知原图 ID 的分组隔离，不能保证不同 ID 之间来自不同地理位置，也不能排除所有视觉近重复样本。 六对图像字节完全相同的重复样本已合并。这六对样本合计涉及 52 条对应备选标注，描述的是经核对的重复目标，但坐标存在细微差别；训练时确定性保留原输入文件名字典序靠前样本的完整标注集，不把这些备选行重复计为新增目标。全部输入原始行与重复匹配记录分别保留在 [metadata/original_annotation_rows.jsonl](./metadata/original_annotation_rows.jsonl) 和 [metadata/deduplication_decisions.json](./metadata/deduplication_decisions.json)。 ## 框处理与追溯记录 默认训练框与图像边界求交，共有 **2,479 条框记录发生裁剪**，此步骤未丢弃任何框。原始类别 ID 保持不变；裁剪前坐标、输入标签文本、裁剪标志与四边变化量均可查询。 发布保留经审计整合输入的原始图像字节，不缩放、不重编码。相对输入快照的 SHA-256 保留校验，不等同于已逐一比对每个上游官方原始压缩包。 | 文件 | 内容 | |:---|:---| | [metadata/manifest.jsonl](./metadata/manifest.jsonl) | 图像 ID、来源组、原样本别名、哈希、尺寸及发布划分；验证集使用 `val` | | [metadata/annotation_rows.jsonl](./metadata/annotation_rows.jsonl) | 训练框、原始几何、来源行追溯与裁剪详情 | | [metadata/original_annotation_rows.jsonl](./metadata/original_annotation_rows.jsonl) | 全部 42,007 条输入原始标注，含重复样本备选行 | | [metadata/clipping_changes.jsonl](./metadata/clipping_changes.jsonl) | 发生变化的框记录 | | [metadata/split_mapping.jsonl](./metadata/split_mapping.jsonl) | 原划分到发布划分的映射 | | [metadata/parquet_manifest.json](./metadata/parquet_manifest.json) | Arrow 字段定义、分片清单、字节数及校验值 | | [CHANGELOG.md](./CHANGELOG.md) | 本版整理变更 | 标注字段中的“original”指**整合输入集合中裁剪前的记录**，不表示该标签文件必然与每个上游数据集最初发布的标注格式逐字节一致。 ## 数据字段 `default` 配置中每行对应一张完整分辨率图像；`objects` 是包含**多个等长列表**的结构，第 `i` 个目标由各列表的第 `i` 项共同表示。 | 字段 | 含义 | |:---|:---| | `image_id`、`sample_id`、`file_name` | 发布图像 ID、稳定样本 ID 与保留的文件名 | | `image` | Hugging Face `Image` 类型，含原始 `bytes`，`path` 为空 | | `width`、`height` | 完整分辨率图像尺寸 | | `source_dataset` | `ClassLabel`：0=`DOTA`，1=`FAIR1M`，2=`HRPlanes` | | `source_image_id`、`source_group_id` | 原图 ID 与划分所用的连通来源组 | | `image_sha256`、`original_splits` | 图像校验值与原始输入划分别名 | | `objects.id` | 训练标注 ID | | `objects.category` | 三种尺度属性的 `ClassLabel`，ID 为 0/1/2 | | `objects.bbox`、`objects.area` | 裁剪后 COCO `[左上角x, 左上角y, 宽, 高]`，单位为原图像素；以及像素面积 | | `objects.bbox_original` | 裁剪前的 COCO 像素坐标 | | `objects.yolo_bbox` | 裁剪后的归一化 `[中心x, 中心y, 宽, 高]` | | `objects.yolo_bbox_original` | 裁剪前的归一化 YOLO 坐标 | | `objects.was_clipped` | 框是否发生裁剪 | | `objects.clipping_delta` | `[左, 上, 右, 下]` 四边向内调整的像素量 | | `objects.original_relative_area`、`objects.clipped_relative_area` | 裁剪前后的相对面积 | ## 从 Hugging Face 读取 安装依赖： ```bash pip install -U datasets pyarrow huggingface_hub ``` 以**编码字节**方式流式读取，避免解码原图像素： ```python from datasets import Image, load_dataset train = load_dataset( "RL-MIND/4K-Aircraft-Detection", "default", split="train", streaming=True, ) train = train.cast_column("image", Image(decode=False)) row = next(iter(train)) print(row["file_name"], row["width"], row["height"]) print(len(row["image"]["bytes"]), row["image"]["path"]) # 编码字节数、None print(len(row["objects"]["category"])) print(row["objects"]["bbox"][:1]) ``` `streaming=True` 无需先下载全部数据，`decode=False` 避免分配解码后的像素数组；但当前行的编码图像仍需占用内存，最大单张 PNG 已约 1.30 GB。轻量浏览可选择 `preview` 配置。需要复现实验时，通过 `revision=` 固定并记录实际使用的数据集提交版本。 ## 从魔搭 ModelScope 下载 使用官方数据集快照下载器取得文件，再用 `datasets` 直接读取本地 Parquet： ```bash pip install -U modelscope datasets pyarrow ``` ```python from pathlib import Path from modelscope.hub.snapshot_download import dataset_snapshot_download from datasets import Image, load_dataset root = Path(dataset_snapshot_download( dataset_id="RL-MIND/4K-Aircraft-Detection", local_dir="./4K-Aircraft-Detection", )) files = { split: sorted(str(p) for p in (root / "data").glob(f"{split}-*.parquet")) for split in ("train", "validation", "test") } data = load_dataset("parquet", data_files=files, streaming=True) train = data["train"].cast_column("image", Image(decode=False)) row = next(iter(train)) print(row["file_name"], len(row["objects"]["category"])) ``` 快照下载会取得完整仓库载荷，请为 Parquet 文件预留足够磁盘空间。数据集快照接口见[官方实现](https://github.com/modelscope/modelscope/blob/master/modelscope/hub/snapshot_download.py)；上述示例直接解析 Parquet，不依赖特定版本 `MsDataset` 的隐式解码行为。 ## 导出 YOLO 与使用 COCO 导出脚本直接写出原始编码图像字节及裁剪后的训练标签，将 Parquet 的 `validation` 转成 YOLO 的 `val`，并生成可移植的 `data.yaml`。输出目录必须为新目录或空目录。 取得 [scripts/export_yolo.py](./scripts/export_yolo.py) 后，从 Hugging Face 导出三类尺度标签： ```bash python scripts/export_yolo.py \ --repo-id RL-MIND/4K-Aircraft-Detection \ --output ./aircraft-size3-yolo ``` 导出单一飞机类别： ```bash python scripts/export_yolo.py \ --repo-id RL-MIND/4K-Aircraft-Detection \ --output ./aircraft-plane-yolo \ --single-class ``` 从已下载的魔搭或 Hugging Face 仓库快照导出： ```bash python ./4K-Aircraft-Detection/scripts/export_yolo.py \ --local-dir ./4K-Aircraft-Detection \ --output ./aircraft-local-yolo ``` [annotations/](./annotations/) 提供 COCO 的 `instances_train.json`、`instances_val.json`、`instances_test.json`，以及 `yolo-size3-labels.zip`、`yolo-plane-labels.zip` 和 `original-labels.zip`。原始标签压缩包保留确定性主样本的裁剪前输入标签；JSONL 追溯文件还完整保留重复样本的全部备选标注行。 ## 可视化预览  拼图由缩略样例及**标注真值框**组成，仅用于展示数据内容。独立的 `preview` / `sample` 配置包含六张**不绘制框**的缩略图，长边最多 1,280 像素。两者均不作为训练或评测划分；六条预览记录也不额外计入 3,406 张正式图像。 数据集图标为 **AI 生成的装饰性品牌素材**，不是卫星观测图像或数据样本。 ## 使用范围与局限 本集合面向飞机检测、高分辨率推理、切片推理及尺度相关评测等学术研究。比较方法时，应报告发布提交版本、划分协议、各尺度表现，以及合并三种尺度属性后的单类飞机检测结果。 来源数据的影像条件和标注习惯不同；尺度属性存在类别不均衡，并受原始图像画布影响。原图 ID 分组隔离与字节级去重，不代表不同地理位置隔离或已完成全面视觉近重复排查。本次发布也不声称新增原生遥感采集、逐样本重新人工核验标注，或提供任何模型性能结论。 ## 来源与许可 `license: other` 表示**按来源适用的学术研究条款**。DOTA 继续适用其公开的学术用途限制，HRPlanes 适用 CC BY-NC-ND 4.0，FAIR1M 适用 CC BY-NC-SA 3.0；本仓库不以统一 MIT、Apache 或商业使用许可覆盖上述内容。详见 [THIRD_PARTY_NOTICES.md](./THIRD_PARTY_NOTICES.md)。 - **DOTA：**Xia 等，*DOTA: A Large-scale Dataset for Object Detection in Aerial Images*，CVPR 2018。[官方项目](https://captain-whu.github.io/DOTA/index.html)。 - **HRPlanes：**Bakırman 与 Sertel，*A benchmark dataset for deep learning-based airplane detection: HRPlanes*，2023。[DOI](https://doi.org/10.26833/ijeg.1107890)。 - **FAIR1M：**Sun 等，*FAIR1M: A benchmark dataset for fine-grained object recognition in high-resolution remote sensing imagery*，2022。[DOI](https://doi.org/10.1016/j.isprsjprs.2021.12.004)。 ## 引用 请同时引用本次整合发布与实验实际使用的来源数据集。机器可读引用信息见 [CITATION.cff](./CITATION.cff)。 ```bibtex @dataset{rlmind2026_4k_aircraft_detection, author = {{RL-MIND}}, title = {4K-Aircraft-Detection}, year = {2026}, version = {1.0.0}, url = {https://huggingface.co/datasets/RL-MIND/4K-Aircraft-Detection} } ```