---
title: xuannv_embdding
canonical_url: "https://www.modelscope.cn/datasets/WeijieWu/xuannv_embdding"
md_url: "https://www.modelscope.cn/datasets/WeijieWu/xuannv_embdding.md"
repository: WeijieWu/xuannv_embdding
chinese_name: "玄女底座嵌入数据集"
last_updated: 2026-07-21
license: "Apache License 2.0"
storage_size: "17 GB"
downloads: 7333
stars: 0
---

# xuannv_embdding

> xuannv_embdding - WeijieWu 在 ModelScope 开源的数据集。本数据集源于 Xuannv Foundations 遥感基础模型项目。生成流程如下：

WeijieWu/xuannv_embdding 是 ModelScope 魔搭社区上的数据集，存储大小 17 GB，采用 Apache License 2.0 许可。

- **Repository**: WeijieWu/xuannv_embdding
- **License**: Apache License 2.0
- **Storage size**: 17 GB
- **Downloads**: 7333
- **Stars**: 0
- **Last updated**: 2026-07-21

Source: https://www.modelscope.cn/datasets/WeijieWu/xuannv_embdding

---

# 玄女底座遥感数据集

> 哈尔滨新区多源遥感数据与预计算嵌入向量

## 这个数据集是怎么生成的？

本数据集源于 **Xuannv Foundations** 遥感基础模型项目。生成流程如下：

1. **多源数据输入** — 收集哈尔滨新区 424 个空间格网的多源遥感数据，包括 Sentinel-2 光学影像、Sentinel-1 SAR 影像、Landsat 影像、高分光学/雷达、DEM 高程模型等，时间跨度 2023-01 至 2025-12。
2. **深度编码** — 将原始影像输入 Xuannv Foundations 编码器，经过 SensorEncoderBank（多传感器分别编码）→ STPBlocks（8 层时空编码）→ VMFBottleneck（压缩到 128 维）的处理流程。
3. **嵌入输出** — 每个格网、每个月份输出一个 **128 维的语义嵌入向量**，形状为 `(128, 64, 64)`，已做 L2 归一化，位于单位超球面上。

简单来说：**我们帮你把繁杂的多源遥感影像处理好了，直接给你 128 维的"语义指纹"，你可以立刻用它做下游任务。**

---

### ⚠️ 关于 Embedding PCA-RGB 可视化

嵌入向量是 128 维的抽象特征表示，无法直接以图像形式观看。
可视化时通常采用 PCA（主成分分析）将其降至 3 维，再映射到 RGB
三个颜色通道生成伪彩色图。

**重要声明**：
- **PCA-RGB 伪彩色图不代表真实的遥感影像外观。**
  它只是对 128 维特征空间的低维投影，颜色仅反映特征间的
  统计差异，与真实地表的光谱反射无关。
- 不同时间点的 PCA-RGB 图颜色差异越大，说明嵌入向量变化越大，
  但并不直接等价于地物发生了变化。
- 如需查看真实遥感影像，请使用 `raw_data/` 中的原始影像数据。

---


## 它能做什么？

拿到这些嵌入向量后，你可以直接做以下事情，无需重新处理原始影像：

| 任务 | 原理 | 所需输入 |
|------|------|----------|
| **🔍 变化检测** | 对比同一位置两期嵌入向量的余弦距离，距离越大变化越显著 | 两期嵌入向量 |
| **🌲 土地覆盖分类** | 用 Linear Probe / MLP 在嵌入空间做像素级 11 类分类 | 一期嵌入向量 |
| **🏗️ 建筑物提取** | 二分类 MLP 识别建筑区域，F1 可达 0.956 | 一期嵌入向量 |
| **💧 水体提取** | 二分类 MLP 识别水体，F1 可达 0.862 | 一期嵌入向量 |
| **🛰️ 多传感器融合分析** | 嵌入向量天然融合了 S2 + S1 + Landsat + DEM 的信息 | 一期嵌入向量 |

**核心优势**：下游任务模型（变化检测头、分类器）都只有几 MB 到几 MB，推理速度快（CPU 即可），而无需重复跑庞大的编码器。

## 相关链接

| 资源 | 链接 | 说明 |
|------|------|------|
| 🌐 **在线展示平台** | http://60.31.21.42:22060/ | 浏览器打开即可体验交互式遥感可视化 |
| 📦 **下游任务模型** | [WeijieWu/xuannv-downstream-models](https://modelscope.cn/models/WeijieWu/xuannv-downstream-models) | 变化检测头 + 4 个分类模型 |
| 💻 **开源项目仓库** | https://github.com/go-bananas-wwj/xuannv_show | 前后端完整代码、Docker 部署 |
| 📒 **快速开始 Notebook** | 本数据集内 `notebooks/xuannv_quickstart.ipynb` | 完整代码教程，从下载到推理 |

## 数据集简介

本数据集包含 **哈尔滨新区**（松北、太阳岛等区域）的 **424 个空间格网**的多源遥感原始数据，以及经过 Xuannv Foundations 编码器预计算的 **128 维嵌入向量**。

- **空间范围**：哈尔滨新区
- **时间范围**：2023-01 至 2025-12
- **格网数量**：424 个 patch（原始分辨率 128×128 像素）
- **数据总量**：约 16GB（压缩后）

## 目录结构总览

```
xuannv_embdding/
├── README.md                    # 本说明文档
├── raw_data/                    # 原始遥感数据（需解压 tar.gz）
│   ├── scene_index.json         # 时间索引（S2/S1/Landsat 的可用日期列表）
│   ├── s2.tar.gz                # Sentinel-2 光学影像（~4GB）
│   ├── s1.tar.gz                # Sentinel-1 SAR 影像（~4GB）
│   ├── s2_hr.tar.gz             # 高分光学影像（~86MB）
│   ├── s1_hr.tar.gz             # 高分雷达影像（~93MB）
│   ├── landsat.tar.gz           # Landsat 光学影像（~449MB）
│   ├── dynamic_world.tar.gz     # Dynamic World 土地利用标签（~24MB）
│   ├── dem/                     # 数字高程模型（424 个 GeoTIFF）
│   ├── worldcover/              # ESA WorldCover 土地覆盖（424 个 GeoTIFF）
│   └── jrc_water/               # JRC 全球水体数据（424 个 GeoTIFF）
├── embeddings/                  # 预计算嵌入向量（需解压 tar.gz）
│   ├── v4_official.tar.gz       # V4 版本月度嵌入（~4.2GB）
│   └── v5_mixed_scale.tar.gz    # V5 混合尺度嵌入（~4.2GB）
├── annotations/                 # 变化检测人工标注（shapefile 格式）
└── mini_test/                   # patch_000186 最小化测试集（~39MB，无需解压）
    ├── raw_data/                # 该 patch 的全传感器原始数据
    └── embeddings/              # 该 patch 的 V4/V5 嵌入向量
```

> ⚠️ **注意**：文件名以 `.tar.gz` 结尾的目录需要下载后手动解压。其余小目录（dem、worldcover、jrc_water、annotations、mini_test）可直接使用。

---

## 每个目录详解

### 1. raw_data/ — 原始遥感数据

所有原始数据按 **传感器类型** 分目录，每个传感器目录下再按 **patch 编号** 分子目录，每个 patch 子目录下是按 **日期** 命名的 GeoTIFF 文件。

**文件组织示例**：
```
raw_data/s2/patch_000186/20230103.tif
raw_data/s2/patch_000186/20230105.tif
...
raw_data/s2/patch_000187/20230103.tif
```

| 文件/目录 | 传感器 | 类型 | 数量 | 说明 |
|-----------|--------|------|------|------|
| `s2.tar.gz` | Sentinel-2 | 光学 | 180 景/patch | 10m 分辨率，6 波段（B2,B3,B4,B8,B11,B12） |
| `s1.tar.gz` | Sentinel-1 | SAR | 96 景/patch | C 波段，VV/VH 双极化 |
| `s2_hr.tar.gz` | 高分光学 | 光学 | ~5 景/patch | 更高空间分辨率的光学影像 |
| `s1_hr.tar.gz` | 高分雷达 | SAR | ~4 景/patch | 更高空间分辨率的 SAR 影像 |
| `landsat.tar.gz` | Landsat | 光学 | 76 景/patch | 30m 分辨率，波段与 S2 对齐 |
| `dynamic_world.tar.gz` | Dynamic World | 标签 | 13 景/patch | Google 9 类土地利用（季度） |
| `dem/` | DEM | 高程 | 1 景/patch | 数字高程模型 |
| `worldcover/` | ESA WorldCover | 标签 | 1 景/patch | 11 类土地覆盖（静态） |
| `jrc_water/` | JRC Water | 标签 | 1 景/patch | 水体/非水体掩码（静态） |

**scene_index.json**：记录了 S2、S1、Landsat 三个传感器的所有可用日期字符串列表，格式为 `YYYYMMDD`。

### 2. embeddings/ — 预计算嵌入向量

嵌入向量是原始遥感数据经过 Xuannv Foundations 编码器后的 128 维特征表示。

| 属性 | 值 |
|------|-----|
| 文件格式 | NumPy `.npy` |
| 数组形状 | `(128, 64, 64)` = `(D, H, W)` |
| 数据类型 | `float32` |
| 空间分辨率 | 64×64（原始 128×128 经编码器下采样） |
| 归一化 | 已 L2 归一化，位于单位超球面 |
| 适用距离 | 余弦距离 |

**命名规则**：`patch_{6位编号}_{YYYY-MM}.npy`

**两个版本**：
- **V4 official** (`v4_official.tar.gz`)：标准双窗口时序对比训练，适合通用变化检测基线
- **V5 mixed scale** (`v5_mixed_scale.tar.gz`)：混合长间隔（≥6月）与短间隔（1–3月）时序对比，适合时间敏感任务

### 3. annotations/ — 变化检测人工标注

shapefile 格式的变化检测标注，包含以下类别：
- `june.shp`、`aug.shp`、`September.shp`、`October.shp` — 月度变化标注
- `SAR建筑工地.shp`、`SAR房屋拆除.shp`、`SAR疑似违建.shp`、`SAR非农非粮.shp` — SAR 专题标注

### 4. mini_test/ — 最小化测试集

包含 **patch_000186** 的全部数据，体积仅 **~39MB**，无需解压，适合快速体验：

```
mini_test/
├── raw_data/
│   ├── s2/patch_000186/           # Sentinel-2 影像
│   ├── s1/patch_000186/           # Sentinel-1 SAR
│   ├── s2_hr/patch_000186/        # 高分光学
│   ├── s1_hr/patch_000186/        # 高分雷达
│   ├── landsat/patch_000186/      # Landsat 影像
│   ├── dem/patch_000186/          # DEM
│   ├── worldcover/patch_000186/   # WorldCover
│   ├── dynamic_world/patch_000186/ # Dynamic World
│   └── jrc_water/patch_000186/    # JRC Water
└── embeddings/
    ├── v4_official/monthly_embeddings_2025/patch_000186_*.npy
    └── v5_mixed_scale/monthly_embeddings_2025/patch_000186_*.npy
```

---

## 快速开始

### 第一步：安装依赖

```bash
pip install torch numpy scipy scikit-learn joblib matplotlib pillow modelscope
```

### 第二步：下载数据

**方式 A：下载 mini_test（推荐新手，~39MB）**

```python
from modelscope.hub.snapshot_download import dataset_snapshot_download

dataset_snapshot_download(
    dataset_id="WeijieWu/xuannv_embdding",
    local_dir="./xuannv_demo/data",
    allow_file_pattern=["mini_test/**"],
)
```

**方式 B：下载完整数据集（~16GB）**

```bash
modelscope download --dataset WeijieWu/xuannv_embdding --local_dir ./xuannv_full
```

### 第三步：解压 tar.gz（完整数据集）

```bash
cd xuannv_full/raw_data
tar xzf s2.tar.gz
tar xzf s1.tar.gz
tar xzf s2_hr.tar.gz
tar xzf s1_hr.tar.gz
tar xzf landsat.tar.gz
tar xzf dynamic_world.tar.gz

cd ../embeddings
tar xzf v4_official.tar.gz
tar xzf v5_mixed_scale.tar.gz
```

### 第四步：加载嵌入向量

```python
import numpy as np

# 加载 V5 版本 patch_000186 2025年4月的嵌入向量
emb = np.load("./xuannv_demo/data/mini_test/embeddings/v5_mixed_scale/monthly_embeddings_2025/patch_000186_2025-04.npy")
print(emb.shape)   # (128, 64, 64)
```

### 第五步：加载配套模型进行推理

配套下游任务模型请前往：[WeijieWu/xuannv-downstream-models](https://modelscope.cn/models/WeijieWu/xuannv-downstream-models)

| 模型 | 任务 | 说明 |
|------|------|------|
| `monthly_cd_head_v5_final.pt` | 变化检测 | 基于两期嵌入向量输出像素级变化概率 |
| `worldcover_linear_probe.pkl` | 土地覆盖分类 | 11 类（ESA WorldCover） |
| `dynamic_world_sklearn_mlp.pkl` | 土地利用分类 | 9 类（Google Dynamic World） |
| `jrc_water_sklearn_mlp.pkl` | 水体提取 | 二分类 |
| `building_sklearn_mlp.pkl` | 建筑物提取 | 二分类 |

完整的代码示例请参阅本数据集内的 `notebooks/xuannv_quickstart.ipynb`。

---

## 下游任务模型资源

| 资源 | 链接 |
|------|------|
| **下游任务模型** | [WeijieWu/xuannv-downstream-models](https://modelscope.cn/models/WeijieWu/xuannv-downstream-models) |
| **快速开始 Notebook** | 本数据集 `notebooks/xuannv_quickstart.ipynb` |
| **在线展示平台** | http://60.31.21.42:22060/ |
| **开源项目仓库** | https://github.com/go-bananas-wwj/xuannv_show |

---

## License

MIT License — Copyright (c) 2026 Xuannv Foundations

**数据使用条款**：
- 本数据集仅供学术研究使用
- 原始遥感数据来源于公开卫星影像（Sentinel-2、Sentinel-1、Landsat）及公开产品（ESA WorldCover、Dynamic World、JRC Water）
- 嵌入向量为模型预计算输出