---
title: EarthBench-Fixed
canonical_url: "https://www.modelscope.cn/datasets/haodijia/EarthBench-Fixed"
md_url: "https://www.modelscope.cn/datasets/haodijia/EarthBench-Fixed.md"
repository: haodijia/EarthBench-Fixed
last_updated: 2026-10-31
license: apache-2.0
storage_size: "15 GB"
downloads: 41357
stars: 0
---

# EarthBench-Fixed

> EarthBench-Fixed - haodijia 在 ModelScope 开源的数据集。发布版本 2026-10-31-contracts-v3。用于固定工具观测环境下的 Earth observation agent 评测。

haodijia/EarthBench-Fixed 是 ModelScope 魔搭社区上的数据集，存储大小 15 GB，采用 apache-2.0 许可。

- **Repository**: haodijia/EarthBench-Fixed
- **License**: apache-2.0
- **Storage size**: 15 GB
- **Downloads**: 41357
- **Stars**: 0
- **Last updated**: 2026-10-31

Source: https://www.modelscope.cn/datasets/haodijia/EarthBench-Fixed

---

# EarthBench-Fixed

发布版本 `2026-10-31-contracts-v3`。用于固定工具观测环境下的 Earth observation agent 评测。

包含 248 道题、13684 个输入文件、2341 次参考工具调用、569 条固定感知观测与 39 张掩膜。
保留全部题干和 104 个工具的公开参数、description；修复工具实现、缓存、参考链和答案之间的不一致。
被测模型的历史轨迹和成绩不修改。

## 使用

代码仓库为 `haodijia/GeoEvolve`。在代码仓库运行：

```bash
uv sync --locked
uv run --locked python -m benchmark.prepare
uv run --locked python -m benchmark.prepare --check
uv run --locked python scripts/validate_mcp_tools.py --replay-ground-truth
```

本数据仓库根目录内容放入 `benchmark/earthbench/`。`data/` 为输入，
`perception/observations.csv` 为唯一固定观测表，掩膜位于 `perception/masks/`。
不需要模型服务，不安装外置缓存补丁；未知请求明确报错。

`questions.json` 只含 agent 输入。参考答案与调用存放在 `ground_truth.json`；
`provenance/reference-plan.json` 保存依赖计划，回放通过真实工具执行并保存返回值。
`provenance/answer-review.json` 保存答案算术证据；这些内容不进入 agent 提示词。

`manifest.json` schema 2 记录文件路径与大小，代码版本锁固定 ModelScope commit。
不新增文件哈希；下载及离线检查按发布文件清单和大小校验。

## 本版修订

- 数值统计排除 NoData，只统计目标波段；归一化指数处理无效输入和零分母。
- TES 修正发射率差口径，ATI 应用反照率元数据并保留原公式符号。
- 修正部分栅格 scale 和地理变换；从同源 Q180 补齐 Q179 的 26 个已有输入。
- 569 条冻结观测包含经审核的历史请求补充，旧外置补丁已整合。
- 实际回放参考链后统一必要的选项值、关系、答案字母与开放题精度。
- 上版问题、参考和观测表完整保存在 `provenance/previous_release/`。

来源和逐项记录见 `provenance/SOURCES.md`、`release-v3.json`、`answer-corrections.json`、
`observations-v3.json`、`albedo-metadata-repair.json`、`thermal-grid-repair.json`、
`reverse-scan-grid-repair.json` 和 `fire-input-repair.json`。

固定观测不等于所有目标均经过人工重标；补充记录保留实际后端及审核来源。
部分源题文字日期与提供文件日期不一致，参考使用可用输入的实际日期，不改题干。
Q148/149 沿用根据固定统计量合成的输入，非原始遥感影像；原有声明继续保留。
TES 为简化 NEM / beta / MMD 估计，不宣称完整大气校正产品。

## 许可

沿用上游声明的 Apache-2.0；见 LICENSE、provenance/NOTICE。