---
title: ember-evaluator
canonical_url: "https://www.modelscope.cn/datasets/evolving-foundry/ember-evaluator"
md_url: "https://www.modelscope.cn/datasets/evolving-foundry/ember-evaluator.md"
repository: evolving-foundry/ember-evaluator
last_updated: 2026-11-20
license: "Apache License 2.0"
storage_size: "876 GB"
downloads: 1475
stars: 1
---

# ember-evaluator

> ember-evaluator - evolving-foundry 在 ModelScope 开源的数据集。Prebuilt Docker image archives for benchmark task environments used by [Ember Evaluator](https://github.com/evolving-foundry/ember-evaluator), enabling reproducible and consistent benchmark execution.

evolving-foundry/ember-evaluator 是 ModelScope 魔搭社区上的数据集，存储大小 876 GB，采用 Apache License 2.0 许可。

- **Repository**: evolving-foundry/ember-evaluator
- **License**: Apache License 2.0
- **Storage size**: 876 GB
- **Downloads**: 1475
- **Stars**: 1
- **Last updated**: 2026-11-20

Source: https://www.modelscope.cn/datasets/evolving-foundry/ember-evaluator

---

# Ember Evaluator 任务镜像

本仓库由 [Ember Evaluator](https://github.com/evolving-foundry/ember-evaluator) 官方维护，存放部分 Benchmark 的任务镜像归档，供 `warmup` 和 `run` 按需下载并加载到 Docker。

镜像使用 `docker save` 导出并 gzip 压缩。当前提供以下目录，可用任务和平台以仓库文件列表为准：

| Benchmark | 镜像目录 | 已发布平台 |
| --- | --- | --- |
| Terminal-Bench 4.0 | `terminalbench4.0/` | `linux/amd64` |
| WorkBuddy | `workbuddybench/` | `linux/amd64` |

## 在 Ember Evaluator 中使用

创建 `network.yaml`，按需保留使用的 Benchmark 配置：

```yaml
version: 1
docker:
  benchmarks:
    terminalbench:
      method: archive
      provider: modelscope
      baseUrl: https://modelscope.cn/datasets/evolving-foundry/ember-evaluator/resolve/master/terminalbench4.0
    workbuddy:
      method: archive
      provider: modelscope
      baseUrl: https://modelscope.cn/datasets/evolving-foundry/ember-evaluator/resolve/master/workbuddybench
```

使用自己的实验配置执行：

```bash
ember-evaluator warmup experiment.yaml --network network.yaml
ember-evaluator run experiment.yaml --network network.yaml
```

本仓库仅包含部分任务镜像。请确认实验选中的任务、平台和阶段在仓库中有对应文件；配置归档来源后，下载失败不会自动回退到原 Registry。

## 文件布局

- 解题镜像：`<题库目录>/<任务路径>/linux/amd64/solve.tar.gz`
- 验证镜像：`<题库目录>/<任务路径>/linux/amd64/verify.tar.gz`
- 服务镜像：`<题库目录>/<任务路径>/linux/amd64/<solve 或 verify>/services/<服务名>.tar.gz`

任务路径不包含任务 ID 的第一段命名空间，例如 `terminal-bench/vf2-speedup-networkx` 对应 `vf2-speedup-networkx/`。每个归档只包含一个镜像，只需下载任务实际使用的阶段和服务。

## 相关文档

- [Ember Evaluator 项目主页](https://github.com/evolving-foundry/ember-evaluator)
- [网络配置与镜像核验](https://github.com/evolving-foundry/ember-evaluator/blob/master/docs/users/network.zh-CN.md)
- [镜像打包与上传说明](https://github.com/evolving-foundry/ember-evaluator/blob/master/docs/development/image-archives.md)
