---
title: EvSpark
canonical_url: "https://www.modelscope.cn/models/dinghao1120/EvSpark"
md_url: "https://www.modelscope.cn/models/dinghao1120/EvSpark.md"
repository: dinghao1120/EvSpark
last_updated: 2026-09-20
downloads: 0
stars: 0
---

# EvSpark

> EvSpark - dinghao1120 在 ModelScope 开源的模型。EvSpark — Evo2 无损投机解码

- **Repository**: dinghao1120/EvSpark
- **Downloads**: 0
- **Stars**: 0
- **Last updated**: 2026-09-20

Source: https://www.modelscope.cn/models/dinghao1120/EvSpark

---

# EvSpark — Evo2 无损投机解码

[EvSpark](https://github.com/dhnihaoya/EvSpark) 的 **drafter 权重**：小型蒸馏 drafter，在保持**分布无损**的前提下加速 Evo2（StripedHyena2）单流生成——贪心输出与原生解码逐 token 一致。

[**论文（bioRxiv）**](https://www.biorxiv.org/content/10.64898/2026.09.02.749017) · [DOI](https://doi.org/10.64898/2026.09.02.749017) · [GitHub](https://github.com/dhnihaoya/EvSpark) · [Hugging Face](https://huggingface.co/dinghhhhhhhhhhhhhhh/EvSpark)

本页覆盖 7B / 20B / 40B 三档目标（同一 drafter 架构配方）。方法与评测见论文；套件 = 48 条基因组 prompt × 1024 token，单流。

| 目标 | 套件加速（all-48 / real-43） | 测试环境 |
|---|---|---|
| Evo2 7B，旗舰 `L27_g12_150M` | **3.27× / 2.96×** | RTX 4090，flash-attn，3 个训练种子 |
| Evo2 7B，成本最优 `L27_g12_30M` | 3.15× / 2.82× | 单卡 4090 蒸馏约 **1.06 GPU 时** |
| Evo2 20B `phase3_20b_L20_g12_b1/b2` | 2.53×/2.18× · 2.51×/2.22× | H20，SDPA，单种子 |
| Evo2 40B `phase3_40b_L45_g12_b1/b2/b3` | 2.72×/2.44× · 2.78×/2.46× · 2.72×/2.42× | H20，SDPA，单种子 |

长上下文：*E. coli* 262k 1.97–2.43×，*B. subtilis* 262k 1.84–2.05×。贪心无损：48 prompt × 6 checkpoint 零非 tie 分歧。每个 checkpoint 支持任意解码期草稿长度 γ′ ≤ 训练 γ（精确因果前缀，无需重训）。在预测器引导的调控 DNA 设计工作流中，相对校准后的批式原生基线，完整设计中位加速 **1.57×**（见论文）。

## Checkpoint 一览

所有 drafter 均为单层注入（7B: blocks.27；20B: blocks.20；40B: blocks.45），`d_model=1024`，从**冻结**的 Evo2 hidden states 离线蒸馏而来，target 模型不做任何微调。20B/40B drafter 需要 target 官方的 Transformer-Engine 加载路径（实测平台为单卡 H20 96 GB；Ada 显卡无官方路径）。

| 文件 | 目标 | 蒸馏预算 | 定位 |
|---|---|---:|---|
| `L27_g12_150M_s1.pt` / `_s2.pt` | 7B | 150M | 旗舰（默认） |
| `L27_g12_30M_s1.pt` / `_s2.pt` | 7B | 30M | 约 1 GPU 时的成本格 |
| `phase3_20b_L20_g12_b1.pt` / `_b2.pt` | 20B | 10M / 30M | 大目标迁移 |
| `phase3_40b_L45_g12_b1.pt` / `_b2.pt` / `_b3.pt` | 40B | 10M / 30M / 80M | 大目标迁移 |

`s1` / `s2` 为同一格子的两个独立训练种子；`_b1/_b2/_b3` 为 10M/30M/80M 监督位置预算。

**SHA-256**

| 文件 | sha256 |
|---|---|
| `L27_g12_150M_s1.pt` | `be6ff9f8818a83533e39d112ee9ba0028a340fe3cead8dc342c2397baf32310a` |
| `L27_g12_150M_s2.pt` | `654576ae3713fb4a0bc767c70f9bdaddb2f9b468a1019d14c8fff659d693af40` |
| `L27_g12_30M_s1.pt` | `18552e63f9facf853c7b8df31edaafaac4dec7276c9524cefa038f11b6cbc7c1` |
| `L27_g12_30M_s2.pt` | `571eb2ccdbef5f11026157908e29cf06ce76c6587d437da1e6797c40cf2ab6df` |
| `phase3_20b_L20_g12_b1.pt` | `2f308c71c80d9b919aa2d11a2d7ee98488251ee64bd4505ceecd129820f630d3` |
| `phase3_20b_L20_g12_b2.pt` | `3d9d4d9343935f18cfeec3731447566cff17e8a9d08df4cffaebcda771066c1c` |
| `phase3_40b_L45_g12_b1.pt` | `81241aaeb0cc49d5c8559085b8bb2d78d6a6f6e87a5ac099e2e60734446d1260` |
| `phase3_40b_L45_g12_b2.pt` | `87507bc81edbde067392c8d8e35f397945af2cd6b1bd5ad666f3ecdc371f8930` |
| `phase3_40b_L45_g12_b3.pt` | `95e75641ca48fba95d5500f339c91ef4f7ac2567538c6063f744afdff35c1b58` |

## 快速上手

这些文件是 **drafter**，不是独立的 DNA 语言模型。需要 Evo2 + EvSpark 引擎（块验证 + Hyena/attention 状态切片回滚）：

```bash
git clone https://github.com/dhnihaoya/EvSpark && cd EvSpark   # 环境配置见 GitHub README
python scripts/download_ckpt.py L27_g12_150M_s1 --source modelscope
python scripts/demo.py --ckpt L27_g12_150M_s1 --n-tokens 1024
```

```python
from evspark import EvSpark

with EvSpark.load("L27_g12_150M_s1") as es:
    out = es.generate("ACGTACGT...", n_tokens=1024)   # T=1.0, top_k=4
```

手动下载：

```python
from modelscope import snapshot_download
snapshot_download(
    "dinghao1120/EvSpark",
    allow_patterns=["L27_g12_150M_s1.pt"],
    local_dir="checkpoints",
)
```

## 引用

```bibtex
@article{ding2026evspark,
  title   = {EvSpark: Lossless Speculative Decoding for Hybrid DNA Foundation Models},
  author  = {Ding, Hao and Wu, Nannan and Qiu, Tianyi},
  journal = {bioRxiv},
  year    = {2026},
  doi     = {10.64898/2026.09.02.749017},
  url     = {https://www.biorxiv.org/content/10.64898/2026.09.02.749017}
}
```

## 许可

checkpoint 与代码均为 **MIT**。Evo2 / Vortex 的权重与运行时遵循其各自的上游许可。