---
title: NeoHorse-Jev-4B-GGUF
canonical_url: "https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF"
md_url: "https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF.md"
repository: TokenRhythm/NeoHorse-Jev-4B-GGUF
chinese_name: NeoHorse-Jev-4B-GGUF
last_updated: 2026-09-24
license: apache-2.0
pipeline_tag: text-classification
tasks:
  - text-classification
base_model:
  - TokenRhythm/NeoHorse-Jev-4B
base_model_relation: quantized
library_name:
  - gguf
downloads: 697
stars: 6
tags:
  - gguf
  - decision-model
  - vision
  - non-generative
---

# NeoHorse-Jev-4B-GGUF

> NeoHorse-Jev-4B-GGUF - TokenRhythm 在 ModelScope 开源的模型。NeoHorse-Jev-4B unified GGUF decision model with vision; private pre-release.

TokenRhythm/NeoHorse-Jev-4B-GGUF 是 ModelScope 魔搭社区上的text-classification模型，采用 apache-2.0 许可，基于 TokenRhythm/NeoHorse-Jev-4B 构建。

- **Repository**: TokenRhythm/NeoHorse-Jev-4B-GGUF
- **License**: apache-2.0
- **Tasks**: text-classification
- **Base model**: TokenRhythm/NeoHorse-Jev-4B
- **Tags**: gguf, decision-model, vision, non-generative
- **Downloads**: 697
- **Stars**: 6
- **Last updated**: 2026-09-24

Source: https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF

---

<div align="center">
  <h1>NeoHorse-Jev-4B-GGUF</h1>
  <p><b>面向智能体工作流的 Prefill-only 决策 · GGUF 版本</b></p>
</div>

<div align="center">
  <a href="https://github.com/TokenRhythm/NeoHorse"><img alt="GitHub" src="https://img.shields.io/badge/GitHub-NeoHorse-181717?logo=github&logoColor=white"></a>
  <a href="https://huggingface.co/collections/TokenRhythm/neohorse-jev"><img alt="Hugging Face" src="https://img.shields.io/badge/Hugging%20Face-Models-FFD21E?logo=huggingface&logoColor=000000"></a>
  <a href="https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF"><img alt="ModelScope" src="https://img.shields.io/badge/ModelScope-Models-624AFF?logo=modelscope&logoColor=white"></a>
  <a href="https://tokenrhythm.ai/"><img alt="Company" src="https://img.shields.io/badge/Company-TokenRhythm-F97316?logo=homeassistant&logoColor=white"></a>
  <a href="https://x.com/opensquilla"><img alt="Twitter / X" src="https://img.shields.io/badge/Twitter%20%2F%20X-OpenSquilla-111827?logo=x&logoColor=white"></a>
  <a href="https://www.apache.org/licenses/LICENSE-2.0"><img alt="License: Apache-2.0" src="https://img.shields.io/badge/License-Apache--2.0-64748B"></a>
</div>

<p align="center">
  <a href="https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B">原始模型</a> ·
  <a href="https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF/files">GGUF 文件</a> ·
  <a href="#部署">部署</a>
</p>

## 模型介绍

**NeoHorse-Jev-4B-GGUF** 是 [**NeoHorse-Jev-4B**](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B) 的 GGUF 发布版本。原始模型由基元律动（TokenRhythm）基于 [NeoHorse-1-4B](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-1-4B) 构建，是一个 **4B 级结构化决策模型**。给定状态与调用方定义的问题，模型通过 **prefill-only 推理**预测决策及其概率，可用于请求路由、工具选择、条件判断与等级评分。

| 决策类型 | 返回结果 | 典型用途 |
| --- | --- | --- |
| **Choice** | 选中候选及完整候选概率分布 | 请求路由、工具选择、候选动作选择 |
| **Noul** | 是／否条件成立的概率 `P(true)` | 条件检查、过滤、工作流门控 |
| **Score** | 有序等级的概率分布与期望分值 | 质量评估、严重程度、优先级判断 |

本仓库提供 **BF16、Q8_0、Q4_K_M、Q3_K_M 和 Q2_K** 五种精度。每个 GGUF 都包含语言主干、视觉权重、决策头和 tokenizer 配置；部署时下载**一个 GGUF 与共用的 `runtime/` 目录**即可，无需额外下载 `mmproj` 或原始模型权重。配套 runtime 支持文本和单张图片与文本联合输入。

完整模型介绍、跨模型评测与使用说明见[原始模型页](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B)。本页提供 GGUF 的量化结果、文件选择和部署方法。

## 决策演示

![NeoHorse-Jev-4B 六宫格决策演示](https://huggingface.co/TokenRhythm/NeoHorse-Jev-4B/resolve/main/assets/jev-six-demo-grid.gif)

**六个决策场景：** 俄罗斯方块、贪吃蛇、机器人操作、麻将、四方炸弹竞技与自动驾驶，按从左到右、从上到下排列。每个画面保留原始回放与决策展示，并独立循环播放。

以上为原始 NeoHorse-Jev-4B 的决策场景演示。

## 评测

### GGUF 量化评测

**推荐从 Q4_K_M 开始：完整文件为 3.39 GB，比 BF16 缩小约 63%，三项平均准确率为 83.77%。**

| 版本 | 完整文件大小（GB） | Nimble | VitaminC | MASSIVE | AVG |
| --- | ---: | ---: | ---: | ---: | ---: |
| [BF16](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF/file/view/master/NeoHorse-Jev-4B-BF16.gguf) | 9.11 | <ins>87.23</ins> | 77.13 | 85.71 | 83.36 |
| [Q8_0](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF/file/view/master/NeoHorse-Jev-4B-Q8_0.gguf) | 5.17 | **87.59** | 76.79 | 86.00 | 83.46 |
| [**Q4_K_M**](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF/file/view/master/NeoHorse-Jev-4B-Q4_K_M.gguf) | 3.39 | <ins>87.23</ins> | <ins>77.80</ins> | <ins>86.29</ins> | **83.77** |
| [Q3_K_M](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF/file/view/master/NeoHorse-Jev-4B-Q3_K_M.gguf) | 2.95 | 85.46 | **77.96** | **87.43** | <ins>83.62</ins> |
| [Q2_K](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF/file/view/master/NeoHorse-Jev-4B-Q2_K.gguf) | 2.60 | 84.04 | 74.46 | 84.57 | 81.02 |

分数为准确率（%），AVG 为 Nimble、VitaminC、MASSIVE 三项准确率的等权平均，样本数分别为 282、599、350。**加粗**表示该列最佳结果，<ins>下划线</ins>表示次佳结果。文件大小采用十进制 GB。

<details>
<summary>原始模型跨模型评测</summary>

以下沿用原始模型页 **2026 年 9 月 24 日**的结果。NeoHorse-Jev-4B 在六组文本评测上的综合得分为 **77.70**，在本次结果完整的四个开源权重决策模型中最高；Nimble、VitaminC 和 MASSIVE 三项平均准确率为 **83.26%**，较 NeoHorse-1-4B 提升 **11.50 个百分点**。

原始模型的 JevBench、Kev 和 OpenJev 成绩采用 vLLM；其余三项沿用固定子集评测。

| 模型 | JevBench | Kev | OpenJev 文本 | Nimble | VitaminC | MASSIVE | AVG |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
| [Open-Jev-9B](https://huggingface.co/ZefanCai/Open-Jev-9B) | **77.13** | 77.87 | **65.39** | <ins>80.50</ins> | 68.28 | 84.86 | <ins>75.67</ins> |
| [Kev-4B](https://huggingface.co/jaredpalmer/kev-4b) | 73.71 | <ins>81.47</ins> | 54.75 | 73.40 | 76.46 | **85.71** | 74.25 |
| [Laya English](https://huggingface.co/convaiinnovations/laya) | 55.82 | 61.30 | 40.07 | 45.04 | **78.63** | 68.57 | 58.24 |
| [Laya Typed Decisions](https://huggingface.co/convaiinnovations/laya-typed-decisions) | -- | -- | -- | 48.94 | <ins>78.30</ins> | 65.43 | -- |
| **[NeoHorse-1-4B](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-1-4B)** | -- | -- | -- | 69.15 | 63.27 | 82.86 | -- |
| **[NeoHorse-Jev-4B](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B)** | <ins>75.73</ins> | **81.92** | <ins>58.74</ins> | **87.23** | 77.13 | <ins>85.43</ins> | **77.70** |

**加粗**为表内开源权重模型的最佳结果，<ins>下划线</ins>为次佳结果；`--` 表示暂无结果。AVG 对六组得分等权平均，仅比较六组结果齐全的模型，图像与游戏结果不计入其中。完整协议、分项结果、图文理解与交互任务评测见[原始模型的评测章节](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B#评测)。

</details>

## 模型下载

从 **ModelScope** 下载 Q4_K_M 及配套文件：

```bash
pip install modelscope
modelscope download --model TokenRhythm/NeoHorse-Jev-4B-GGUF \
  --include 'NeoHorse-Jev-4B-Q4_K_M.gguf' 'runtime/*' 'LICENSE*' 'README.md' 'SHA256SUMS' \
  --local_dir neohorse-jev-gguf
```

需要其他精度时，将文件名中的 `Q4_K_M` 替换为上表对应版本。五个 GGUF 是完整的替代版本，不是分片，只需选择其中一个。

## 部署

**GGUF 版本使用仓库内的 NeoHorse GGUF runtime。** 它从同一个 GGUF 中读取全部模型权重，并提供 Jev 的 Python 决策接口。下文提供基于 llama.cpp 的本地 Python 与命令行用法。如需 vLLM、SGLang 或原生 HTTP 部署，请使用[原始模型及其部署说明](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B#部署)。

### 使用 llama.cpp 运行

本仓库附带基于 **llama.cpp** 的 NeoHorse 决策适配代码。**下载一个 GGUF 和 `runtime/` 目录，执行下面的编译与运行命令即可。** `build.py` 会获取固定版本的 llama.cpp 并构建配套后端；适配代码从同一个 GGUF 读取语言、视觉与决策头，返回 Choice、Noul 和 Score，无需另外下载基础模型、视觉投影或决策头权重。

运行步骤：按上面的“模型下载”获取文件 → 按下面命令编译 → 使用文本、图片或 Python 示例调用。已测通环境为 Linux/CUDA SM90；请使用随包的构建脚本和 Python／命令行接口完成决策读出。

### 编译与运行

已验证环境为 **Linux x86-64、NVIDIA SM90 GPU**，以及 Python 3.12、CUDA toolkit 12.4、GCC 11、PyTorch 2.8.0 和 Transformers 5.17.0。需要预先准备 `git`、CMake、C++ 编译器和 CUDA toolkit，再针对目标 GPU 从源码编译。

```bash
cd neohorse-jev-gguf
python -m venv .venv
source .venv/bin/activate
pip install -r runtime/requirements.txt

# 按目标 GPU 的计算能力设置；90 是已验证配置。
python runtime/build.py --cuda-arch 90

# 运行随包提供的文本决策示例。
CUDA_VISIBLE_DEVICES=0 python runtime/example.py \
  --model NeoHorse-Jev-4B-Q4_K_M.gguf
```

编译时需要联网获取固定版本的 llama.cpp；推理使用本地 GGUF，无需再下载基础模型。

### Python 快速决策

**同一条用户消息，直接得到是／否概率、候选选择和等级分数。** 编译完成后，在 `neohorse-jev-gguf/` 目录运行以下示例。文本请求可以包含多个问题，当前 GGUF runtime 会逐个处理。

```python
import sys
sys.path.insert(0, "runtime")
from runtime import NeoHorseGGUF

model = NeoHorseGGUF("NeoHorse-Jev-4B-Q4_K_M.gguf")
try:
    result = model.predict({
        "state": "同一笔订单扣了两次钱，请今天把多扣的那笔退给我。",
        "questions": {
            "refund": {
                "type": "noul",
                "instructions": "用户是否要求退款？"
            },
            "team": {
                "type": "choice",
                "instructions": "应该由哪个团队处理这条消息？",
                "criteria": {
                    "billing": "账单、扣款或退款",
                    "technical": "产品故障或技术问题",
                    "other": "其他事项"
                }
            },
            "urgency": {
                "type": "score",
                "instructions": "用户希望多快得到处理？",
                "criteria": ["可稍后处理", "本周处理", "今天处理"]
            }
        }
    })
    answers = result["answers"]
    print("Noul / 退款概率：", answers["refund"]["noul"])
    print("Choice / 处理团队：", answers["team"]["choice"])
    print("候选概率：", answers["team"]["probabilities"])
    print("Score / 紧急程度：", answers["urgency"]["score"])
finally:
    model.close()
```

Noul 返回 `P(true)`；Choice 返回选中候选和完整概率分布；Score 返回等级概率加权后的期望值。上例的三个等级编号为 **0、1、2**，得分可为小数。应用可直接读取这些字段设置路由与优先级。

### 图片与文本联合决策

随包示例会从给定候选颜色中，选择本地图片的主要颜色：

```bash
CUDA_VISIBLE_DEVICES=0 python runtime/example.py \
  --model NeoHorse-Jev-4B-Q4_K_M.gguf --image example.png
```

自定义请求时，将本地 `PIL.Image` 作为第二个参数传给 `model.predict(request, image)`。图片模式每次支持**一张图、一个问题**，完整请求见 [`runtime/example.py`](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF/file/view/master/runtime%2Fexample.py)。

<details>
<summary>运行限制与实现细节</summary>

- **文本输入：** state 最多 384 tokens；每个问题的 packed branch 最多 1,024 tokens；编码后的输入最多 2,048 tokens。
- **图片输入：** 一张不超过 400 万像素的图片；64–1,024 个视觉 tokens；state 最多 2,048 tokens；packed text 最多 8,192 tokens；展开后的上下文最多 12,288 tokens。超限输入会被拒绝。
- **调用方式：** 同一实例一次处理一个调用；结束后关闭模型以释放显存。在文本与图片模式间切换会重新加载原生引擎。
- **量化范围：** 仅量化语言主干。视觉权重保留 BF16 与部分 FP32 张量，决策头保留 FP32。Q4_K_M、Q3_K_M 和 Q2_K 使用同一训练输入重要性矩阵；BF16 和 Q8_0 不使用该矩阵。未进行视觉微调。
- **编译：** llama.cpp 固定在 `94256114c229674ef96e76eb2dea596e65b43818`。配套加载改动让语言加载器跳过视觉与决策头命名空间，再由视觉加载器和 Python 决策接口读取同一个 GGUF 内的对应张量。不会解包出第二份权重文件，只会临时生成少量 tokenizer 配置文件。

</details>

## 许可证与致谢

模型权重按 **Apache-2.0** 发布。NeoHorse-Jev 基于 [NeoHorse-1-4B](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-1-4B) 构建，本仓库将 Jev 模型转换并打包为 GGUF。

感谢 Jared Palmer 开源 [Kev](https://github.com/jaredpalmer/kev)，本项目的部分决策推理代码基于 Kev 适配；也感谢 [llama.cpp](https://github.com/ggml-org/llama.cpp) 提供 GGUF 推理基础。随包保留相应许可证与归属声明。文件完整性校验见 [`SHA256SUMS`](https://www.modelscope.cn/models/TokenRhythm/NeoHorse-Jev-4B-GGUF/file/view/master/SHA256SUMS)。

如有疑问或需报告问题，请使用 [NeoHorse 问题反馈](https://github.com/TokenRhythm/NeoHorse/issues)。