---
title: MiniMaxVendorVerifier
canonical_url: "https://www.modelscope.cn/datasets/evalscope/MiniMaxVendorVerifier"
md_url: "https://www.modelscope.cn/datasets/evalscope/MiniMaxVendorVerifier.md"
repository: evalscope/MiniMaxVendorVerifier
chinese_name: "MiniMax Vendor Verifier 评测数据集"
last_updated: 2026-05-26
license: "Apache License 2.0"
storage_size: "15 MB"
downloads: 353
stars: 0
---

# MiniMaxVendorVerifier

> MiniMaxVendorVerifier - evalscope 在 ModelScope 开源的数据集。MiniMax Vendor Verifier 评测数据集

evalscope/MiniMaxVendorVerifier 是 ModelScope 魔搭社区上的数据集，存储大小 15 MB，采用 Apache License 2.0 许可。

- **Repository**: evalscope/MiniMaxVendorVerifier
- **License**: Apache License 2.0
- **Storage size**: 15 MB
- **Downloads**: 353
- **Stars**: 0
- **Last updated**: 2026-05-26

Source: https://www.modelscope.cn/datasets/evalscope/MiniMaxVendorVerifier

---

# MiniMax Vendor Verifier 评测数据集

本数据集用于检验第三方 vendor 部署的 **MiniMax M2 / M2.5 / M2.7** 模型，是否忠实复刻官方部署在 tool-calling、推理输出、JSON key 顺序、小语种、n-gram 退化等多维度的行为。整理自 [MiniMax-AI/MiniMax-Provider-Verifier](https://github.com/MiniMax-AI/MiniMax-Provider-Verifier)。

## 数据布局

```
default/test.jsonl                  # 102 条 prompt 样本（带 check_type 路由签）
baseline/m2_5/loop_{01..10}.jsonl   # M2.5 官方部署 10 轮逐行结果（精简版，~25KB/loop）
baseline/m2_7/loop_{01..10}.jsonl   # M2.7 官方部署 10 轮逐行结果（精简版）
```

## prompt 样本字段（default/test.jsonl）

| 字段 | 类型 | 说明 |
| --- | --- | --- |
| `messages` | list | 对话上下文 |
| `tools` | list (optional) | 可用工具（OpenAI function calling 格式，部分样本无此字段） |
| `check_type` | list[string] (optional) | 行级 validator 路由签，决定该条样本触发哪些 validator |
| `expected_tool_call` | bool (optional) | 是否应当触发工具调用（True / False / 缺省=不参与混淆矩阵） |
| `scenario_check` | dict (optional) | `scenario_check` validator 的参考期望字段顺序 |

支持的 `check_type` 取值：

- `tool_calls`（默认，缺省时默认走此 validator）
- `contains_russian_characters_unicode` — 小语种漏字检测
- `repeat_n_gram` — n-gram 重复退化检测
- `scenario_check` — JSON object key 顺序保持检测

此外 `error_only_reasoning`（推理-only 退化检测）为 always-on，与 `check_type` 无关。

## 官方 baseline 字段（baseline/{m2_5,m2_7}/loop_*.jsonl）

仅保留 per-row 评测所需字段，已剥离原始 request/response 体（原始单 loop 13MB → 精简后 ~25KB）：

| 字段 | 说明 |
| --- | --- |
| `data_index` | 与 `default/test.jsonl` 第 N 行对齐（1-indexed） |
| `finish_reason` | 官方应答的 `finish_reason` |
| `expected_tool_call` | 同 prompt 字段，回写以便独立分析 |
| `tool_calls_finish_reason` / `tool_calls_valid` / `tool_calls_count` | tool_calls validator 的逐行结果（如适用） |
| `error_only_reasoning_checked` / `error_only_reasoning` | always-on 推理-only 退化检测 |
| `language_following_checked` / `language_following_valid` | 小语种漏字检测 |
| `scenario_check_checked` / `scenario_check_valid` | JSON key 顺序保持检测 |
| `error_repeating_checked` / `error_repeating` | n-gram 重复退化检测 |
| `provider` | 该 loop 的实际 provider 标识（多为空字符串） |

## 子集

| 子集 | 行数 | 说明 |
| --- | --- | --- |
| `default` | 102 | MiniMax 官方混合测试集，涵盖 tool_calls + 小语种 + scenario 等 |

## 使用方式

```python
from evalscope import TaskConfig, run_task

run_task(TaskConfig(
    datasets=['minimax_verifier'],
    model='your-model',
    api_url='https://your-vendor/v1',
    api_key='...',
))
```

`minimax_verifier` benchmark 将自动读取 `default/test.jsonl` 跑评测，并可选加载 `baseline/m2_7/loop_01.jsonl` 计算 trigger similarity（与官方一致性 F1）。

## 数据来源

- 原始 prompt：[MiniMax-Provider-Verifier/sample.jsonl](https://github.com/MiniMax-AI/MiniMax-Provider-Verifier/blob/main/sample.jsonl)
- 官方 baseline：[MiniMax-Provider-Verifier/output-dir/](https://github.com/MiniMax-AI/MiniMax-Provider-Verifier/tree/main/output-dir)
- 派生脚本：见 `evalscope` 仓库 `tools/stage_minimax_verifier.py`