---
title: K2VendorVerifier
canonical_url: "https://www.modelscope.cn/datasets/evalscope/K2VendorVerifier"
md_url: "https://www.modelscope.cn/datasets/evalscope/K2VendorVerifier.md"
repository: evalscope/K2VendorVerifier
chinese_name: "K2 Vendor Verifier 评测数据集"
last_updated: 2026-05-26
license: "Apache License 2.0"
storage_size: "12 MB"
downloads: 145
stars: 0
---

# K2VendorVerifier

> K2VendorVerifier - evalscope 在 ModelScope 开源的数据集。K2 Vendor Verifier 评测数据集

evalscope/K2VendorVerifier 是 ModelScope 魔搭社区上的数据集，存储大小 12 MB，采用 Apache License 2.0 许可。

- **Repository**: evalscope/K2VendorVerifier
- **License**: Apache License 2.0
- **Storage size**: 12 MB
- **Downloads**: 145
- **Stars**: 0
- **Last updated**: 2026-05-26

Source: https://www.modelscope.cn/datasets/evalscope/K2VendorVerifier

---

# K2 Vendor Verifier 评测数据集

本数据集用于评估第三方 vendor 部署的 **Kimi-K2-Thinking** 模型，是否忠实复刻官方 API 在 **tool-calling** 场景下的行为。整理自 [MoonshotAI/K2-Vendor-Verifier](https://github.com/MoonshotAI/K2-Vendor-Verifier) 公开的官方测试集与 MoonshotAI 官方 API 应答。

## 数据格式

每行为一条评测样本，字段如下：

| 字段 | 类型 | 说明 |
| --- | --- | --- |
| `messages` | string (JSON) | 对话上下文（OpenAI Chat Completions 格式） |
| `tools` | string (JSON) | 可用工具列表（OpenAI function calling 格式） |
| `should_call_tool` | bool | 该条样本下，官方 K2-Thinking 是否选择触发工具调用 |
| `official_finish_reason` | string | 官方 API 返回的 `finish_reason`（`tool_calls` / `stop` / 其它） |
| `official_tool_calls` | string \| null (JSON) | 官方 API 触发工具时的 `tool_calls` 列表；否则为 `null` |

## 子集

| 子集 | 行数 | 说明 |
| --- | --- | --- |
| `k2_thinking` | 2000 | 来自官方 `kimi-k2-thinking_results.jsonl`，对应 K2-Thinking 模型的应答 |

> 上游仓库目前仅公开了 K2-Thinking 的 50% 测试集；K2-0905 等子集后续视上游开放情况追加。

## 与 evalscope/GeneralFunctionCall-Test 的差异

`evalscope/GeneralFunctionCall-Test` 是同一份原始样本的轻量版（仅保留 `messages`/`tools`/`should_call_tool`），用于通用 FC 评测（`general_fc` benchmark）。

本数据集额外保留了 `official_finish_reason` 和 `official_tool_calls`，使得 **`k2_verifier` benchmark** 可以计算与官方 API 的 **trigger similarity（与官方一致性 F1）**、tool-call payload 对照等"vendor 一致性"专属指标。

## 使用方式

```python
from evalscope import TaskConfig, run_task

run_task(TaskConfig(
    datasets=['k2_verifier'],
    model='your-model',
    api_url='https://your-vendor/v1',
    api_key='...',
))
```

## 数据规范化

为去除模型品牌偏置，所有 system 中的 `You are Kimi, an AI assistant developed/provided by Moonshot AI.` 已统一替换为 `You are a help assistant.`，与 `evalscope/GeneralFunctionCall-Test` 保持一致。

## 数据来源

- 原始官方应答：[K2-Vendor-Verifier/evaluation-dataset/tool-calls/kimi-k2-thinking_results.jsonl](https://github.com/MoonshotAI/K2-Vendor-Verifier/tree/main/evaluation-dataset/tool-calls)
- 派生脚本：见 `evalscope` 仓库 `tools/stage_k2_verifier.py`