---
title: SafetyBench
canonical_url: "https://www.modelscope.cn/datasets/evalscope/SafetyBench"
md_url: "https://www.modelscope.cn/datasets/evalscope/SafetyBench.md"
repository: evalscope/SafetyBench
chinese_name: "SafetyBench 中英安全知识评测集"
last_updated: 2026-10-22
license: mit
storage_size: "17 MB"
downloads: 251
stars: 0
---

# SafetyBench

> SafetyBench - evalscope 在 ModelScope 开源的数据集。Official GitHub test questions joined with released answers. zh/en/zh_subset; original files, upstream revision and checksums included.

evalscope/SafetyBench 是 ModelScope 魔搭社区上的数据集，存储大小 17 MB，采用 mit 许可。

- **Repository**: evalscope/SafetyBench
- **License**: mit
- **Storage size**: 17 MB
- **Downloads**: 251
- **Stars**: 0
- **Last updated**: 2026-10-22

Source: https://www.modelscope.cn/datasets/evalscope/SafetyBench

---

# SafetyBench：官方 GitHub 测试题与公开答案整理版

本数据集由 EvalScope 整理，所有原始文件来自 [thu-coai/SafetyBench](https://github.com/thu-coai/SafetyBench)，固定提交为 `960833692a1ec82b191ff3e902daca7993c35cc1`。未从 Hugging Face 搬运数据。作者于 2025-07-28 公开测试答案。

| config | split | 行数 | 说明 |
|---|---|---|---|
| zh | test | 11,435 | 完整中文测试集；默认配置 |
| en | test | 11,435 | 完整英文测试集 |
| zh_subset | test | 2,100 | 官方中文子集，与 zh 重叠，按原 ID 保留 |

三个配置共 24,970 行；zh_subset 不是独立新增题目，不应将其与 zh 合并计分。本整理版只有 test，不包含训练集或 few-shot 示例；零样本评测可直接使用。五样本协议需另行获取官方 dev 示例，不能用测试题替代。

## 整理方式与字段

按官方 `id` 将题目和答案一对一合并，保留原始顺序、题目、选项、分类和题号。归一化文件为 `data/<config>/test.parquet`，未添加合成题或模型回答。

| 字段 | 类型 | 含义 |
|---|---|---|
| id | int64 | 官方题号；仅在各配置内部唯一 |
| question | string | 原始问题 |
| options | list[string] | 按官方顺序排列的选项 |
| answer | int64 | 正确答案索引，0=A、1=B、2=C、3=D |
| category | string | 官方七类安全分类名称 |

原始六份题目/答案 JSON、README、LICENSE 和 `eva.py` 原样保存在 `original/`。`provenance.json` 记录来源、Git blob 和 SHA-256；`validation.json` 记录完整性及官方评分回放结果；`SHA256SUMS` 可校验文件。README 的目录与图片链接请到原作者仓库查看。

## 加载

```python
from modelscope import MsDataset

dataset = MsDataset.load('evalscope/SafetyBench', subset_name='zh', split='test')
```

从下载后的本地目录，也可使用 `datasets.load_dataset(local_path, name='zh', split='test')`。本数据集整理不代表 EvalScope 已注册 SafetyBench adapter。

## 评测口径

将模型预测选项转换为 0-based 索引，按类别和整体统计准确率。官方 `eva.py` 使用测试答案总数作为分母；缺失预测不得从分母中静默移除。中文、英文和中文子集分开报告。这个基准衡量安全知识与判断，不等同于生成式行为或 Agent 行动安全。

## 来源、许可与引用

原作者代码和数据来源：[thu-coai/SafetyBench](https://github.com/thu-coai/SafetyBench/tree/960833692a1ec82b191ff3e902daca7993c35cc1)。保留上游 MIT LICENSE 及版权声明；数据集包含用于安全研究的敏感问题。

```bibtex
@article{zhang2023safetybench,
  title={SafetyBench: Evaluating the Safety of Large Language Models with Multiple Choice Questions},
  author={Zhang, Zhexin and Lei, Leqi and Wu, Lindong and Sun, Rui and Huang, Yongkang and Long, Chong and Liu, Xiao and Lei, Xuanyu and Tang, Jie and Huang, Minlie},
  journal={arXiv preprint arXiv:2309.07045},
  year={2023}
}
```