--- title: MaedaNobuaki80 canonical_url: "https://www.modelscope.cn/datasets/suxinchun/MaedaNobuaki80" md_url: "https://www.modelscope.cn/datasets/suxinchun/MaedaNobuaki80.md" repository: suxinchun/MaedaNobuaki80 chinese_name: "痛快80" last_updated: 2026-09-03 license: "Apache License 2.0" storage_size: "65 MB" downloads: 30554 stars: 1 --- # MaedaNobuaki80 > MaedaNobuaki80 - suxinchun 在 ModelScope 开源的数据集。基于前田陈尔九段《痛快》的 80 道围棋死活题评测集，提供纯文本题面与棋盘图两种形式，用于评测大模型的空间推理能力，并附多款模型的测试结果，结果令人忍俊不禁 suxinchun/MaedaNobuaki80 是 ModelScope 魔搭社区上的数据集，存储大小 65 MB，采用 Apache License 2.0 许可。 - **Repository**: suxinchun/MaedaNobuaki80 - **License**: Apache License 2.0 - **Storage size**: 65 MB - **Downloads**: 30554 - **Stars**: 1 - **Last updated**: 2026-09-03 Source: https://www.modelscope.cn/datasets/suxinchun/MaedaNobuaki80 --- **更新时间：2026-09-03** 本死活题集为前田陈尔（Maeda Nobuaki，1907年—1975年）所著的死活题书《痛快》中的部分，以单选题方式表述，有包含图片和不包含图片的两种版本，方便衡量多模态与纯文本两类大模型的空间推理能力。因为前田陈尔已经去世超过50年，目前已经不存在著作权问题。该集共选入了80道题目，每道题目均包含题目介绍（其中有来源说明、题目要求、棋盘坐标、问题）、黑子坐标、白子坐标（所有坐标均以字母-数字表示）、ABCDE五个选项（其中第五个保证为"以上选项均不对"）、正确答案的序号。原书有误之处已经纠正，且保证每一道题目的正解第一手都不是脱先，保证ABCD中的坐标均为当前局面下的黑方合法落子着法的坐标，保证除了ABCD外黑棋还有其他的合法坐标以确保E选项有意义。部分题目有多解，选项只会用其中的一种。感谢B站up主 @明玥谈棋 在讲解《痛快》中对本测试集选项设置的启发。由于是人工输入，难免会有错误，尚祈批评指正。 ## 测试结果（DeepSeek 系列 / LoGos-7B） 2026年9月3日，对本测试集全部 80 题评测了 DeepSeek-V4-Flash、DeepSeek-V4-Pro、DeepSeek-V4-Flash-Vision-Exp 与 LoGos-7B（InternThinker-Go 开源版，本地 vLLM 推理）四个模型。文字题面（单项选择题描述、黑子/白子坐标、问句、A~E 选项、答案格式指令）见下文「Prompt 构造说明」；DeepSeek 三个模型均以思考模式（reasoning_effort=high）作答，回复要求以 `X` 结尾；Vision 版在文字之后附加棋盘图片（不附带任何说明文字），以考察图片输入的作用；LoGos-7B 为纯文本输入（temperature=0，生成长度上限 2048）。 ![正确率对比](images/chart_accuracy.png) | 模型 | 答对 | 无答案 | 正确率 | 与乱蒙基线（20%）比较 | | --- | --- | --- | --- | --- | | 乱蒙基线 | 16 | - | 20% | - | | DeepSeek-V4-Flash | 17 | 1 | 21.25% | 无显著差异（单侧二项 p=0.434） | | DeepSeek-V4-Pro | 14 | 0 | 17.5% | 无显著差异（单侧二项 p=0.346） | | DeepSeek-V4-Flash-Vision-Exp | 16 | 1 | 20.0% | 无显著差异（单侧二项 p=0.545） | | LoGos-7B（InternThinker-Go 开源版） | 9 | 27 | 11.25% | 显著低于乱蒙（单侧二项 p=0.029） | 注：无答案不计为正确（Flash：id=1；Vision：id=58；LoGos-7B：27 题）。 笑点解析：三个模型在启用思考模式全力推理的情况下，正确率与乱蒙基线（五选一的 20%）均无统计显著差异，Pro 甚至略低于乱蒙；两两配对检验（McNemar）也均不显著（Flash vs Pro p=0.664，Flash vs Vision p=1.000，Pro vs Vision p=0.839）。三个模型各自答对的题目彼此高度不重叠，正确率上的细微高低是采样随机性主导。Vision 模型即使直接输入棋盘图片（含 ▲/● 标记），也没有带来任何提升，其正确率与文本版相当。 而自称"首个具备围棋专业水平、展示透明思维链"的 InternThinker，其开源 7B 版 LoGos-7B 在本测试集上正确率仅 11.25%（9/80），**显著低于乱蒙基线**（P(X≤9)=0.029），且 80 题中 27 题（34%）陷入机械复读、连答案都未给出，证明其宣称的围棋专业水平是虚假的。不知道王星昊是如何做出"能解说思考过程的AI还是第一次见，感觉它分析得非常好；从布局看棋力可能在职业3-5段之间"的评论（[来源](https://www.shlab.org.cn/news/5444083)）。 本测试集的结果表明：当前大模型无法解出这类题目。 ### Prompt 构造说明 以第 1 题为例： ``` 这是前田陈尔九段的《痛快》一书中的题目，单项选择。黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。 黑子：B3 D2 D3 E3 F3 G1 G2 G3 白子：B4 C2 C3 D4 E2 E4 F1 F4 G4 H2 H4 J3 以下选项中，能成为正解的黑方第一手的坐标的是？ 选项： A：F2 B：D1 C：C1 D：E1 E：以上选项都不对 回复末尾请以 X 结尾，X 为你的选项字母（A~E）。 ``` - 题目要求与棋盘坐标方向说明随题而异（杀/活、净/劫、以及方向变体，如"从左到右T\~A、从上到下19\~1"），直接取自数据集中每题的 header，方向表述原样保留。 - Vision 版在文字之后附加该题棋盘图片（`boards/board_XXX.png`，含 ▲/● 标记），不附带任何说明文字。 - 正确判定：提取回复末尾 `` 内的字母与正解比对。 ### 测试脚本 - `tests/scripts/test_deepseek_unified.py`：评测脚本（`--model flash|pro|vision`，默认思考模式）。参数：`--ids` 只测指定题号（逗号分隔）；`--batches` 并发数；`--no-think` 关闭思考模式（直接回答）；`--dry-run` 仅打印题面与选项，不发起请求。 ### 测试结果文件 各模型 80 题逐题完整记录（每条含 prompt、思考过程、回复、`` 答案、token 用量、耗时，Vision 另含棋盘图文件名）见 `tests/results/` 目录下对应模型的子目录。 ## 统计图 ### 正解选项分布（A~E） ![正解选项分布](images/chart_answer_dist.png) ### 题型分布（净杀 / 劫杀 / 净活 / 劫活 / 其他） ![题型分布](images/chart_category_dist.png) ### 棋盘坐标出现频次热力图 ![棋盘热力图](images/chart_board_heatmap.png) ### 黑子数量分布 ![黑子数量分布](images/chart_black_stone_dist.png) ### 白子数量分布 ![白子数量分布](images/chart_white_stone_dist.png) ## 各模型答题明细
题目描述图片正解FlashProVisionLoGos-7B
1 这是前田陈尔九段的《痛快》一书中的题目，黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_001C（C1）空E ✗B ✗A ✗
2 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_002E（都不对）D ✗D ✗D ✗A ✗
3 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_003E（都不对）D ✗C ✗A ✗空
4 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_004A（D1）E ✗A ✓E ✗A ✓
5 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_005C（Q19）B ✗B ✗D ✗A ✗
6 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_006D（E1）D ✓B ✗B ✗空
7 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_007D（E1）A ✗B ✗B ✗A ✗
8 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_008C（Q19）D ✗A ✗D ✗A ✗
9 黑先，要求救回▲黑子。从左到右A~T（不含I），从上到下1~19。board_009C（D1）A ✗B ✗B ✗空
10 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_010D（E3）D ✓C ✗C ✗空
11 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_011D（E1）A ✗C ✗D ✓A ✗
12 黑先，要求杀白▲子。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_012E（都不对）C ✗D ✗C ✗A ✗
13 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_013A（D2）A ✓E ✗A ✓A ✓
14 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_014C（G2）C ✓D ✗C ✓A ✗
15 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_015E（都不对）B ✗C ✗A ✗A ✗
16 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_016A（C2）D ✗D ✗A ✓空
17 黑先，要求救回▲黑子。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_017E（都不对）B ✗A ✗E ✓A ✗
18 黑先，要求救回▲黑子，以此吃住●白子，要求净吃，不能成劫。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_018B（P18）D ✗B ✓B ✓A ✗
19 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下19~1。board_019C（D17）C ✓E ✗C ✓A ✗
20 黑棋在白棋空中有两颗▲残子还可以出棋，如何利用它们来获取最大利益？十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_020B（R19）D ✗E ✗D ✗A ✗
21 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_021D（D2）D ✓A ✗E ✗A ✗
22 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_022B（D1）B ✓B ✓D ✗D ✗
23 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_023A（E2）C ✗E ✗E ✗空
24 黑先杀白，要求杀掉▲白子，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_024A（F1）C ✗D ✗B ✗A ✓
25 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_025C（G1）E ✗D ✗A ✗空
26 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_026D（A2）B ✗B ✗B ✗空
27 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_027E（都不对）B ✗B ✗C ✗A ✗
28 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_028D（G1）A ✗C ✗D ✓空
29 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_029E（都不对）D ✗A ✗B ✗空
30 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_030B（E2）B ✓B ✓A ✗A ✗
31 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_031B（G4）C ✗D ✗D ✗A ✗
32 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_032D（C1）D ✓E ✗B ✗空
33 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_033A（E2）A ✓A ✓A ✓A ✓
34 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_034A（F1）B ✗C ✗B ✗A ✓
35 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_035A（B2）D ✗C ✗C ✗A ✓
36 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_036C（D1）D ✗C ✓B ✗空
37 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_037B（D2）A ✗A ✗A ✗A ✗
38 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_038C（D3）A ✗A ✗A ✗A ✗
39 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_039D（D1）A ✗A ✗A ✗空
40 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_040A（G4）A ✓A ✓A ✓A ✓
41 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_041C（D1）C ✓D ✗D ✗A ✗
42 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_042D（B2）D ✓A ✗A ✗A ✗
43 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_043E（都不对）D ✗E ✓D ✗A ✗
44 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_044B（A2）A ✗D ✗A ✗A ✗
45 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_045D（H2）A ✗D ✓A ✗A ✗
46 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_046C（E1）A ✗A ✗A ✗A ✗
47 黑先，要求杀掉白▲子。要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_047D（E1）A ✗B ✗E ✗A ✗
48 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_048A（D1）B ✗C ✗A ✓A ✓
49 黑先做活，劫活即可。尽管劫活很容易，但此题要求黑棋的最优处理，做到先手缓气劫。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_049C（B1）A ✗B ✗B ✗A ✗
50 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_050B（B2）A ✗A ✗A ✗空
51 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_051B（B1）A ✗A ✗A ✗空
52 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_052B（F1）E ✗E ✗A ✗A ✗
53 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_053E（都不对）A ✗E ✓C ✗A ✗
54 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_054A（E1）A ✓A ✓D ✗空
55 黑先杀白，要求净杀，不允许劫杀。注意白棋外围有J3接应。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_055D（F1）B ✗A ✗A ✗空
56 黑先，要求杀掉白棋▲子，救回黑棋●子。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_056C（G1）A ✗E ✗C ✓空
57 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_057E（都不对）A ✗A ✗E ✓A ✗
58 黑先，如何救回被困的▲黑子，杀掉白棋●子？十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_058A（G1）B ✗A ✓空A ✓
59 黑先杀白，要求净杀，不允许劫杀。注意外围白棋有C6子接应。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_059B（C1）B ✓D ✗C ✗A ✗
60 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_060B（E1）B ✓A ✗B ✓空
61 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_061D（Q19）A ✗D ✓A ✗A ✗
62 原题为黑先杀白，然而此题前田陈尔出题有误，实际上无法杀白，白棋可以净活。本题因此改为黑棋收官，在此处谋取最大利益。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_062D（E1）A ✗C ✗B ✗空
63 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_063E（都不对）D ✗D ✗A ✗A ✗
64 黑先做活，劫活即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_064E（都不对）A ✗A ✗A ✗A ✗
65 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_065E（都不对）C ✗B ✗B ✗空
66 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_066C（A2）B ✗A ✗B ✗A ✗
67 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_067A（T18）B ✗D ✗D ✗空
68 黑先做活，劫活即可。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_068B（R18）C ✗C ✗B ✓A ✗
69 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_069A（P19）B ✗C ✗B ✗空
70 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_070E（都不对）A ✗C ✗A ✗空
71 黑先做活，劫活即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_071C（G1）B ✗B ✗B ✗A ✗
72 黑先杀白，要求净杀，不允许劫杀。注意外围有白▲子接应。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_072D（F2）C ✗A ✗B ✗A ✗
73 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_073E（都不对）D ✗A ✗C ✗空
74 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_074C（A2）A ✗C ✓A ✗空
75 黑先做活，要求净活，不允许劫活。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_075A（O19）D ✗D ✗D ✗D ✗
76 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_076B（P19）B ✓C ✗D ✗空
77 黑先做活，劫活即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_077D（B2）A ✗A ✗D ✓A ✗
78 黑先杀白，要求净杀，不允许劫杀。十九路棋盘，从左到右T~A（不含I），从上到下19~1。board_078C（R19）A ✗A ✗B ✗A ✗
79 黑先杀白，要求净杀，不允许劫杀。注意外围白棋有▲子接应。十九路棋盘，从左到右1~19，从上到下A~T（不含I）。board_079D（A2）B ✗A ✗C ✗A ✗
80 黑先杀白，劫杀即可。十九路棋盘，从左到右A~T（不含I），从上到下1~19。board_080E（都不对）B ✗A ✗A ✗A ✗
表格说明：每行含题目描述（第 1 行为完整题面；自第 2 行起「这是前田陈尔九段的《痛快》一书中的题目，」一句省略，完整题面见 `死活题.json`）、棋盘图片（`boards/` 目录，▲/● 标记已在图中标出）、正解（含坐标），以及 Flash / Pro / Vision / LoGos-7B 四个模型的回答选项与是否正确（格底色：对 错 空 = 无答案。LoGos 非常喜欢蒙 A，令人忍俊不禁）。 ## 也可以看看 - 三国杀数据集：https://www.modelscope.cn/datasets/suxinchun/Sanguosha - AI大宝：https://www.modelscope.cn/studios/suxinchun/AI-Sanguosha - AI帽子姐：https://www.modelscope.cn/models/suxinchun/AI-tokamak