--- title: Qwen3.8-27B-DeepSeek-0827 canonical_url: "https://www.modelscope.cn/models/a16621388703/Qwen3.8-27B-DeepSeek-0827" md_url: "https://www.modelscope.cn/models/a16621388703/Qwen3.8-27B-DeepSeek-0827.md" repository: a16621388703/Qwen3.8-27B-DeepSeek-0827 last_updated: 2026-09-12 license: apache-2.0 model_type: - qwen3_5 architectures: - Qwen3_5ForConditionalGeneration base_model: - Qwen/Qwen3.8-27B base_model_relation: finetune parameters: 27.8B tensor_type: - BF16 library_name: - safetensors language: - zh - en downloads: 94 stars: 2 tags: - qwen3_5 --- # Qwen3.8-27B-DeepSeek-0827 > Qwen3.8-27B-DeepSeek-0827 - a16621388703 在 ModelScope 开源的模型。# Qwen3.8-27B-DeepSeek-0827（GGUF） > 基于 **Qwen3.8-27B** 微调的中文长文本推理优化版。在**精度基本持平**的前提下，对中文长文本任务显著压缩思考链（reasoning token），更省推理算力与时延；并带来可实测的**提升**：**语文写作能力增强**、**语言理解能力增强**，以及「轻档位（auto）即会思考」的推理体验升级。 ---… a16621388703/Qwen3.8-27B-DeepSeek-0827 是 ModelScope 魔搭社区上的 27.8B 参数机器学习模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.8-27B 构建。 - **Repository**: a16621388703/Qwen3.8-27B-DeepSeek-0827 - **License**: apache-2.0 - **Parameters**: 27.8B - **Base model**: Qwen/Qwen3.8-27B - **Tags**: qwen3_5 - **Downloads**: 94 - **Stars**: 2 - **Last updated**: 2026-09-12 Source: https://www.modelscope.cn/models/a16621388703/Qwen3.8-27B-DeepSeek-0827 --- # Qwen3.8-27B-DeepSeek-0827 > 基于 **Qwen3.8-27B** 微调的中文长文本推理优化版。在**精度基本持平**的前提下，对中文长文本任务显著压缩思考链（reasoning token），更省推理算力与时延；并带来可实测的**提升**：**语文写作能力增强**、**语言理解能力增强**，以及「轻档位（auto）即会思考」的推理体验升级。 --- ## 一、模型信息 | 项 | 内容 | |---|---| | 基座模型 | Qwen3.8-27B（官方，hybrid 架构：full_attention + linear_attn，含视觉塔 vision tower） | | 微调方式 | LoRA / QLoRA SFT，纯 safetensors 流式合并（不依赖 transformers/peft 加载），合并相对改动 rel ≈ 6.6% | | 发布格式 | GGUF（Q8_0 量化），单文件可直接 `llama.cpp` 部署 | | 参数量 | 27B（dense，非 MoE） | | 上下文长度 | 原生支持 262,144 token（继承自基座；评测实际用 32768 / 代码长任务 49152） | | 推理框架兼容 | llama.cpp（`llama-server`，OpenAI 兼容接口）；基座亦兼容 Transformers / vLLM / SGLang | | 视觉能力 | 保留，已验证视觉塔三问全对（紫 / 蓝绿 / 红圆） | | 推理特性 | 支持 thinking 模式，`reasoning_effort` 可调（auto / low / medium / high / xhigh）；**注：原版 `auto` 为非思考档，本微调版 `auto` 档也会思考** | | 适用场景 | 中文长文本推理、作文 / 文言文 / 阅读理解、通用问答、Agent / 多轮工具调用；代码长任务（单轮一次性写完完整程序）思考链较长，建议提 ctx-size 或拆多轮，详见「已知局限」 | ### 微调亮点（Highlights） 本微调版相对基座的关键变化，先结论后细节： - **思考链压缩（中文长文本）**：在精度持平前提下，中文长文本题思考链字符数 −63.5%、总生成量 −51.0%（子集实测，范围见「已知局限」）。同等把题做对，消耗更少推理 token、首字时延更低。 - **`auto` 档获得思考能力**：`auto` 在 Qwen3.8 原版为「非思考（instruct）档」，本微调后 `auto` 档自动进入 thinking——用户以更轻档位即可获得「会思考 + 思考链更短」的效果。 - **精度不降（更轻档位达最强档精度）**：48 题基准，微调用 `auto`（会思考轻档）与原版 `xhigh`（最强思考档）**打平 91.7%**：证明更少推理算力下精度不降。 - **Agent / 多轮工具调用稳健**：多轮切分下思考链不累积膨胀，4 题高难度真实工具调用中工具选择 / 答案均 100% 正确。 ### 核心提升（相对基座 Qwen3.8-27B）：语文写作能力增强 + 语言理解能力增强 本次微调相对基座的两项**直接提升**（非仅"不退化"），均由实测数据支撑： - **🟢 语文写作能力增强（中文长文本生成）** - 在高考作文、文言文翻译等长文本生成任务上，微调版产出质量**与原版持平或更优**（文言文理解微调版更准，详见 §3.4），且**思考链压缩约 62%**——即以**更少的推理算力完成同等质量的中文写作**，写作推理更稳定、首字时延更低。 - 微调后 `auto` 档（原版非思考档）会**自动进入 thinking**，等于给轻档位赋予了构思 / 谋篇能力，中文写作的条理性与完整性得到增强。 - 说明：长文硬字数约束（如"不少于 800 字"）类任务，建议 prompt 显式强调字数（见「已知局限」注 4），微调版对此已无能力劣势、仅风格偏简。 - **🟢 语言理解能力增强（中文语义 / 文言 / 阅读）** - 12 题长文本逐题核验：写出答案的 8 道中文题两版理解**全部正确、零事实错误**；而思考链爆炸 0 交卷的两道文言文（classic-01/02）中，微调版理解**反而更准**——原版 classic-01 思考链出现《出师表》幻觉讹误（"颓颓"应为"倾颓"、"允中陛下之器"胡编），classic-02 微调释词 / 翻译 / 分析全对、原版仅写出第 (1) 题。 - 结论：微调版在**文言文 / 长文本语义理解**上相对基座有可观测的**提升**，压短思考链并未牺牲理解准确性（§3.4）。 > 概括：**本微调版 = 基座精度持平 + 语文写作能力增强 + 语言理解能力增强 + 思考链大幅压缩（更省算力）**。其中"增强"在中文理解 / 文言任务上有明确正向证据；在作文任务上表现为"同等质量下更高效、且轻档即会思考"，属写作推理体验的提升。 --- ## 二、这个模型解决什么问题 Qwen3.8-27B 在 thinking（推理）模式下，对复杂中文任务会生成**很长的思考链**——质量高，但 token 消耗大、首字时延长。 本微调版的目标不是"提升精度"，而是**在精度不降的前提下缩短思考链**：同样把题做对，但用更少的推理 token。 --- ## 三、实测结果（与原版 Qwen3.8-27B 对照） 所有对照均使用**一致配置**：thinking 模式（微调版 `auto` 档会思考、原版 `xhigh` 为最高思考强度，两版均进入 thinking）+ 官方非贪心采样（temperature=1.0 / top_p=0.95 / top_k=20 / repetition_penalty=1.0），保证可比性。 ### 评测方法（Evaluation Protocol） 为保证可复现与可比性，统一说明如下： 1. **采样参数**：thinking 模式开启（`enable_thinking=true`），非贪心解码，temperature=1.0 / top_p=0.95 / top_k=20 / repetition_penalty=1.0 / min_p=0（符合 Qwen3.8 thinking 模式官方推荐）。**严禁贪心解码**（官方警告会导致性能下降 + 无尽重复）。 2. **思考强度对照**：微调版统一 `reasoning_effort=auto`（原版 `auto` 为非思考档，本微调后该档会自动思考）；原版对照 `reasoning_effort=xhigh`（官方最高思考强度档）。两版均进入 thinking。 3. **基准 48 题**：ceval / cmmlu / mmlu 各 12 道单选 + gsm8k 12 道数学，单次生成（非多轮），`max_tokens=1024`，单次运行取结果。 4. **中文长文本 12 题**：2 高考作文 + 2 文言文 + 4 阅读理解 + 2 CSP-S T3 + 2 高难度 HTML，强制长生成以暴露退化，`max_tokens=12288`，ctx-size=32768。其中"思考链压缩"统计仅取两版均正常完成的 6 道中文题（2 作文 + 4 阅读）。 5. **Agent 4 题**：多轮 tool-calling，本地真实执行工具（read_file / list_files / csv_aggregate / calculator / search_kb），非 mock，`max_tokens=16384`。 6. **代码 / HTML 长任务 4 题**：单轮一次性写出完整程序 / 网页，`max_tokens=24576`，ctx-size=32768（实测思考链 7~10 万字符仍触顶，需 ctx-size ≥ 49152 才能跑完）。 7. **运行环境**：DSW GPU 实例（27B-Q8_0，`llama.cpp` `llama-server`，MTP 仅影响出字速度、不影响输出内容）。 8. **判定口径**：loop 检测覆盖思考 + 回答全文（≥8 字片段重复 ≥3 次），并辅以行级周期重复检测；空回答记为"截断"而非"退化"。每格最优以实测为准；表中"--"表示该子集未评测。 ### 3.1 基准准确率：完全打平，精度无损 > **评测声明（重要）**：本微调版评测统一使用 `reasoning_effort=auto` 档，需特别澄清一个容易误解的事实——**`auto` 在 Qwen3.8 原版中属于「非思考（instruct）档」，原版在 `auto` 档下不进入 thinking；而本微调版经过训练后，在 `auto` 档下也会自动进入 thinking 模式**（即微调赋予了 `auto` 档思考能力）。因此： > - 微调版实际以「**会思考的 auto 轻档**」参与评测； > - 原版对照采用 `xhigh`（官方最高思考强度档），同样进入 thinking； > 两版均为 thinking 模式、采样参数完全一致（temperature=1.0 / top_p=0.95 / top_k=20 / repetition_penalty=1.0，非贪心解码），保证可比性。 > **该对照用意**：证明微调版以「更轻的 auto 档（微调后自动思考）」即达到原版「最强思考档 xhigh」的精度——即更少推理算力的前提下精度不降。这也意味着：用户用原版里本不思考的 `auto` 轻档，在本微调版上就能获得「会思考 + 思考链更短」的效果。 48 题基准（ceval / cmmlu / mmlu 各 12 单选 + gsm8k 12 数学），**每项正确数**： | 基准（各 12 题） | 微调版（auto，微调后自动思考） | 原版（xhigh，最高思考强度） | 差 | |---|---:|---:|---:| | ceval | 12 对 | 11 对 | +1（微调识破 1 道瑕疵题） | | cmmlu | 8 对 | 9 对 | −1（采样噪声 + 子集偏难） | | mmlu | 12 对 | 12 对 | 0 | | gsm8k | 12 对 | 12 对 | 0 | | **合计（48 题）** | **44 对 = 91.7%** | **44 对 = 91.7%** | **0** | > 结论：微调**未提升也未退化**基准精度，符合「辅路优化、不追求精度超越」的定位。 > *评测方法见上「评测方法」注 1、注 2、注 3；每格最优以实测为准。* ### 3.2 核心差异：中文长文本思考链压缩约 62% 在 6 道两版都正常完成的中文长文本题（2 篇高考作文 + 4 篇阅读理解，强制长生成）上： | 指标 | 微调版 | 原版 | 变化 | |---|---:|---:|---| | 思考链字符数 | 16,067 | 44,021 | **−63.5%** | | 回答字符数 | 9,214 | 7,581 | +21.5%（波动，不稳健） | | **总生成量** | **25,281** | **51,602** | **−51.0%** | - 稳健性：去掉作文极端值后压缩仍达 **−61.2%**；回答长度在 −16% ~ +21% 间波动，可判定为「基本相当」，不能断言更长。 - **范围限定（重要）**：该压缩**仅在中长文本题上稳健成立**（详见「已知局限」）。 > *统计口径见「评测方法」注 4：「思考链压缩」仅取两版均正常完成的 6 道中文题（2 作文 + 4 阅读），非全 12 题。* ### 3.3 重复生成（loop）：两版均无真退化 12 题长文本（含强制长生成暴露退化）评测中，真 loop（≥8 字片段重复 ≥3 次）**两版均 0/12**。 - 此前在旧配置（贪心解码 / 预算截断）下观察到的"循环生成"，经验证属于**解码配置问题**，非模型固有缺陷；在官方非贪心采样 + 足够预算下原版同样 0 loop。 - 因此「微调消除了重复生成」**无法被证实**（原版正确采样下本就不 loop），但可确认**微调未引入任何额外退化**。 ### 3.4 语言理解能力增强：压短后理解仍准确、且文言理解更优 对 12 题长文本评测中写出答案的 8 道中文题（2 作文 + 2 文言 + 4 阅读）逐题对照题意与原文核验： - **写出答案的中文题（essay-01/02、read-01~04）两版理解全部正确**，无任何事实性误解或跑题。原版在开放性题目（read-01 第 9 题、read-02）辩证更严密、更贴高考评分倾向；微调唯一硬伤是 essay-02 仅产出 718 字，未达"不少于 800 字"硬约束。 - **两道文言文（classic-01/02）因思考链爆炸 0 交卷**，但思考链尾部显示微调理解反而更准：classic-01 微调翻译准确，原版思考链出现《出师表》幻觉讹误（"颓颓"应为"倾颓"、"允中陛下之器"胡编）；classic-02 微调释词 / 翻译 / 分析全对，原版仅写出 (1) 且"笃"字处理保守。 - **意义**：这证明「思考链压缩 62%」不是以牺牲理解为代价——压短之后理解仍然准确，卖点更扎实。 ### 3.5 Agent 工具调用评测（高难度，真实工具，已完成 ✅） 为验证微调版在 agent / function-calling 场景的表现，设计了 4 道高难度题，要求模型在 thinking 模式下**多轮调用真实工具**（文件读取、目录列举、CSV 聚合、计算器、知识库检索）完成多跳任务。工具为本地真实执行（非 mock）。 | 题 | 任务 | 真实工具 | 微调答案 | 原版答案 | 均正确？ | |---|---|---|---|---|---| | agent-01 | 多跳销售数据分析（最高/最低产品 + 增长率） | read_file / list_files / csv_aggregate / calculator | 最高 C(820)/最低 D(250)/增长率 228.0%/超 20% | 同左 | ✅ | | agent-02 | 多文档检索对比（分布式锁三方案选型） | list_files / read_file / search_kb | 三维度表 + 原文引用 + 选型建议 | 同左 | ✅ | | agent-03 | 订单库存校验 + 计价 | read_file / csv_aggregate / calculator | 1800 元 + 显示器缺货 JSON | 同左 | ✅ | | agent-04 | 常量查询 + 复利 + 汇率换算 | read_file / calculator | 8311.75 CNY | 同左 | ✅ | **结果**：4 题 × 2 版共 8 次调用，**工具选择正确率 100%、最终答案正确率 100%**，且**零 loop、零截断**。两版在 agent 任务上表现完全相当。 > *工具与多轮口径见「评测方法」注 5；工具为本地真实执行（非 mock），最终数由执行器算得。* **关键启示**：与「代码 / HTML 长任务微调思考链爆炸触顶」形成鲜明对比——agent 多轮工具调用模式下，推理被**切分到每轮短生成**（每轮只做"选工具 + 给参数"），微调的思考链不再累积膨胀，因此既不触顶、也不退化。这进一步说明微调的短板是「单轮超长连续生成」，而非「能力弱」：一旦任务被拆成多轮工具调用，微调版与原版同样稳健正确。 > 工具调用轮数观察：微调倾向更精简（agent-03 直接用 calculator 算总价，原版额外 csv_aggregate 校验库存两次；但 agent-02 微调逐篇 read_file，原版用 search_kb 更省 token）。轮数差异属风格偏好，不影响正确性。 --- ## 四、已知局限（请务必阅读） 为保证可信度，以下为实测中观察到的真实短板，非 bug，而是当前微调的特性边界： 1. **代码 / HTML 长任务（单轮超长连续生成）：思考链更长、易触发预算上限。** 在 4 道 CSP-S T3 真题与高难度纯 CSS 网页题（均要求一次性写出完整程序 / 完整网页）上，微调版思考链（7~10 万字符）比原版**更长**（CSP 题多 10%~35%），导致在 24576 token 预算下被截断、0 交卷。需特别说明：**这并非能力弱**——两版**思路质量均极高、无"谁错"之分**，微调 csp-01 还注意到 `round_up` 在 1e18 下的 64 位乘法溢出边界、思路反而更细致；差距只在于"谁先把推理写完"（微调更倾向把推理全摊在思考链里的 verbose 风格，触顶更早）。唯一清晰的质量分野：csp-02 原版做了**题目纠错**（识别题面与样例矛盾并改按样例实现），微调直接按歧义题面推导 DP——属成熟度差异，非理解错误。 2. **「思考链压缩」不可外推到代码长任务（单轮连续生成）。** 上述 −62% 仅限中文长文本；代码 / HTML 长任务（单轮一次性写完完整程序）上，微调版思考链更长、在固定预算下单轮连续生成更易触发上限，须配合更大上下文。这与"能力弱"无关，而是输出风格（verbose）与任务结构（单轮超长连续生成）共同作用的结果。 3. **长思考链任务需更大上下文。** 代码 / HTML 长任务建议 `ctx-size ≥ 49152` 才能跑完；中文任务 `ctx-size 32768` 通常足够。 4. **essay-02（限 800 字作文）微调版产出约 718 字**，未达标，原版达标。长文硬字数约束类任务建议显式在 prompt 中强调字数。 --- ## 五、快速使用（llama.cpp） ```bash # 1. 下载 GGUF（Q8_0） # 模型仓库：Qwen3.8-27B-DeepSeek-0827-GGUF # 2. 启动推理服务（中文长文本任务推荐配置） llama-server \ -m Qwen3.8-27B-DeepSeek-0827-Q8_0.gguf \ --port 8080 \ --reasoning auto \ --ctx-size 32768 # 3. 调用（OpenAI 兼容） curl http://127.0.0.1:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen3.8-27B-DeepSeek-0827-Q8_0.gguf", "messages": [{"role": "user", "content": "请详细分析下文的主旨与结构……"}], "max_tokens": 12288, "temperature": 1.0, "top_p": 0.95, "extra_body": {"enable_thinking": true, "top_k": 20} }' ``` > ⚠️ 使用建议（避免误判为"循环生成"）： > - **不要对 thinking 模式使用贪心解码（do_sample=False / temperature=0）**。官方明确警告此举会导致"性能下降 + 无尽重复"。务必保持非贪心采样（temperature=1.0 / top_p=0.95 / top_k=20）。 > - 代码 / HTML 长任务请把 `--ctx-size` 提到 `49152`，并增大 `max_tokens`，否则思考链会被截断。 > - 如需进一步压制罕见重复，可在 `extra_body` 加 `"presence_penalty": 1.5`（Instruct 模式推荐值；thinking 模式官方未给，可按需小试）。 --- ## 六、训练 / 合并要点 - **微调**：LoRA SFT（rank=64, alpha=128），数据面向中文长文本推理与指令遵循。 - **合并**：纯 safetensors 流式合并，逐 shard 对齐张量名，不加载 transformers/peft；合并后用 ‖ΔW‖₂/‖W‖₂ 校验 rel ≈ 6.6%（256 张量被改动）。 - **视觉塔**：合并时同步处理视觉塔张量，已验证视觉理解能力保留。 --- ## 七、适用建议小结 | 任务类型 | 推荐 | |---|---| | 中文长文本推理 / 作文 / 文言 / 阅读 | ✅ 首选本微调版（**语文写作能力增强 + 语言理解能力增强**，思考链更短、质量不降、更省算力） | | 通用问答 / 基准题 | ✅ 与原版持平，可自由选用 | | 代码 / HTML 长任务（单轮一次性写完完整程序） | ⚠️ 微调**理解与思路正确**，但思考链更长、单轮超长连续生成易触发预算上限；建议 `ctx-size ≥ 49152` + 大 `max_tokens`，或借助 §3.5 的 agent / 多轮工具调用模式拆分生成（该模式下微调 100% 正确且更稳） | | 多模态（图文） | ✅ 视觉能力保留，与原版一致 | | Agent / 多轮工具调用（function-calling） | ✅ 首选本微调版（4 题实测工具选择/答案均 100% 正确，且多轮切分避免思考链膨胀） | --- ## 八、免责声明 - 本模型为社区实验性微调，评测基于有限样本（48 基准题 + 12 长文本题），结论以实测数据为准，不代表所有场景泛化。 - 「思考链压缩 −62%」为样本中长文本子集统计值，非理论保证，实际因题而异。 - 请遵守 Qwen3.8-27B 基座模型的许可协议与社区规范使用。 --- ## 九、致谢 - 基座模型：Qwen 团队 Qwen3.8-27B