--- title: Qwen3.6-KAT-BigBang-SLERP-35B canonical_url: "https://www.modelscope.cn/models/Dalvlad/Qwen3.6-KAT-BigBang-SLERP-35B" md_url: "https://www.modelscope.cn/models/Dalvlad/Qwen3.6-KAT-BigBang-SLERP-35B.md" repository: Dalvlad/Qwen3.6-KAT-BigBang-SLERP-35B last_updated: 2026-08-31 license: apache-2.0 pipeline_tag: text-generation tasks: - text-generation model_type: - qwen3_5_moe architectures: - Qwen3_5MoeForConditionalGeneration base_model: - Qwen/Qwen3.6-35B-A3B base_model_relation: finetune parameters: 34.7B tensor_type: - BF16 library_name: - safetensors - pytorch frameworks: - Pytorch language: - zh - en downloads: 20 stars: 0 tags: - merge - slerp - moe - qwen3_6 - coding - agent - reasoning - text-generation-inference - gguf --- # Qwen3.6-KAT-BigBang-SLERP-35B > Qwen3.6-KAT-BigBang-SLERP-35B - Dalvlad 在 ModelScope 开源的模型。Qwen3.6-KAT-BigBang-SLERP Dalvlad/Qwen3.6-KAT-BigBang-SLERP-35B 是 ModelScope 魔搭社区上的 34.7B 参数text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.6-35B-A3B 构建。 - **Repository**: Dalvlad/Qwen3.6-KAT-BigBang-SLERP-35B - **License**: apache-2.0 - **Tasks**: text-generation - **Parameters**: 34.7B - **Base model**: Qwen/Qwen3.6-35B-A3B - **Tags**: merge, slerp, moe, qwen3_6, coding, agent, reasoning, text-generation-inference, gguf - **Downloads**: 20 - **Stars**: 0 - **Last updated**: 2026-08-31 Source: https://www.modelscope.cn/models/Dalvlad/Qwen3.6-KAT-BigBang-SLERP-35B --- # Qwen3.6-KAT-BigBang-SLERP
Qwen3.6-KAT-BigBang-SLERP 是两个基于 Qwen3.6-35B-A3B（MoE，总参 35B / 激活 3B）的优秀后训练模型的张量级 SLERP 合并（t=0.5）： Kwaipilot/KAT-Coder-V2.5-Dev（Apache-2.0，SOTA 级 Agentic Coding / 工具调用）与 endless-frontier/BigBang-v1（Apache-2.0，对抗式自进化合成数据训练的科研/推理强模型）。
中文（父模型英文模型卡见 `BigBang-README.md` 与 `README.source-KAT-Coder.md`） ## 合并细节 - **方法**：张量级扁平化 SLERP，`t=0.5`（与 mergekit 的 SLERP 实现一致），以 float32 计算后按就近舍入（round-to-nearest-even）转 BF16。近共线张量（`|cos| > 0.9995`）回退为线性插值以保证数值稳定。 - **架构**：Qwen3.6-35B-A3B MoE —— 40 层混合线性注意力/全注意力，每层 256 个路由专家，262K 默认上下文。 - **MoE 布局转换**：两个检查点的专家权重序列化格式不同。KAT 为逐专家张量（`experts.E.{gate,up,down}_proj.weight`），BigBang 为堆叠张量（`experts.gate_up_proj [256,1024,2048]`、`experts.down_proj [256,2048,512]`）。合并时对 BigBang 的堆叠张量做了**逐切片解包**；gate/up 行序通过远程小片段余弦探针实证校验（正确切分 cos ≈ 0.997，错位 ≈ 0.00，见 `merge_manifest.json`）。 - **张量覆盖**：613 个非专家张量按名称/形状精确匹配合并；30,720 个专家张量全部由堆叠张量切片产生。BigBang 独有的视觉塔（333 个张量）与 MTP 头（19 个张量）因无 KAT 对应张量而被排除——本模型为**纯文本**模型，未将任何单侧模块强行嫁接到结果中。 - **磁盘友好流式流程**：BigBang 分片经有界下载窗口（同时在盘 ≤ 4 个文件）流式拉取，逐个对照 ModelScope 清单做 SHA-256 校验；每个输出分片写盘、fsync、哈希并结构校验后，才删除两侧已完全消费的分片。全程带断点续跑日志。 - 两份原始输入均只读打开；输出经过结构校验并逐分片计算 SHA-256（见 `merge_manifest.json`）。 ## 文件 | 文件 | 格式 | 大小 | |---|---|---| | `model-000xx-of-00013.safetensors`（13 个分片） | BF16（全精度，HF 格式） | ~64.6 GB | | `../Qwen3.6-KAT-BigBang-SLERP-Q4_K_M.gguf` | Q4_K_M（约 4.8 bpw） | ~21.2 GB | | `../Qwen3.6-KAT-BigBang-SLERP-APEX-Nano/Qwen3.6-KAT-BigBang-SLERP-APEX-Nano.gguf` | APEX Nano | ~11.6 GB | ## 评测 ### APEX Nano 实测（显存受限环境） 为验证显存受限环境下的可用性，使用 APEX Nano GGUF 在 [ZxBench](https://github.com/suncityldp/zx-bench) 全套 561 个场景上进行了实测（每题 3 次）： - **平均分**：68.86；**通过**：402/561 - **平均生成速度**：66 tokens/s - **测试环境**：Tesla V100-SXM2 16 GB，llama.cpp PR27140 预填充修复构建，64K 上下文，q4_0 KV cache - **显存策略**：全量 GPU 推理，未启用 CPU offload；Nano 是为适配该显存限制而选择的量化版本 详细得分如下（平均分为 ZxBench 的维度加权平均；通过标准为总分 ≥ 60）： | 维度 | 题数 | 平均分 | 通过数 | 通过率 | 红线数 | |---|---:|---:|---:|---:|---:| | **总计** | **561** | **68.86** | **402** | **71.66%** | **2** | | Agent Workflow | 45 | 74.64 | 40 | 88.89% | 0 | | CLI Deep Tasks | 56 | 83.96 | 52 | 92.86% | 0 | | Data Extraction | 35 | 79.52 | 32 | 91.43% | 0 | | Hallucination Resistance | 78 | 75.69 | 65 | 83.33% | 0 | | Instruction Following | 42 | 79.70 | 35 | 83.33% | 0 | | Program | 137 | 67.10 | 83 | 60.58% | 0 | | Reasoning Math | 34 | 51.75 | 14 | 41.18% | 0 | | Safety Authority | 50 | 66.12 | 42 | 84.00% | 2 | | Structured Output | 28 | 69.46 | 28 | 100.00% | 0 | | Tool/CLI Workflow | 56 | 44.04 | 11 | 19.64% | 0 | 上述结果仅代表 APEX Nano 在该显存受限配置下的表现，不应视为合并模型的能力上限。在显存更充足的设备上，使用更大的 APEX 量化版本通常有望获得更好的质量/任务得分，但实际收益取决于量化规格、上下文长度和硬件，建议自行复测。 父模型的官方成绩供参考： - **KAT-Coder-V2.5-Dev**：同规模模型中 Agentic Coding SOTA，SWE-bench Verified 69.40（对比底模 Qwen3.6-35B-A3B 的 64.40）。 - **BigBang-V1**：在 BrowseComp、SWE-Bench Pro、FrontierScience、HLE、MLE-Bench 等 8 项基准上取得 35B 级最高分，整体表现介于 DeepSeek V4 Flash（284B）与 DeepSeek V4 Pro（1.6T）之间。 ## 用法（llama.cpp） ```bash llama-server -m Qwen3.6-KAT-BigBang-SLERP-Q4_K_M.gguf \ --alias kb -c 131072 -ngl 99 --jinja \ --host 127.0.0.1 --port 8080 ``` 需要 llama.cpp b10516 或更新版本（`qwen3_5_moe` / `QWEN35MOE` 架构支持线性注意力混合层）。配合 `--jinja` 启动时，思考过程会在 OpenAI 兼容 API 中单独放入 `reasoning_content` 字段返回。 ```python from openai import OpenAI client = OpenAI(base_url="http://127.0.0.1:8080/v1", api_key="EMPTY") response = client.chat.completions.create( model="kb", messages=[{"role": "user", "content": "用 Python 实现一个带 LRU 淘汰的异步缓存，并解释设计权衡。"}], temperature=0.6, top_p=0.95, ) print("思考:", getattr(response.choices[0].message, "reasoning_content", None)) print("回答:", response.choices[0].message.content) ``` 推荐采样参数：`temperature=0.6`、`top_p=0.95`、`top_k=20`。由于 BigBang 训练中大量利用长上下文，复杂任务建议保持 ≥ 128K 上下文以完整保留思考能力。 ## 来源与许可 - 共同祖先：[Qwen/Qwen3.6-35B-A3B](https://huggingface.co/Qwen/Qwen3.6-35B-A3B) —— 两个父模型均为该底模的后训练变体（合并时等权重，因此不指定任何单一父模型为 base model）。 - 结构源：[Kwaipilot/KAT-Coder-V2.5-Dev](https://huggingface.co/Kwaipilot/KAT-Coder-V2.5-Dev)（Apache-2.0；开放权重版仅含语言模型权重、纯文本） - 另一来源：[endless-frontier/BigBang-v1](https://modelscope.cn/models/endless-frontier/BigBang-v1)（Apache-2.0） - 以 **Apache-2.0** 发布；已遵守两个来源检查点的相应许可。模型合并属于实验性技术，不保证保留任一父模型的基准成绩或安全表现——使用前请自行评估。 ## 致谢 - 推理由 [llama.cpp](https://github.com/ggml-org/llama.cpp) 提供；合并使用与 mergekit 等价的轻量 NumPy SLERP 实现，并叠加了自定义的堆叠-MoE 解包与磁盘友好的流式合并管线。 - 感谢 [ZxBench](https://github.com/suncityldp/zx-bench) 提供确定性评测管线与 561 场景测试集。 - 感谢 Kwaipilot 与 endless-frontier 开源两个优秀的父模型。 ## 局限性 - 本模型为纯文本导出版：不含视觉塔（BigBang 侧的多模态组件未纳入），也不含 MTP 投机解码头。 - Q4_K_M 为有损量化；对精度敏感的任务建议使用 BF16 权重。 - 具有 35B-A3B MoE 模型的常见局限：幻觉、长程规划不稳定、对 prompt 格式敏感。 - 合并未经系统评测验证，两个父模型的能力融合程度未知。 ## 引用 ```bibtex @misc{qwen36_kat_bigbang_slerp, title = {Qwen3.6-KAT-BigBang-SLERP}, author = {Local merge, tensor-wise flattened SLERP t=0.5 with stacked-MoE unpacking}, year = {2026}, note = {Merged from Kwaipilot/KAT-Coder-V2.5-Dev and endless-frontier/BigBang-v1} } ```