--- title: Xiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro canonical_url: "https://www.modelscope.cn/models/ericsjq/Xiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro" md_url: "https://www.modelscope.cn/models/ericsjq/Xiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro.md" repository: ericsjq/Xiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro chinese_name: Xiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro last_updated: 2026-10-10 pipeline_tag: text-generation tasks: - text-generation downloads: 2 stars: 2 --- # Xiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro > Xiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro - ericsjq 在 ModelScope 开源的模型。Xiaothink-T17-RWKV5-MLA-Instruct-Pro 是小思框架（Xiaothink）推出的 ≈0.6B 中文指令微调模型，基于 t17_rwkv5_mla_instruct_frontend 继续微调：在保留前端（WF）生成能力的同时，系统性增强了古诗创作、指令遵循、通用知识等中文自然语言能力。模型沿用自研的 RWKV-v5 + MLA… - **Repository**: ericsjq/Xiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro - **Tasks**: text-generation - **Downloads**: 2 - **Stars**: 2 - **Last updated**: 2026-10-10 Source: https://www.modelscope.cn/models/ericsjq/Xiaothink-T17-RWKV5-MLA-0.6B-Instruct-Pro --- # Xiaothink-T17-RWKV5-MLA-Instruct-Pro 模型卡片 ## 模型概述 Xiaothink-T17-RWKV5-MLA-Instruct-Pro 是小思框架（Xiaothink）推出的 **≈0.6B 中文指令微调模型**，基于 **t17_rwkv5_mla_instruct_frontend** 继续微调：在保留前端（WF）生成能力的同时，系统性增强了古诗创作、指令遵循、通用知识等中文自然语言能力。模型沿用自研的 **RWKV-v5 + MLA 历史注意力架构**（DeepSeek V3 风格低秩压缩注意力），并以 **save_every=16** 的更密集历史快照、**max_cut=2400** 的长输入支持强化长程历史回看，支持消费级显卡（含 BF16）本地部署。 在 **DeepSeek-V4-Flash 裁判盲测**中，本模型与 Qwen3-0.6B、DeepSeek-V4-Flash、gpt-oss-20B、llama-3-8B-instruct 在 6 个 1B 定制中文领域展开对比：**指令遵循**（90.7，全场第一）、**通用知识**（85.0，超过 8B/20B 级模型）、**古诗生成**（74.0，0.6B 级大幅领先）表现出色，总体平均分 **65.3**，超过同为 0.6B 的 Qwen3-0.6B（62.8）。需要说明的是：由于微调侧重中文自然语言，本模型**前端页面生成能力相较 frontend 版有所下降**（前端领域 25.0 分）。模型原生支持多轮对话、文本续写与翻译，需通过 **xiaothink ≥ 1.4.8 库**调用（见下文快速开始）。 ## 模型概览 | 属性 | 值 | | ------ | ----------------------------------------- | | 模型名称 | Xiaothink-T17-RWKV5-MLA-Instruct-Pro | | 基座 | t17_rwkv5_mla_instruct_frontend（继续微调） | | 架构 | RWKV-v5 + MLA（DeepSeek V3 风格）历史注意力架构 | | 参数量 | **≈0.6B**（613.9M） | | 词表大小 | 52,894 | | 最大序列长度 | 51200 | | 输入截断 | max_cut = 2400 | | 历史注意力方式 | 稀疏快照 + 标准 softmax 全注意力（无 top-k 筛选，save\_every=16） | | 深度学习框架 | PyTorch（≥2.0） | | 最低库版本 | **xiaothink ≥ 1.4.8**（深度思考需 **≥ 1.5.0**） | | 深度思考 | 支持（`chat` / `chat_single` 的 `think` 参数，含【开启】/【自动】两个模式） | | 语言 | **中文**（截止 Xiaothink-T17 系列发布，所有模型只支持中文处理） | | 推理显存需求 | 消费级显卡可运行（支持 BF16 推理） | > ⚠️ **重要说明：本模型是自研特殊架构（RWKV-v5 时间混合 + MLA 低秩历史注意力），权重格式与标准 transformers/ModelScope 不兼容，不支持 ModelScope 推理后端、不支持 transformers、不支持 transformers 的 safetensors 格式加载。请务必使用 xiaothink ≥ 1.4.8 库调用本模型。具体调用代码详见后文或 xiaothink 库文档或 `http://xiaothink.top` 小思框架官网文档。** *** ## 核心创新 ### RWKV-v5 + MLA 历史注意力架构 本模型在 0.6B 参数量下融合了 RWKV-v5 并行时间混合与 DeepSeek V3 风格的 MLA（Multi-head Latent Attention）低秩压缩注意力，实现"当前信息由 RWKV 负责、长程历史由 MLA 分支回看"的职责分离： ``` 1. RWKV-v5 TokenShift + WKV 线性注意力 → time_out # 处理当前信息 2. MLA 历史注意力: 稀疏快照+当前token → 标准 softmax 全注意力 → h_ctx - K/V 经低秩压缩（kv_lora_rank=700），einsum 广播计算，无 T×H 显存爆炸 - NoPE：无位置编码，QK-Norm 稳定点积尺度 3. Gate 融合: combined = time_out + gate * h_ctx 4. FFN: RWKV 风格 SquaredReLU ``` #### 关键设计 - **低秩 KV 压缩（MLA）**：KV 先压缩到 `kv_lora_rank=700` 的低秩潜空间，再按需解压，大幅降低历史缓存显存与带宽 - **稀疏历史快照**：每 `save_every=16` 步保存一次 KV 快照（相比 instruct 的 32 更密集），历史注意力分支以标准 softmax 全注意力直接回看全部快照与当前 token（不做 top-k 筛选），参与注意力的历史规模随步数线性增长而非平方 - **推理 KV Cache**：推理时缓存解压后的 K/V（`use_kv_cache=True`），避免每步重复解压 - **训练显存友好**：K/V 不展开 T 维，score 层拼接当前步实现冷启动安全；支持梯度检查点 - **门控融合**：可学习的标量门控（`hist_gate_proj`）自动权衡当前信息与历史注意力信息 - **长输入支持**：`max_cut=2400` 输入截断 + `max_seq_len=51200` 长上下文，适合长文本对话与续写 *** ## 模型参数 | 参数 | 值 | 说明 | | --------------- | ---- | -------------------------- | | `d_model` | 1400 | 嵌入维度 | | `hidden_dim` | 1400 | 前馈网络维度 | | `num_heads` | 4 | 多头注意力头数 | | `num_layers` | 16 | RWKV5HistMLABlock 层数 | | `max_seq_len` | 51200 | 最大序列长度 | | `max_cut` | 2400 | 推理输入最大截断长度 | | `history_top_k` | 6 | 预留参数，本模型未使用（无 top-k 筛选，稀疏性来自存储间隔） | | `save_every` | 16 | 历史快照保存间隔（步） | | `kv_lora_rank` | 700 | MLA KV 低秩压缩维度（d\_model//2） | | `q_lora_rank` | 700 | MLA Q 低秩压缩维度（d\_model//2） | | `n_maxgate` | 0 | 门控上限层数（0=不限制） | | `v_maxgate` | 1.0 | 门控最大值 | | `use_kv_cache` | True | 推理时启用 KV Cache | | `dropout` | 0.0 | Dropout 率 | ### 模型变体 | 变体 | d\_model | num\_heads | num\_layers | 说明 | | ------------------------ | -------- | ---------- | ----------- | ---------------- | | `t17_rwkv5_mla_instruct` | 1400 | 4 | 16 | 基础指令微调版 | | `t17_rwkv5_mla_frontend` | 1400 | 4 | 16 | 前端（WF）生成强化版 | | `t17_rwkv5_mla_instruct_pro` | 1400 | 4 | 16 | **本卡：基于 frontend 继续微调，增强中文 NL（前端生成能力下降）** | *** ## 性能评测 ### 盲测设置 以 **DeepSeek-V4-Flash（开启深度思考）作为裁判**，对本地模型与 4 个对照模型进行双模型/多模型盲测对比： - **6 个 1B 定制中文领域**：古诗生成、古诗赏析、前端页面生成、通用知识、指令遵循、长文本处理 - **每个领域 3 道测试题**，共 18 题 - 裁判按 **准确性 30% + 关联性 30% + 创造性 40%** 综合评分（页面生成任务改用"样式艺术感 40% + 内容与功能丰富度 40%"） - 对照评分：每题把本地模型本次回答与所有静态模型回答同时（匿名编号）交给裁判对比打分 - 本地模型推理参数：温度梯度 `[0.68, 0.92]` 共 2 个梯度点 × 3 次重复 = 6 次对照评分，**取最高分**；静态模型取各次对照评分平均分 - 前端页面生成领域：本地模型输出经 **WF 编译器**编译为 HTML 后参与评分（编译失败退回原输出） ### 分领域平均得分 ![测评结果图](model_evaluation_pro.png) | 领域 | **T17-Instruct-Pro（0.6B）** | Qwen3-0.6B | llama-3-8B | gpt-oss-20B | DeepSeek-V4-Flash | | -------- | --------------------------- | ---------- | ---------- | ----------- | ----------------- | | 古诗生成 | **74.0** | 36.4 | 57.4 | 43.4 | 92.4 | | 古诗赏析 | 67.0 | 72.6 | 71.6 | 71.8 | 91.7 | | 前端页面生成 | 25.0 | 34.9 | 50.1 | 67.6 | 93.7 | | 通用知识 | **85.0** | 69.5 | 83.6 | 90.6 | 87.7 | | 指令遵循 | **90.7** | 78.2 | 89.7 | 80.6 | 77.5 | | 长文本处理 | 50.0 | 85.0 | 76.5 | 93.0 | 89.6 | | **总体平均** | **65.3** | **62.8** | **71.5** | **74.5** | **88.8** | ### 分析 - **指令遵循 90.7 全场第一**：超过 llama-3-8B（89.7）、gpt-oss-20B（80.6）、DeepSeek-V4-Flash（77.5）、Qwen3-0.6B（78.2），体现 SFT 微调后对格式约束的强服从能力 - **通用知识 85.0**：超过 8B 级 llama-3-8B（83.6）与 0.6B 级 Qwen3（69.5），接近 20B 级 gpt-oss（90.6） - **古诗生成 74.0**：0.6B 级大幅领先 Qwen3（36.4），且超过 llama-3-8B（57.4）与 gpt-oss-20B（43.4），仅次于旗舰 DeepSeek（92.4） - **总体 65.3**：超过同为 0.6B 的 Qwen3-0.6B（62.8），展示 RWKV-v5+MLA 架构在低参数量下对中文语感的建模能力 > ⚠️ **前端页面生成（25.0）为全部模型中最低**：本模型基于 frontend 版继续微调以增强中文自然语言能力，代价是前端（WF）生成能力下降。需要前端生成请使用 `t17_rwkv5_mla_frontend`；需要自然语言对话/创作/指令任务，本模型为更优选择。 *** ## 快速开始 ### 安装 ```bash # 安装 xiaothink 库（含 PyTorch 后端） pip install xiaothink[torch] # 仅使用 PyTorch 后端（避免加载 TensorFlow/PaddlePaddle） export XIAOTHINK_BACKEND=torch ``` > 需要 xiaothink ≥ 1.4.8。模型权重目录需包含 `tokenizer.json` 和 `*.pt`。 ### 使用 **方式一：TorchModel 高级接口（推荐）** ```python from xiaothink.llm.inference_torch.torch_formal import TorchModel # 1. 加载模型（ckpt_dir 指向模型权重目录） model = TorchModel( ckpt_dir='path/to/ckpt_test_t17_rwkv5_mla_instruct_pro', MT='t17_rwkv5_mla_instruct_pro', use_bf16=False, # 显存不足时设为 True（需显卡支持 BF16） inference_mode='auto' ) # 2. 设置 SFT 对话格式 model.set_form('ua_chat') # 3. 单轮对话（如需不保留上下文，可先调用 clear_history()） model.clear_history() resp = model.chat('你好，请介绍一下你自己') print(resp) # 4. 多轮对话（自动维护上下文） resp = model.chat('给我写一首关于春天的诗', temperature=0.9, top_p=0.95, max_length=512) print(resp) # 5. 深度思考（需要 xiaothink ≥ 1.5.0），支持两个模式（无单独的"关闭"模式）： # 【开启】think=True：每轮在提示词末尾追加 ，强制引导模型先思考再回答 resp = model.chat('为什么天空是蓝色的？', think=True) print(resp) # 输出以 开头：先思考过程，后跟正式回答 # 【自动】think=False（默认）：不追加 ，由模型自行决定是否输出思考过程 resp = model.chat('你好，今天天气怎么样', think=False) # 6. 历史保留思考内容控制（keep_think_in_history，需 xiaothink ≥ 1.5.0）： # False 时删除历史中的 中间内容，避免思考内容污染后续对话 resp = model.chat('第二个问题', think=True, keep_think_in_history=False) # 7. 清空对话历史 model.clear_history() ``` **方式二：TextGenerator 底层接口** ```python from xiaothink.llm.inference_torch.torch_test import TextGenerator generator = TextGenerator( checkpoint_path='path/to/ckpt_test_t17_rwkv5_mla_instruct_pro', MT='t17_rwkv5_mla_instruct_pro' ) generator.load_model() text = generator.generate_text( prompt='<|U|>你好，请介绍一下自己。<|A|>', max_length=128, temperature=0.7, top_p=0.9 ) print(text) ``` ### 参数建议 | 任务类型 | temperature | top\_p | max\_length | 说明 | | ----- | ----------- | ------ | ----------- | -------- | | 对话 | 0.8 \~ 0.9 | 0.9 | 512 | 常规对话 | | 创作/古诗 | 0.9 | 0.95 | 512+ | 需要更多多样性 | | 指令/概括 | 0.001 | 0.9 | 64 | 低温度保证确定性 | *** ## 局限性 1. **仅支持中文**：截止 Xiaothink-T17 系列发布，所有模型只支持中文处理 2. **前端生成能力下降**：本模型侧重中文自然语言，前端（WF）页面生成能力弱于 `t17_rwkv5_mla_frontend` 3. **不支持 ModelScope/transformers**：权重格式为自定义 PyTorch state\_dict，必须使用 xiaothink 库加载 4. **长文本能力**：推理输入截断长度 2400，超出范围会截断 5. **端侧部署**：参数量 0.6B，建议在 ≥8GB 显存或 16GB 内存的设备上运行 *** ## 许可证 本项目采用 Apache License 2.0 许可证。 Copyright (c) 2026 Xiaothink Team