--- title: kev-9B-LoRA-ranker canonical_url: "https://www.modelscope.cn/models/theGAI/kev-9B-LoRA-ranker" md_url: "https://www.modelscope.cn/models/theGAI/kev-9B-LoRA-ranker.md" repository: theGAI/kev-9B-LoRA-ranker last_updated: 2026-10-12 license: apache-2.0 pipeline_tag: text-classification tasks: - text-classification base_model: - Qwen/Qwen3.5-9B base_model_relation: finetune parameters: 43.3M tensor_type: - F32 library_name: - lora - safetensors language: - en downloads: 5 stars: 0 tags: - LoRA - decision-model - ranking - RPS --- # kev-9B-LoRA-ranker > kev-9B-LoRA-ranker - theGAI 在 ModelScope 开源的模型。Qwen3.5-9B 上的排序决策头——9B 语言理解 × 可约束排序输出。与 0.8B 同配方，规模轴上的第二点。 EN · The 9B sibling: same LoRA+head recipe on Qwen3.5-9B, bf16 weights + gradient checkpointing to fit single-GPU; loss 1.51→0.4–0.7. Independent eval… theGAI/kev-9B-LoRA-ranker 是 ModelScope 魔搭社区上的 43.3M 参数text-classification模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.5-9B 构建。 - **Repository**: theGAI/kev-9B-LoRA-ranker - **License**: apache-2.0 - **Tasks**: text-classification - **Parameters**: 43.3M - **Base model**: Qwen/Qwen3.5-9B - **Tags**: LoRA, decision-model, ranking, RPS - **Downloads**: 5 - **Stars**: 0 - **Last updated**: 2026-10-12 Source: https://www.modelscope.cn/models/theGAI/kev-9B-LoRA-ranker ---

stack

> **Qwen3.5-9B 上的排序决策头——9B 语言理解 × 可约束排序输出**。与 0.8B 同配方，规模轴上的第二点。 > *EN · The 9B sibling: same LoRA+head recipe on Qwen3.5-9B, bf16 weights + gradient checkpointing to fit single-GPU; loss 1.51→0.4–0.7. Independent eval (895 heldout): overall 79.4%, ECE 0.068, permutation flip rate 6.9% — twice as order-stable as the 0.8B sibling.* > 🔗 跨平台：Hugging Face 英文卡 [jjshin/kev-9B-LoRA-ranker](https://huggingface.co/jjshin/kev-9B-LoRA-ranker) · GitHub 主页 [jjxyxsjr](https://github.com/jjxyxsjr)（HF 卡为英文精选版，本卡为中文全量版） ## 算法说明

机制图解

Kev 的构造是「LM 骨架 + 排序决策头」：Qwen 基座上挂全层 LoRA（r=16）保留语言理解，自定义 256 维打分头（`head.pt`）专职候选排序；训练目标为 RPS（ranked probability score）——与 Laya 的严格适当评分规则同族，报告分布与真实分布越贴得分越高。数据侧注入 none 选项（p=0.1）与干扰项（p=0.15）：模型既要会选最优，也要会在「都不对」时弃权——abstain 在决策系统里是一等公民。观测：loss 1.51 → 0.4–0.7 区间收敛（训练日志口径）。 ##

训练数据 | 数据集 | 说明 | |--------|------| | 合成决策套件（n_per_source=300） | 有效记录 1795 条同级规模，平台数据集桶内网加载 | > 数据配置取自产物 `training_config.json`（args 全套随仓）；该套件体系未在魔搭独立发行，故无链接。 ##

训练指标 - loss 1.51 → 0.4–0.7 区间收敛（训练日志口径） - 225 optimizer steps · bf16 权重 + 梯度检查点 - adapter 173MB + head 8.4MB - loss 曲线无逐步 MLflow 记录（两点不成曲线，不画图——数字为训练日志口径） ##

独立评估（kev 官方 harness，run `kev-eval-9b6-1001`）十源 heldout（895 例，口径同 0.8B 卡）。**整体 acc 0.794 / ECE 0.068**。

逐源准确率

| 数据源 | n | acc | ECE | | 数据源 | n | acc | ECE | |---|---|---|---|---|---|---|---|---| | yelp_yn（是否题） | 99 | **0.909** | 0.075 | | banking77（77 类） | 100 | **0.800** | 0.066 | | agnews_yn | 200 | 0.900 | 0.079 | | mnli（蕴含） | 100 | 0.790 | 0.107 | | agnews（4 类） | 100 | 0.880 | 0.117 | | yelp（5 类） | 99 | 0.586 | 0.144 | | boolq（是否） | 97 | 0.887 | 0.046 | | sst5（细粒度） | 100 | 0.500 | 0.104 | | | | | | | **整体 ALL** | **895** | **0.794** | **0.068** | ### 与 0.8B 对照（尺寸标度） | 指标 | kev-0.8B | kev-9B | 尺寸效应 | |------|----------|--------|----------| | 整体 acc | 0.727 | **0.794** | +6.7pt | | 顺序稳定性（翻转率） | 15.3% | **6.9%** | 稳定性实质翻倍 | | 无关项免疫（IIA 位移） | 0.025 | 0.024 | 同水平（本就优秀） | | 弃权率（真选项移除后） | 78.2% | 79.2% | 同水平 | > 读法：难度阶梯上 9B 全面抬升（banking77 0.65→0.80、sst5 0.43→0.50、boolq 0.763→0.887）；**顺序稳定性翻倍**最值钱——排序决策的输出可预期性随尺寸显著改善。完整日志存 MLflow artifact `eval/eval_full.log`。 ## 训练配置（training_config 实测值） | 项 | 值 | 项 | 值 | |---|---|---|---| | LoRA r / α | 16 / 32（全层） | 打分头 | 256 维（独立 lr 通道） | | 学习率 | 2e-4 | epochs | 1 | | 序数目标 | ranked_probability_score | none/干扰注入 | 0.10 / 0.15 | | 精度 | bf16 + 梯度检查点 | max_state | 384 tokens | ## 工程实录：五发迭代 tokenizer 缺件补齐 → 脚本前缀丢段修复 → CUDA OOM 改 bf16 权重 + 梯度检查点——`training_config` 里 9B 与 0.8B 的差异（weights_dtype bf16 vs fp32、checkpointing 1 vs 0）就是这轮修复留在产物里的痕迹。 ##

生产验证：真实告警流分诊（72 天 / 1902 条原始 / 123 去重类型） kev-9B 读"告警名+摘要+历史频次"做动态语境分诊——**零处理错误，平均置信 0.829**： | | info | warning | critical | |---|---|---|---| | kev 决策 | 2 | **117** | 4 | | 静态规则 | 19 | 19 | **84** | | **一致率** | | **17.9%** | | **怎么读 17.9%**：这不是模型对错——分诊没有绝对真值，这是两种范式的分歧。分歧是系统性的、可解释的： ### 仲裁后准确率（40 条分歧案例，人工 ground truth） | 判定方 | 准确率 | |--------|--------| | **kev-9B** | **90.0%**（36/40） | | 静态规则 | 10.0%（4/40） | 40 条分歧案例经运维影响面仲裁（"3am 页面测试"+频次/恢复性/影响面三轴框架，裁决记录与理由随表公开）：kev 的动态语境分诊在分歧样本上**碾压静态规则**——规则胜出的 4 条全是慢性复发案例（crashloop ×6/×14 需升 critical 逼修复、孤立 ×2 restart 属 info），而这恰是"频率感知"逻辑的边界情形。仲裁表 `docs` 存档，明细可复算。 - **高频恢复型降级**：规则标 critical 的 84 个里 kev 只认 4 个——WorkerNotReady 出现 69 次全部降到 warning（高频+自动恢复的告警反复拉 critical 是告警疲劳的根源） - **编排核心升级**：FlyteDown（训练编排核心服务宕）从规则的 warning 升到 critical——影响面判断优先于字面规则 - **范式主张**：动态语境分诊（频次/恢复历史/服务重要性）vs 静态字面规则——分歧本身就是价值主张的呈现，业务侧仲裁权留给 on-call 团队 > 逐条决策+概率分布+分歧明细：S3 `prod-verify/kev9b-triage-result.json`（123 条全档）。 > *EN · Production triage on 72 days of real alerts (123 deduped types): zero errors, mean confidence 0.829, 17.9% agreement with static rules — the disagreement itself is the paradigm (frequency-aware downgrades, blast-radius upgrades).* ### 生产回流实验：40 条种子微调无增益，按判据不部署（闭环完整走通） | 臂 | acc | ECE | |----|-----|-----| | **零-shot kev-9B（现役）** | **0.897** | 0.081 | | 微调 OOF（5 折分组交叉验证） | 0.888 | 0.066 | | OOF + 拟合温度 T=2.19 | 0.888 | 0.210（反噬） | 40 条仲裁种子在 90% 高基线上无增益（-0.9pt 噪声内）、40 条拟出的温度不泛化——**按部署判据两条件均不过，不换模型，原版继续常驻**。判据就是为"诚说不换"立的；kev-triage 每日自动积累仲裁素材，**种子攒到 150+ 条再跑**（分场景明细 `prod-verify/kev-alertft-agg.json`）。生产故事三件全齐：常驻运营 + 仲裁闭环 + 回流实验完整走通——0 增益但格局稳定（kev 0.90 / 规则 0.10 / 微调 0.888）。 ## 部署选型表（同流生产对照，123 条真实告警） | 尺寸 | 对规则一致率 | 跨尺寸决策一致 | 平均延迟 | 平均置信 | |------|------------|--------------|---------|---------| | kev-0.8B | 17.89% | — | **243.5ms** | 0.466 | | kev-9B | 17.89% | **96.75%** | 380.6ms | **0.829** | **跨架构参照**：von（RLCD ModernBERT）同流对照——与 kev 一致率仅 10-13%（判定哲学不同：von 保守派 vs kev 行动派）、延迟 19.2ms 快 12-20×——跨架构不可互换，选型需按场景实测（见 [von 卡](https://modelscope.cn/models/theGAI/von-RLCD-synthetic-8k) 三对照表）。 **选型结论**：只要 argmax 决策，0.8B 用 1.56× 速度拿到几乎相同判定（96.75% 一致）；要做置信度阈值自动化（conf<0.6 转人工），9B 的校准置信值这个延迟。与规则的一致率两尺寸完全相同——分歧来自动态语境 vs 静态规则，与尺寸无关。明细 `prod-verify/kev08b-triage-result.json`。 ## 使用本仓含 `adapter_model.safetensors` + `head.pt` + tokenizer 全套；排序头的加载与推理走官方脚手架（源仓库为 gated 发布，遵其条款）。 > **生产运营中**：kev 分诊服务已常驻部署（alertmanager → 分诊 → 落条 → 每日聚合上桶 `prod-triage/daily/`）——真实告警自动积累判定数据，本卡的选型数字随生产数据持续更新。 ## 声明基于 `Qwen/Qwen3.5-9B`（Apache-2.0 系）LoRA 微调；训练配置与指标档案随仓（training_config/training_metrics）；本仓不含任何私有信息。