---
title: Loupe-4B-v1.0-Q5_K_M.gguf
canonical_url: "https://www.modelscope.cn/models/audits/Loupe-4B-v1.0-Q5_K_M.gguf"
md_url: "https://www.modelscope.cn/models/audits/Loupe-4B-v1.0-Q5_K_M.gguf.md"
repository: audits/Loupe-4B-v1.0-Q5_K_M.gguf
chinese_name: "秋毫审鉴"
last_updated: 2026-10-20
license: apache-2.0
pipeline_tag: text-generation
tasks:
  - text-generation
base_model:
  - Qwen/Qwen3.5-4B
base_model_relation: quantized
library_name:
  - gguf
language:
  - zh
downloads: 102
stars: 3
tags:
  - "审计"
  - "公文写作"
  - "润笔"
  - gguf
  - llama.cpp
  - Qwen3.5
  - 4B
---

# Loupe-4B-v1.0-Q5_K_M.gguf

> Loupe-4B-v1.0-Q5_K_M.gguf - audits 在 ModelScope 开源的模型。基于 Qwen3.5-4B 微调的中文审计公文润笔模型，专注审计公文语体规范、易混词纠错与结构重构，只动文气、不动事实。GGUF Q5_K_M 量化，8GB 内存本地可跑，数据不出本机。

audits/Loupe-4B-v1.0-Q5_K_M.gguf 是 ModelScope 魔搭社区上的text-generation模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.5-4B 构建。

- **Repository**: audits/Loupe-4B-v1.0-Q5_K_M.gguf
- **License**: apache-2.0
- **Tasks**: text-generation
- **Base model**: Qwen/Qwen3.5-4B
- **Tags**: 审计, 公文写作, 润笔, gguf, llama.cpp, Qwen3.5, 4B
- **Downloads**: 102
- **Stars**: 3
- **Last updated**: 2026-10-20

Source: https://www.modelscope.cn/models/audits/Loupe-4B-v1.0-Q5_K_M.gguf

---

# 秋毫审鉴（Loupe）-4B-v1.0-GGUF

## 模型概述

**秋毫审鉴（Loupe）v1.0** 是一款面向中文审计及政务公文润笔场景的垂直微调模型，基于 Qwen3.5-4B 训练，本仓库为 llama.cpp GGUF 量化版（Q5_K_M，经公开语料 importance-matrix 校准）。

| 项 | 说明 |
|---|---|
| 基座模型 | Qwen3.5-4B |
| 参数量 | 4B |
| 文件体积 | 3.07 GB |
| 量化 | Q5_K_M（llama.cpp），importance-matrix 校准 |
| MD5 | `e35ce56b07026a089792951e20410977` |
| 部署形态 | 本地化部署，CPU/内存即可运行（8GB 内存可跑，16GB 推荐），数据不出本机 |
| 语言 | 中文 |

## 模型介绍

Loupe 取名自珠宝鉴定师的放大镜，与中文名"秋毫审鉴"同义呼应——明察秋毫、于细微处见真章。

模型聚焦解决审计公文写作中的三类痛点：

1. **口语转公文**：将口语化、流水账式的表述提炼为规范的机关公文语体；
2. **规范纠错**：易混词、公文惯用误用（台帐→台账、截止→截至、做出→作出、其它→其他等）的自动化修正；
3. **结构重构**：标题排比化、段落"一是/二是/三是"格局化、冗词删减、精简收敛。

**设计契约**：模型定位为"文笔执行器"——只动文气、不动事实。数字、金额、文号、单位名照抄不改；文书查错（验算、法条核对）由规则库/应用层负责，不在模型职责内。

**适用场景**：审计报告、整改报告、工作总结、情况说明等公文材料的润笔与规范纠错。
**不适用**：法律咨询、事实核查、数值验算、新闻写作、通用对话；禁止用于涉密信息的任何处理。

## 模型训练

- **训练方法**：LoRA 微调，bf16 精度，在通用公文能力之上做审计领域定向增强；
- **训练数据**：数千条经脱敏与合成处理的全网公开的审计及其他公文样本；
- **量化校准**：importance-matrix（imatrix）校准，校准语料为公开渠道审计公文。

### 数据合规声明

- 不包含任何涉密信息、内部工作材料或未公开的个人隐私信息；
- 模型为本地化部署形态，推理过程不需要联网，用户输入不经过任何第三方服务；
- 尽管如此，**请勿将涉密载体信息、国家秘密、工作秘密或个人隐私输入本模型**——任何语言模型的输入安全责任在使用者。

## 模型推理

```bash
# 启动本地推理服务（CPU 即可，有 GPU 加速更佳）
llama-server -m Loupe-4B-v1.0-Q5_K_M.gguf \
  --port 18080 -c 4096 -t 8 \
  --reasoning off --jinja -fa off
```

通过 OpenAI 兼容接口（`/v1/chat/completions`）调用，`temperature=0`、`max_tokens=900` 时输出最稳定。

> **重要**：本模型对系统提示词高度敏感，需配合与其训练口径一致的公文润笔系统提示词使用（包含润笔标准、打磨工序与"只动文气不动事实"的约束描述），否则输出风格会漂移。

### 生产部署护栏建议

模型为通用润笔底座，生产环境建议叠加以下轻量确定性规则（正则/模板，成本极低）：

1. **数字-单位空格修正**：部分量化推理链路会在数字与中文单位间插入空格（如"3.28 万元"），建议输出端执行 `(?<=\d)[ \t]+(?=万|亿|元|人|个|项|件|条|次|%|年|月|日…)` 置空；
2. **查错走规则库**：验算、法条核对等"对错"判断不应依赖本模型，建议由应用层规则引擎承担；
3. **结论格式闸**：复核类场景建议约束模型输出"未发现问题"等标准判据结论，避免开放性建议文。

## 模型效果

在自建审计文书评测集上的关键结果：

- **事实保真**：真实审计文书测试中，数字、文号、单位名、编号保持全部满分通过；
- **公文规范纠错**：典型易混词修正通过；
- **无错文书**：对无错误文书不误报；
- **知识边界**：对虚构法规条文的诱导性询问，正确拒答、不编造条文，并建议通过官方渠道查询；
- **标题排比**：标题组重写为工整排比（行数不变、句末无标点、字数极差小）。

## 局限性

- 仅面向中文审计/政务公文语体，其他文体不保证效果；
- 不具备具体知识储存能力，也不具备实时知识检索能力，对法规条文的询问会拒答并建议查询官方渠道（全国性法规→中国人大网/中国政府网；省级法规→省人大/省政府官网）；
- 存在大语言模型固有局限：长文一致性、极端复杂句式的润笔质量可能波动；
- 精简场景的字数控制在部分输入上可能不严格，关键场景建议应用层校验。

## 许可协议

本模型遵循基座模型（Qwen3.5-4B）的原始许可协议，请在使用前查阅基座模型的许可条款。

## 声明

本模型为作者个人技术研究与同行探讨成果，仅代表个人观点，与作者所在单位无关。

## 引用

如本模型对您的工作有帮助，欢迎引用：

```bibtex
@misc{loupe4b2026,
  title  = {秋毫审鉴（Loupe）: A Domain-Tuned Polisher for Chinese Audit Documents},
  author = {周旻},
  year   = {2026},
  note   = {Qwen3.5-4B fine-tune, GGUF Q5_K_M with importance-matrix calibration}
}
```

## 版本记录

| 版本 | 日期 | 说明 |
|---|---|---|
| v1.0 | 2026-10-20 | 首次发布 |