--- title: DeepSeek-V4-Flash-GGUF canonical_url: "https://www.modelscope.cn/models/42ailab/DeepSeek-V4-Flash-GGUF" md_url: "https://www.modelscope.cn/models/42ailab/DeepSeek-V4-Flash-GGUF.md" repository: 42ailab/DeepSeek-V4-Flash-GGUF chinese_name: "DeepSeek-V4-Flash · 对话与编程大模型" last_updated: 2026-09-24 license: mit base_model_relation: quantized library_name: - gguf - pytorch frameworks: - Pytorch downloads: 378 stars: 1 --- # DeepSeek-V4-Flash-GGUF > DeepSeek-V4-Flash-GGUF - 42ailab 在 ModelScope 开源的模型。DeepSeek-V4-Flash · 本地可跑的前沿大模型（284B MoE · 百万上下文） 42ailab/DeepSeek-V4-Flash-GGUF 是 ModelScope 魔搭社区上的机器学习模型，采用 mit 许可。 - **Repository**: 42ailab/DeepSeek-V4-Flash-GGUF - **License**: mit - **Downloads**: 378 - **Stars**: 1 - **Last updated**: 2026-09-24 Source: https://www.modelscope.cn/models/42ailab/DeepSeek-V4-Flash-GGUF --- # DeepSeek-V4-Flash · 本地可跑的前沿大模型（284B MoE · 百万上下文） [![License: MIT](https://img.shields.io/badge/License-MIT-blue.svg)](https://opensource.org/licenses/MIT) [![Runs Local](https://img.shields.io/badge/Runs-100%25_Local-brightgreen.svg)](https://42model.com) [![Platform](https://img.shields.io/badge/Platform-macOS-lightgrey.svg)](https://42model.com) 一个 2860 亿参数级别的前沿大模型，**跑在你自己的高配电脑上**——对话、推理、长文档理解，全部本地完成，**不上云、免费、私密**。 > **这是一个转发镜像仓，不是我们的原创工作。** 归属如下： > - **模型本体**由[深度求索（DeepSeek-AI）](https://modelscope.cn/models/deepseek-ai/DeepSeek-V4-Flash)研发、以 MIT 开源（DeepSeek-V4-Flash，DeepSeek-V4 系列）； > - **本地量化档**（GGUF）由 [antirez（Salvatore Sanfilippo）](https://huggingface.co/antirez/deepseek-v4-gguf) 用 imatrix 制作并以 MIT 开源（他也是本地推理引擎 ds4/DwarfStar 的作者）； > - **本仓**（42ailab）只是把 antirez 的 GGUF **原样镜像转发**到 ModelScope，方便国内用户下载（HF 在国内访问不便）——**我们没有修改文件、没有做量化**。42ailab 做的是[活水模型（42model）](https://42model.com)本地推理引擎、这份中文模型卡、以及镜像托管。 > > ⚠️ **前沿实验档（Beta）**：为塞进消费级内存采用了**激进的低比特量化**，输出质量低于官方全精度与云端满血版；且**体积极大（80–91GB）、只有少数高配机器能跑**。请按「局限」一节评估你的机器。 ## 一、它解决什么问题 真正的前沿大模型（千亿参数级、百万字上下文）过去只能在云端跑——你得把对话和文档发到别人的服务器，既有隐私顾虑，也依赖联网与付费。得益于 DeepSeek 的开源与 antirez 的量化，**你现在可以在一台高配个人电脑（如 128GB 内存的 Mac + 一块高速外置盘）上，完全离线地跑一个前沿级模型**—— - **长文档整本喂进去**：百万 token 上下文，一次读完整本书 / 整个代码库再提问； - **强推理 / 编程**：深度求索官方将其定位为具备顶尖推理与 agentic 能力的开源模型系列； - **敏感数据不出机**：法律、医疗、内部代码等不便上云的场景，全程本地。 ## 二、它是怎么做到的 **模型能力来自深度求索的 DeepSeek-V4-Flash**——一个 **2860 亿参数的混合专家（MoE）模型**（每处理一个字只激活其中约 130 亿参数，所以又快又省），支持**百万 token 上下文**。官方设计要点： - **混合注意力架构**：结合两种压缩注意力机制，大幅降低超长上下文的算力与显存开销（官方称百万上下文下单 token 推理算力仅为上一代的约 27%）； - 更稳定的层间信号传递与更高效的训练优化；在 32 万亿 token 上预训练 + 两阶段后训练。 **能在个人电脑上跑，靠的是量化**：antirez 用 imatrix（重要性矩阵）引导的低比特量化，把原本需要数据中心的权重压到消费级内存能装下，同时尽量保住质量。本仓提供他的两个档，越大越接近原版： - **q2 档（约 81GB）**：最激进量化，内存门槛最低（96GB+）； - **q2-q4 档（约 91GB）**：关键层保留更高精度，质量更好（128GB+）。 **42ailab 在这里做的**：把 antirez 的 GGUF 镜像到 ModelScope 方便国内下载，并让它在[活水模型（42model）](https://42model.com)引擎里一键跑起来。**量化与模型本体都不是我们的工作**。 ## 三、效果如何 模型本体在公开基准上的完整评测以**深度求索官方技术报告**为准（[arXiv:2606.19348](https://arxiv.org/abs/2606.19348)）；量化方案细节见 [antirez 的原仓](https://huggingface.co/antirez/deepseek-v4-gguf)。这里只列**我们自己在本机跑出的速度**： | 我们实测的项目（Apple M3 Max · 128GB · 外置 NVMe） | 结果 | |---|---| | q2 档解码速度 | **约 26 tokens/秒**（峰值） | | q2-q4 档解码速度 | **约 24 tokens/秒**（峰值） | | 长时间连续生成（散热降频后的持续速度） | **约 15 tokens/秒** | | 输出连贯性 | 中英文对话连贯、可正常推理 | > 我们诚实区分**峰值**与**持续**速度：笔记本长时间满载会因散热降频，持续约 15 tokens/秒；台式机 / 良好散热 / 接电可更接近峰值。 ## 四、局限与下一步 - **实验性激进量化**：q2/q2-q4 是为「塞进消费级内存」做的低比特量化，**质量低于官方全精度与云端满血版**，复杂任务上可能更容易出错。追求最高质量请用官方云端或全精度部署。 - **硬件门槛高**：q2 需约 **96GB** 内存、q2-q4 需 **128GB**；文件 80–91GB **必须放高速外置盘**（不能放系统盘），下载与运行都对磁盘速度敏感。活水模型在下载前会自动做硬件自检，不满足会明确提示。 - **目前仅 macOS（Apple Silicon）**：Windows / Linux 支持在后续版本跟进。 - 下一步：更多平台、随引擎更新持续提升速度；42ailab 自产量化档为另一条独立线路。 ## 五、怎么下载与使用 本镜像专为 [活水模型（42model）](https://42model.com) 桌面版打包：在「模型库」里找到 **DeepSeek-V4-Flash**（前沿档），按提示完成下载前硬件自检，选择存放的外置盘后下载，点「开始使用」即可对话。 > **前沿模型的下载限制**（与普通模型不同）： > - **下载前必须通过硬件自检**：内存 ≥ 该档要求（q2 96GB+ / q2-q4 128GB+）、有一块合格的**非系统盘**外置卷、磁盘读写速度达标等；未通过会明确提示，不会让你下到一半才发现跑不动。 ## 文件与许可 | 文件 | 作用 | |---|---| | `DeepSeek-V4-Flash-IQ2XXS-…-imatrix.gguf` | q2 档（约 81GB），内存门槛最低 | | `DeepSeek-V4-Flash-Layers37-42Q4K…-fixed.gguf` | q2-q4 档（约 91GB），质量更好 | 各文件 sha256 见 ModelScope 文件页，可自行校验；与 [antirez 原仓](https://huggingface.co/antirez/deepseek-v4-gguf)一致。 **许可**： - 模型本体 DeepSeek-V4-Flash，© 深度求索（DeepSeek-AI），**MIT**（[ModelScope](https://modelscope.cn/models/deepseek-ai/DeepSeek-V4-Flash) · [HuggingFace](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash) · [技术报告](https://arxiv.org/abs/2606.19348)）； - GGUF 量化档 © antirez（Salvatore Sanfilippo），**MIT**（[原仓 antirez/deepseek-v4-gguf](https://huggingface.co/antirez/deepseek-v4-gguf)）。 本仓为 antirez 量化档的镜像转发，遵循上述 MIT 许可，使用即表示同意上游条款。 ## 引用 **模型本体**请引用上游深度求索（DeepSeek-V4 技术报告）： ```bibtex @misc{deepseekai2026deepseekv4, title={DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence}, author={DeepSeek-AI}, year={2026}, } ``` **GGUF 量化档**由 antirez 制作，请一并致谢其原仓 。 联系我们（仅镜像/引擎相关问题）：**contact@42ailab.com** ## 关于我们 **[活水 AI 实验室（42ailab）](https://42ailab.com)** — 探索智能边界的 AI 创新实验室，以认知科学为基石，推动 AI 与人类智能的深度融合，真正理解并增强智能 —— 碳基的，也是硅基的。 **[活水模型（42model）](https://42model.com)** — 由活水 AI 实验室出品的高性能本地 AI 大模型推理引擎，让翻译、转写、识别、对话、编程等 AI 能力在你的本机免费私密运行；并可借云端算力微调专属模型，回传本机运行。