--- title: QwQ-32B-Preview-FP8 canonical_url: "https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-FP8" md_url: "https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-FP8.md" repository: okwinds/QwQ-32B-Preview-FP8 last_updated: 2025-04-17 license: apache-2.0 pipeline_tag: text-generation tasks: - text-generation model_type: - qwen2 architectures: - Qwen2ForCausalLM base_model: - Qwen/QwQ-32B-Preview base_model_relation: quantized parameters: 32.8B tensor_type: - F8_E4M3 - F32 - BF16 library_name: - safetensors - pytorch frameworks: - Pytorch language: - en - zh inference_backends: - "deploy_task text/emb" - "lmdeploy 0.9.1" - "lmdeploy_turbomind 0.9.1" - "sglang 0.5.2" - "vllm 0.9.2" downloads: 2918 stars: 0 tags: - Instruct - Chat --- # QwQ-32B-Preview-FP8 > QwQ-32B-Preview-FP8 - okwinds 在 ModelScope 开源的模型。正式版 QwQ-32B 的量化版本已出，用了更优质的数据做校准。欢迎品尝：QwQ-32B-Int8-W8A16 okwinds/QwQ-32B-Preview-FP8 是 ModelScope 魔搭社区上的 32.8B 参数text-generation模型，采用 apache-2.0 许可，基于 Qwen/QwQ-32B-Preview 构建，可用 deploy_task text/emb、lmdeploy 0.9.1、lmdeploy_turbomind 0.9.1 部署。 - **Repository**: okwinds/QwQ-32B-Preview-FP8 - **License**: apache-2.0 - **Tasks**: text-generation - **Parameters**: 32.8B - **Base model**: Qwen/QwQ-32B-Preview - **Inference backends**: deploy_task text/emb, lmdeploy 0.9.1, lmdeploy_turbomind 0.9.1, sglang 0.5.2, vllm 0.9.2 - **Tags**: Instruct, Chat - **Downloads**: 2918 - **Stars**: 0 - **Last updated**: 2025-04-17 Source: https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-FP8 --- 正式版 QwQ-32B 的量化版本已出，用了更优质的数据做校准。欢迎品尝：[QwQ-32B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/QwQ-32B-Int8-W8A16) 友情提醒，推理本模型时，请按照如下官方指引： > 注意：建议在运行这些模型时设置适当的温度（0.5 到 0.7 之间），否则您可能会遇到无休止的重复或不连贯的输出问题。 📖 关于量化损失方面的研究，可阅读公众号“觉察流”文章👇
### 《[Reason Model 的“瘦身计划”：量化技术的得与失](https://mp.weixin.qq.com/s/NMGq4UUkfo8GMix5LHnWCg)》 # 通义千问 QwQ-32B-Preview-FP8 原模型 [qwen/QwQ-32B-Preview](https://www.modelscope.cn/models/Qwen/QwQ-32B-Preview) ```python # download model from modelscope import snapshot_download model_dir = snapshot_download('okwinds/QwQ-32B-Preview-FP8') ``` ## Qwen2.5 同系列模型 #### Finetuned Model - **Model tree**
 Base model - [Qwen/Qwen2.5-32B](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B)
  ╰─ Finetuned - [Qwen/Qwen2.5-32B-Instruct](https://www.modelscope.cn/models/Qwen/Qwen2.5-32B-Instruct)
          ├─ Finetuned - [CompassJudger-1](https://www.modelscope.cn/collections/CompassJudger-1-Int-and-FP8---Mixed-Precision-85d756858db345)
         └─ Finetuned - [Rombos-LLM-Qwen2.5](https://www.modelscope.cn/collections/Rombos-LLM-Qwen25-4dc8690ad7f541)
#### 同系量化 | **Model** | GPTQ Compression & FP8 | GGUF | **MLX** (macOS) | | ------------ |----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| -------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | *3B params* | - | [3B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-3B-Instruct-GGUF-V3-LOT) | [3B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-3B-Instruct-MLX-4bit)
[3B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-3B-Instruct-MLX-8bit) | | *7B params* | [7B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-Int4-W4A16)
[7B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-Int8-W8A16)
[7B-FP8-A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-FP8-A16)
[Coder-7B-Instruct-FP8](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-FP8) | [7B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-GGUF-V3-LOT) | [7B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-MLX-4bit)
[7B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-7B-Instruct-MLX-8bit) | | *Coder 7B params* | [Coder-7B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-Int4-W4A16)
[Coder-7B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-Int8-W8A16)
[Coder-7B-FP8-A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-FP8-A16) | [Coder-7B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-GGUF-V3-LOT) | [Coder-7B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-MLX-4bit)
[Coder-7B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-7B-Instruct-MLX-8bit) | | *14B params* | [14B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-Int4-W4A16)
[14B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-Int8-W8A16)
[14B-FP8-A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-FP8-A16) | [14B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-GGUF-V3-LOT) | [14B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-MLX-4bit)
[14B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-14B-Instruct-MLX-8bit) | | *Coder 14B params* | [Coder-14B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-Int4-W4A16)
[Coder-14B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-Int8-W8A16) | [Coder-14B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-GGUF-V3-LOT) | [Coder-14B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-MLX-4bit)
[Coder-14B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-14B-Instruct-MLX-8bit) | | *32B params* | [32B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-Int4-W4A16)
[32B-Int8-W8A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-Int8-W8A16)
[32B-FP8-A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-FP8-A16) | [32B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-GGUF-V3-LOT) | [32B-MLX-2bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-MLX-2bit)
[32B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-MLX-4bit)
[32B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-32B-Instruct-MLX-8bit) | | *Coder 32B params* | [Coder-32B-Int4-W4A16](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-Int4-W4A16)
[Coder-32B-FP8](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-FP8) | [Coder-32B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-GGUF-V3-LOT) | [Coder-32B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-MLX-4bit)
[Coder-32B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-Coder-32B-Instruct-MLX-8bit) | | *QwQ-Preview 32B params* | [QwQ-32B-Preview-Int4-W4A16](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-Int4-W4A16)
[QwQ-32B-Preview-FP8](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-FP8) | [QwQ-32B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-GGUF-V3-LOT) | [QwQ-32B-MLX-4bit](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-MLX-4bit)
[QwQ-32B-MLX-8bit](https://www.modelscope.cn/models/okwinds/QwQ-32B-Preview-MLX-8bit) | | *72B params* | - | [72B-GGUF-V3-LOT](https://www.modelscope.cn/models/okwinds/Qwen2.5-72B-Instruct-GGUF-V3-LOT) | [72B-MLX-2bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-72B-Instruct-MLX-2bit)
[72B-MLX-4bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-72B-Instruct-MLX-4bit)
[72B-MLX-8bit](https://www.modelscope.cn/models/okwinds/Qwen2.5-72B-Instruct-MLX-8bit) | ## 模型概述 QwQ-32B-Preview-FP8 是一个基于 通义千问 QwQ-32B-Preview 的 FP8 量化的模型。 - **模型名称:** QwQ-32B-Preview-FP8 - **模型架构:** Qwen2.5 - **权重量化:** FP8 该模型通过将 [qwen/QwQ-32B-Preview](https://www.modelscope.cn/models/Qwen/QwQ-32B-Preview) 的权重量化为 FP8 数据类型而实现。 量化过程将每个参数从 16bit 减少到 8bit，将模型占用磁盘空间大小，以及推理时加载模型需要的GPU显存空间，减少到了大约为原模型的1/2。 FP8（Floating Point 8-bit）是一种8位浮点数数据格式，由Nvidia、Arm、Intel联合推出，旨在加速深度学习的训练和推理过程。 本模型的量化，采用 F8_E4M3 数据类型对权重进行 dynamic 量化，尽可能减少模型量化后所带来的精度损失。 > 注意：本模型需要 compute capability > 8.0（Ampere、Ada Lovelace、Hopper 架构）的 Nvidia GPU 来支持 FP8 **混合精度**计算。 ## 部署推理 #### 推荐使用 vLLM Openai api 兼容模式 ```bash >>> vllm serve "/home/gavin/llm/QwQ-32B-Preview-FP8" --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.9 --served-model-name "QwQ-32B-Preview-FP8" ``` ## 附录 [qwen/QwQ-32B-Preview](https://www.modelscope.cn/models/Qwen/QwQ-32B-Preview) 简介 QwQ-32B-Preview 是由 Qwen 团队开发的一个实验性研究模型，专注于提升人工智能推理能力。作为预览版，它展示了有潜力的分析能力，但同时也存在一些重要的局限性： 1. **语言混合与代码切换**：模型可能会意外地混合语言或在不同语言之间切换，影响回答的清晰度。 2. **递归推理循环**：在处理复杂逻辑问题时，模型偶尔会陷入递归推理模式，在相似思路中循环。这种行为虽然反映了模型试图全面分析的努力，但可能导致冗长而不够聚焦的回答。 3. **安全与伦理考量**：尽管模型已具备基础安全管控，但仍需要进一步增强。它可能产生不恰当或存在偏见的回答，且与其他大型语言模型一样，可能受到对抗攻击的影响。我们强烈建议用户在生产环境中谨慎使用，并采取适当的安全防护措施。 4. **性能和基准限制**：该模型在数学和编码方面表现优异，但在其他领域如常识推理和细微语言理解方面仍有改进空间。 #### Specification: **Type**: Causal Language Models **Training Stage**: Pretraining & Post-training **Architecture**: transformers with RoPE, SwiGLU, RMSNorm, and Attention QKV bias **Number of Parameters**: 32.5B **Number of Paramaters (Non-Embedding)**: 31.0B **Number of Layers**: 64 **Number of Attention Heads (GQA)**: 40 for Q and 8 for KV **Context Length**: Full 32,768 tokens #### 模型表现 具体表现如下： 1. GPQA：65.2%，展示了研究生水平的科学推理能力； 2. AIME：50.0%，证明了强大的数学问题解决技能； 3. MATH-500：90.6%，体现了在各类数学主题上的全面理解； 4. LiveCodeBench：50.0%，验证了在实际编程场景中的出色表现。 这些成果充分体现了QwQ在分析和问题解决能力方面的显著进步，尤其是在需要深度推理的技术领域。 #### 样例 `User` : 有个人想买几套餐具，到了店里发现，自己的钱可以买21把叉子和21个勺子，也够买28个小刀，但是，他想三样东西都买，而且要配成一套，并且把钱刚好花完，如果你是这个人，你会怎么买呢？


`QwQ-32B-Preview-FP8` : 这个题目挺有意思的。我得好好想想该怎么解决。首先，题目说这个人可以用他的钱买21把叉子和21个勺子，或者买28个小刀。他想要买这三种餐具，而且要配成一套，也就是每套里要有叉子、勺子和小刀，而且要把钱正好花完。 那我需要找出一种组合，使得购买的叉子、勺子和小刀的数量比例相同，而且总花费等于他所有的钱。 首先，我需要知道单个叉子、勺子和小刀的价格。不过，题目没有直接给出单价，只给了两种购买组合。 让我设一下变量： 设叉子的价格为f，勺子为s，小刀为k。 根据题意： 21f + 21s = 总钱数 或者 28k = 总钱数 因为两种购买方式花费相同，所以： 21f + 21s = 28k 我可以从这里找到一些关系。 也许我可以表示出f和s在 terms of k。 比如，21(f + s) = 28k 那么 f + s = (28k)/21 = 4k/3 好，f + s = 4k/3 现在，他要买x套餐具，每套包括一个叉子、一个勺子和一个小刀。 所以，总的花费是 x(f + s + k) 这个要等于总钱数，也就是28k。 所以： x(f + s + k) = 28k 我把f + s = 4k/3代入： x(4k/3 + k) = 28k 整理一下： x(4k/3 + 3k/3) = 28k x(7k/3) = 28k 两边消去k： x(7/3) = 28 所以x = 28 * 3 / 7 = 12 所以，他可以买12套餐具，每套包含一个叉子、一个勺子和一个小刀。 但让我验证一下。 如果x=12，那么总花费是12(f + s + k) 我们已经知道f + s = 4k/3 所以，12(4k/3 + k) = 12*(7k/3) = 28k 这正是他的总钱数。 另外，如果他买21把叉子和21个勺子，花费是21(f + s) = 21*(4k/3) = 28k，这也符合。 或者买28个小刀，花费是28k。 所以，买12套，每套一个叉子、一个勺子和一个小刀，总共花费28k，正好花完所有钱。 看来这个答案是对的。 Final Answer 12

_______________________________ #### _作者在此 👇🏻 扫一扫_