--- title: Fairy-plus-minus-i-700M canonical_url: "https://www.modelscope.cn/models/PKUDSLAB1806/Fairy-plus-minus-i-700M" md_url: "https://www.modelscope.cn/models/PKUDSLAB1806/Fairy-plus-minus-i-700M.md" repository: PKUDSLAB1806/Fairy-plus-minus-i-700M chinese_name: Fairy-plus-minus-i-700M last_updated: 2025-08-24 license: apache-2.0 pipeline_tag: text-generation tasks: - text-generation model_type: - complexnet architectures: - ComplexNetLM parameters: 1.6B tensor_type: - BF16 library_name: - safetensors downloads: 255 stars: 1 --- # Fairy-plus-minus-i-700M > Fairy-plus-minus-i-700M - PKUDSLAB1806 在 ModelScope 开源的模型。我们的模型名为Fairy±i，同时也叫iFairy 摘要 Fairy±i（iFairy） 是首个将参数限制在 {±1, ±i} 的 2-bit 复数大语言模型。通过复数结构提升表达能力并设计新型量化方案，iFairy 在语言建模与推理任务上超越现有 2-bit 方法，接近全精度表现。 评估结果 PKUDSLAB1806/Fairy-plus-minus-i-700M 是 ModelScope 魔搭社区上的 1.6B 参数text-generation模型，采用 apache-2.0 许可。 - **Repository**: PKUDSLAB1806/Fairy-plus-minus-i-700M - **License**: apache-2.0 - **Tasks**: text-generation - **Parameters**: 1.6B - **Downloads**: 255 - **Stars**: 1 - **Last updated**: 2025-08-24 Source: https://www.modelscope.cn/models/PKUDSLAB1806/Fairy-plus-minus-i-700M --- 我们的模型名为Fairy±i，同时也叫iFairy # 摘要 Fairy±i（iFairy） 是首个将参数限制在 {±1, ±i} 的 2-bit 复数大语言模型。通过复数结构提升表达能力并设计新型量化方案，iFairy 在语言建模与推理任务上超越现有 2-bit 方法，接近全精度表现。 # 评估结果 **表：WikiText2 与 C4 验证集困惑度（越低越好）** | 模型规模 | 模型 | WikiText2 | C4 | 平均值 | | :--- | :---------------- | :-------- | :---- | :---- | | 700M | FP16 LLaMA | - | - | 12.33 | | | BitNet b1.58* | - | - | 12.87 | | | BitNet b1.58† | 10.81 | 12.21 | 11.51 | | | Fairy ± i° | 9.41 | 10.75 | 10.08 | | | Fairy ± i | **10.46** | **11.81** | **11.14** | | 1.3B | FP16 LLaMA | - | - | 11.25 | | | BitNet b1.58* | - | - | 11.29 | | | Fairy ± i | **9.35** | **10.94** | **10.14** | \* 表示BitNet论文中的结果 † 表示复现得到的结果 ° 表示全精度 Fairy±i **表：常识推理任务零准确率（%）** | 模型规模 | 模型 | ARCe | ARCc | HS | BQ | OQ | PQ | WGe | 平均值 | | :------- | :------------ | :---- | :---- | :---- | :---- | :--- | :---- | :---- | :---- | | 700M | FP16 LLaMA | 54.70 | 23.00 | 37.00 | 60.00 | 20.20| 68.90 | 54.80 | 45.51 | | | BitNet b1.58 * | 51.80 | 21.40 | 35.10 | 58.20 | 20.00| 68.10 | 55.20 | 44.26 | | | BitNet b1.58 † | 51.77 | 22.44 | 35.30 | 58.50 | 20.80| 65.94 | 54.85 | 44.23 | | | Fairy±i° | 55.68 | 24.06 | 37.79 | 60.46 | 20.60| 70.18 | 54.46 | 46.18 | | | **Fairy±i** | **53.45** | **23.04** | **36.04** | **57.31** | **21.00**| **68.01** | **54.06** | **44.70** | | 1.3B | FP16 LLaMA | 56.90 | 23.50 | 38.50 | 59.10 | 21.60| 70.00 | 53.90 | 46.21 | | | BitNet b1.58 * | 54.90 | 24.20 | 37.70 | 56.70 | 19.60| 68.80 | 55.80 | 45.39 | | | **Fairy±i** | **56.65** | **24.66** | **38.69** | **59.60** | **22.20**| **69.80** | **54.06** | **46.52** | \* 表示BitNet论文中的结果 † 表示复现得到的结果 ° 表示全精度 Fairy±i # 引言 大语言模型（Large Language Models, LLMs）的出现彻底改变了人工智能领域， 在各种自然语言任务中取得了令人瞩目的表现。然而，这种成功依赖于庞大的模型规模，模型的 参数量往往能够达到数十亿甚至数万亿。巨大的内存占用和高昂的计算成本带来了严峻的部署挑战。为了能 让更多的人使用这些强大的模型，模型压缩已经成为了重要的研究方向，其中量化（quantization）就是主流技术之一 。量化方法主要分为训练后量化（Post-Training Quantization, PTQ）和 量化感知训练（Quantization-Aware Training, QAT）两类。PTQ 优点在于简单易用，然而在 极低比特量化的场景下，模型无法适应量化的特征表示，其性能往往会急剧下降。相比之下 ，QAT 直接将量化集成到训练过程中，使模型能够学习到稳健的低比特表示，在极低比特的量化下仍然能够保持性能。 这一优势使得近期针对大模型的QAT研究不断涌现。 在大模型压缩的探究中，极低比特量化（尤其是 2 比特量化）是当前的研究热 点之一。已有方法（例如 **BitNet** ）表明，使用仅有1.58 比特的三值量化方案，仍可 以保留较为可靠的精度。然而，任何量化模型的精度都受到如下公式的制约： $$\textbf{Accuracy}_\text{quant}=\textbf{Accuracy}_\text{full-precision}-\textbf{Error}_\text{quant}$$ 现有量化研究几乎都集中于最小化与全精度模型（如 LLaMA）的量化误差，但量化误差不可能为零，因此 全精度模型就成为量化模型精度的**上限**。到目前为止，还没有方法尝试突破这一上限。 在本文中，我们提出了一种全新的思路。我们在降低量化误差 的同时，首次尝试提升量化精度的上限（即全精度模型的精度），同时确保最终的模型可以被高效地量化为2比特。我们的核心想法是： 如果全精度模型本身具有更好的表达能力、精度更高 ，那么最终量化得到的2比特模型也能获得更高的精度。基于这一想法，我们首次将复数神经网络引入大模型。复数 提供了更丰富的表示空间和相位信息，在不增加参数量的情况下提升了线性变换的表达能力。此外我们将 Transformer 架构系 统性地扩展到复数域，由此构建出表达能力更强的全精度复数大模型。 在复数化的基础上，我们进一步设计了一种适用于复数权重的2比特量化方案。具体而言， 我们将每个复数参数量化为复平面上的**四次单位根** { ±1, ±i }。与实数量化不同，这个方案充分利用了 2 比特的表示能力，同时 保持对称性与稀疏性，解决了实数方案中的性能权衡问题。最终得到的模型（命名为 *Fairy±i*）在 设计上天然具备存储高效的优点与相位感知的能力。我们提出的量化函数能够将全精度的复数权重投影到 { ±1, ±i } 集合，同时 保留模长与相位信息。我们将其实现到复数 Transformer 框架中，并在相同的存储和计算条件的约束下和BitNet b1.58进 行评估。实验结果表明，该方法显著改善了困惑度（PPL）和下游任务精度，超越了现有 2 比特量化模型的基准， 并接近全精度 FP16 模型的性能。 **我们的主要贡献如下：** - 提出了一种低比特量化的新思路：通过提升全精度模型精度来提高量化模型精度上限。 - 设计了复数值 LLM 架构，在不增加参数存储的前提下利用复数域的表达优势。 - 提出了一种 2 比特量化方案，将复数权重量化到四次单位根 { ±1, ±i }，充分利用比特容量并保持对称性与稀疏性。 - 实验结果表明，我们的量化模型在 PPL 和下游理解任务上均优于现有 2 比特量化方法的上限。 # 链接 ## Github - [Fairy±i on github](https://github.com/PKULab1806/Fairy-plus-minus-i) ## HuggingFace - [Fairy±i-700M on HuggingFace](https://huggingface.co/PKU-DS-LAB/Fairy-plus-minus-i-700M) - [Fairy±i-1.3B on HuggingFace](https://huggingface.co/PKU-DS-LAB/Fairy-plus-minus-i-1.3B) ## Paper - [iFairy: the First 2-bit Complex LLM with All Parameters in {±1, ±i}](https://arxiv.org/abs/2508.05571)