--- title: Xing4.0-29B-A4B-GGUF canonical_url: "https://www.modelscope.cn/models/XingChen-AGI/Xing4.0-29B-A4B-GGUF" md_url: "https://www.modelscope.cn/models/XingChen-AGI/Xing4.0-29B-A4B-GGUF.md" repository: XingChen-AGI/Xing4.0-29B-A4B-GGUF last_updated: 2026-09-20 pipeline_tag: text-generation tasks: - text-generation base_model_relation: quantized library_name: - gguf downloads: 403 stars: 177 tags: - gguf --- # Xing4.0-29B-A4B-GGUF > Xing4.0-29B-A4B-GGUF - XingChen-AGI 在 ModelScope 开源的模型。在本地运行Xing4.0-29B-A4B - 阅读我们的指南 权重采用 IQ4NL 混合精度量化，量化后GGUF格式文件约 18GB，可在单张消费级 GPU 上运行 - **Repository**: XingChen-AGI/Xing4.0-29B-A4B-GGUF - **Tasks**: text-generation - **Tags**: gguf - **Downloads**: 403 - **Stars**: 177 - **Last updated**: 2026-09-20 Source: https://www.modelscope.cn/models/XingChen-AGI/Xing4.0-29B-A4B-GGUF --- # 在本地运行Xing4.0-29B-A4B - [阅读我们的指南](https://github.com/XingChen-AGI/Xing4.0-29B-A4B/blob/main/tutorial/llama.cpp/README_zh.md) 权重采用 IQ4_NL 混合精度量化，量化后GGUF格式文件约 18GB，可在单张消费级 GPU 上运行 # Xing4.0-29B-A4B > [!Note] > 本仓库提供 Hugging Face Transformers 格式的 Xing4.0-29B-A4B 模型权重及配置文件，兼容 Transformers、vLLM、SGLang、KTransformers 等主流推理框架。 **Xing4.0-29B-A4B** 是中电信人工智能科技有限公司研发的星辰语义大模型系列（原 [TeleChat](https://github.com/Tele-AI/TeleChat3)）新一代模型。模型总参数量 29B，激活参数仅 4B，原生支持 256K 上下文，可扩展至 512K，是国内首个基于国产算力与国产框架完成训练、面向复杂工程任务深度优化的百亿参数大模型。 更多信息请参阅我们的 [GitHub 仓库](https://github.com/XingChen-AGI/Xing4.0-29B-A4B)。 ## 亮点 - **面向 Agent 的架构设计**：采用 mHC + MLA + MTP 架构，支持多步骤规划、工具调用与复杂推理链路执行，保障长上下文下任务连贯与执行稳定。 - **国产算力深度协同**：面向昇腾 910C 集群，基于 MindSpore/MindFormers 完成 mHC 等新特性适配、跨框架精度对齐及融合算子开发，实现国产算力平台上的稳定高效训练。 - **训练效率大幅提升**：通过细粒度 MoE 通信优化、选择性重计算、DVM 图算自动融合、Ascend C mHC 融合算子等多层次协同优化，整体训练吞吐较开箱性能**提升约 96%**。 - **开源生态全面兼容**：训练微调支持 LLaMA-Factory、MindFormers；推理部署支持 SGLang、vLLM、KTransformers；针对 OpenCode、Claude Code、OpenClaw、Hermes 等 Agent 框架进行定向适配与格式对齐，可直接接入现有工作流。算力方面，基于智源 FlagOS 完成多款 AI 芯片平台适配，支持跨架构一键部署。 - **低资源场景易于适配**：模型具备良好的下游任务微调能力，可面向私域数据进行轻量化定制，适用于意图识别、表格理解、合同审计、知识问答等垂直场景，以较低成本实现领域能力的快速构建与落地。 ## 模型概览 | | Xing4.0-29B-A4B | |------------------|-----------------| | 参数量 | 29B（4B 激活） | | 层数 | 40 | | 隐藏维度 | 3584 | | 稠密 FFN 中间维度 | 9216 | | 专家中间维度 | 1024 | | 注意力机制 | MLA | | 路由专家数 | 64 | | 每 token 激活专家数 | 4 | | 共享专家数 | 1 | | 上下文长度 | 256K（可扩展至 512K） | ## 评测结果 | 评测基准 | Xing4.0-29B-A4B | Gemma4-26B-A4B | Qwen3.6-35B-A3B | |------------------------|:---:|:---:|:---:| | IFBench | 69.67 | 72.67 | 65.50 | | AIME2026 | 90.00 | 88.30 | 92.70 | | AA.LCR | 61.00 | 66.00 | 62.00 | | Tau3-Bench | 64.63 | 58.90 | 67.20 | | Claw-Eval | **76.55** | 71.49 | 74.54 | | SWE-bench Verified | **75.00** | 53.00 | 76.00 | | Terminal-Bench 2.1 | **57.50** | 30.00 | 51.50 | | SWE-bench Multilingual | 66.00 | 51.00 | 67.20 | | DeepresearchBII | **60.80** | 39.30 | 59.70 | ## 快速开始 ### 推理 Xing4.0-29B-A4B 可通过 OpenAI 兼容 API 进行访问。 ```python from openai import OpenAI client = OpenAI( base_url="your-base-url", api_key="your-api-key", ) completion = client.chat.completions.create( model="Xing4.0-29B-A4B", messages=[{"role": "user", "content": "简要介绍量子计算的基本原理。"}], temperature=1.0, top_p=0.95, extra_body={ "repetition_penalty": 1.05, "skip_special_tokens": False, "spaces_between_special_tokens": False, "chat_template_kwargs": { "enable_thinking": True, # 设置为 False 可关闭思考过程 }, }, ) print(completion.choices[0].message.content) ``` ### 部署 Xing4.0-29B-A4B 支持通过 [vLLM](https://github.com/vllm-project/vllm)、[SGLang](https://github.com/sgl-project/sglang) 和 [KTransformers](https://github.com/kvcache-ai/ktransformers) 进行部署。详细启动说明请参阅我们的 [GitHub 仓库](https://github.com/XingChen-AGI/Xing4.0-29B-A4B)。 ### 推荐参数 | 场景 | temperature | top_p | repetition_penalty | |------|:-----------:|:-----:|:------------------:| | 复杂推理 / 通用任务 | 1.0 | 0.95 | 1.05 | | 编程 / Agent 任务 | 0.8 | 0.95 | 1.05 | ## 评测说明 - **SWE-bench Verified**：使用 `SWE-agent` 框架进行评测，参数设置为 `temperature=1.0, top_p=0.95, repetition_penalty=1.05`，上下文窗口为 `210`K。 - **Terminal-Bench 2.1**：在 `terminus-2` 中评测，参数设置为 `temperature=0.8, top_p=0.95, repetition_penalty=1.05, max_tokens=64K`，超时时间为 `24` 小时。结果取 `3` 次运行的平均分。 - **SWE-bench Multilingual**：使用 `SWE-agent` 框架进行评测，参数设置为 `temperature=1.0, top_p=0.95, repetition_penalty=1.05`，上下文窗口为 `210`K。 - **Claw-Eval**：使用[官方评测框架](https://github.com/claw-eval/claw-eval)进行评测，参数设置为 `temperature=0.8, top_p=0.95, repetition_penalty=1.05, max_tokens=16384`，上下文窗口为 `256`K。结果取 `3` 次运行的平均分。 - **Tau3-Bench**：使用[官方评测框架](https://github.com/sierra-research/tau-bench)进行评测，参数设置为 `temperature=0.8, top_p=0.95, repetition_penalty=1.05, max_tokens=16384`。结果取 `4` 次运行的 `average pass^1`。 - **DeepresearchBII**：使用 `OpenCode` 框架进行评测，参数设置为 `temperature=0.8, top_p=0.95, repetition_penalty=1.05, max_tokens=32768`，上下文窗口为 `256`K，启用 Exa MCP server。 - **AIME2026**：参数设置为 `temperature=1.0, top_p=0.95, repetition_penalty=1.05, max_tokens=131072`。结果取 5 次独立运行的平均分。 - **IFBench**：参数设置为 `temperature=0.8, top_p=0.95, repetition_penalty=1.05, max_tokens=81920`。 - **AA.LCR**：参数设置为 `temperature=1.0, top_p=0.95, repetition_penalty=1.05, max_tokens=65536`。结果取 `3` 次运行的平均分。 ## 引用 ```bibtex @misc{liu2025trainingreporttelechat3moe, title={Training Report of TeleChat3-MoE}, author={Xinzhang Liu and Chao Wang and Zhihao Yang and Zhuo Jiang and Xuncheng Zhao and Haoran Wang and Lei Li and Dongdong He and Luobin Liu and Kaizhe Yuan and Han Gao and Zihan Wang and Yitong Yao and Sishi Xiong and Wenmin Deng and Haowei He and Kaidong Yu and Yu Zhao and Ruiyu Fang and Yuhao Jiang and Yingyan Li and Xiaohui Hu and Xi Yu and Jingqi Li and Yanwei Liu and Qingli Li and Xinyu Shi and Junhao Niu and Chengnuo Huang and Yao Xiao and Ruiwen Wang and Fengkai Li and Luwen Pu and Kaipeng Jia and Fubei Yao and Yuyao Huang and Xuewei He and Zhuoru Jiang and Ruiting Song and Rui Xue and Qiyi Xie and Jie Zhang and Zilu Huang and Zhaoxi Zhang and Zhilong Lu and Yanhan Zhang and Yin Zhang and Yanlei Xue and Zhu Yuan and Teng Su and Xin Jiang and Shuangyong Song and Yongxiang Li and Xuelong Li}, year={2025}, eprint={2512.24157}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2512.24157}, } @misc{wang2025technicalreporttelechat2telechat25, title={Technical Report of TeleChat2, TeleChat2.5 and T1}, author={Zihan Wang and Xinzhang Liu and Yitong Yao and Chao Wang and Yu Zhao and Zhihao Yang and Wenmin Deng and Kaipeng Jia and Jiaxin Peng and Yuyao Huang and Sishi Xiong and Zhuo Jiang and Kaidong Yu and Xiaohui Hu and Fubei Yao and Ruiyu Fang and Zhuoru Jiang and Ruiting Song and Qiyi Xie and Rui Xue and Xuewei He and Yanlei Xue and Zhu Yuan and Zhaoxi Zhang and Zilu Huang and Shiquan Wang and Xin Wang and Hanming Wu and Mingyuan Wang and Xufeng Zhan and Yuhan Sun and Zhaohu Xing and Yuhao Jiang and Bingkai Yang and Shuangyong Song and Yongxiang Li and Zhongjiang He and Xuelong Li}, year={2025}, eprint={2507.18013}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2507.18013}, } ```