---
title: Novalyte-v1-27B
canonical_url: "https://www.modelscope.cn/models/Novalyte/Novalyte-v1-27B"
md_url: "https://www.modelscope.cn/models/Novalyte/Novalyte-v1-27B.md"
repository: Novalyte/Novalyte-v1-27B
chinese_name: "霁序-v1-27B"
last_updated: 2026-11-17
license: apache-2.0
pipeline_tag: image-text-to-text
tasks:
  - image-text-to-text
model_type:
  - qwen3_5
architectures:
  - Qwen3_5ForConditionalGeneration
base_model:
  - Qwen/Qwen3.8-27B
base_model_relation: finetune
parameters: 27.4B
tensor_type:
  - BF16
library_name:
  - pytorch
  - transformer
  - safetensors
language:
  - zh
  - en
downloads: 24
stars: 0
tags:
  - qwen3
  - chat
  - novalyte
  - safetensors
---

# Novalyte-v1-27B

> Novalyte-v1-27B - Novalyte 在 ModelScope 开源的模型。Novalyte-v1-27B（霁序 / Jìxù）是 Novalyte 基于 Qwen3.8-27B 底座、使用 LLaMA-Factory 以 QLoRA（4bit NF4，LoRA r=32 / alpha=64）微调得到的对话模型。微调目标为轻量身份与说话风格对齐：稳定自称「霁序」、中文优先、直接给结论；通用对话与视觉多模态能力均继承自底座。模型以 Apache-2.0 协议发布。

Novalyte/Novalyte-v1-27B 是 ModelScope 魔搭社区上的 27.4B 参数image-text-to-text模型，采用 apache-2.0 许可，基于 Qwen/Qwen3.8-27B 构建。

- **Repository**: Novalyte/Novalyte-v1-27B
- **License**: apache-2.0
- **Tasks**: image-text-to-text
- **Parameters**: 27.4B
- **Base model**: Qwen/Qwen3.8-27B
- **Tags**: qwen3, chat, novalyte, safetensors
- **Downloads**: 24
- **Stars**: 0
- **Last updated**: 2026-11-17

Source: https://www.modelscope.cn/models/Novalyte/Novalyte-v1-27B

---

# Novalyte-v1-27B（霁序 / Jìxù）

基于 **Qwen3.8-27B** 微调得到的对话模型，AI 名字：**霁序**。

> 本仓库是**已合并的完整 27B 权重**（Safetensors，12 分片，BF16），加载**不需要** PEFT 或 LoRA adapter。

## 模型概览

| 项目 | 内容 |
|---|---|
| 权重格式 | **Safetensors**（12 shard + `model.safetensors.index.json`） |
| 参数总量 | **27,356,728,560**（≈ 27.36 B） |
| 张量数量 | 1,184（全部 BF16） |
| 权重数据 | 54,713,457,120 B ≈ 50.96 GiB |
| 架构 | `Qwen3_5ForConditionalGeneration`（qwen3_5，原生多模态底座） |
| 底座 | Qwen/Qwen3.8-27B（Apache-2.0） |
| 微调 | QLoRA：4bit NF4 双量化，r=32 / alpha=64 / target=all linear |
| 训练框架 | LLaMA-Factory（`qwen3_nothink` 模板，ChatML） |
| 语言 | 中文优先，继承底座多语言能力 |
| 协议 | Apache-2.0 |

详细的张量级元信息见 [SAFETENSORS_INFO.md](./SAFETENSORS_INFO.md)。

## 用法

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

model_id = "Novalyte/Novalyte-v1-27B"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)

# 显存 >= 60GB：直接 BF16
model = AutoModelForCausalLM.from_pretrained(
    model_id, trust_remote_code=True, dtype=torch.bfloat16, device_map="auto")

# 显存 24GB：4bit
# bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4",
#                          bnb_4bit_compute_dtype=torch.bfloat16,
#                          bnb_4bit_use_double_quant=True)
# model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True,
#         quantization_config=bnb, device_map={"": 0})

messages = [{"role": "user", "content": "你是谁？"}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
ids = tok(text, return_tensors="pt").to(model.device)
out = model.generate(**ids, max_new_tokens=256, do_sample=False)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))
```

## 评测

| 基准 | 协议 | 题数 | 得分 |
|---|---|---:|---:|
| 自建能力集（身份/数学/常识/代码/推理/安全/风格） | 0-shot | 30 | **100.0%** |
| C-Eval | 5-shot, val | 214 | **78.0%** |
| MMLU | 5-shot, val | 99 | **84.8%** |
| CMMLU | 5-shot, test | 120 | **85.0%** |

统一条件：单卡 A10 24G、4bit NF4、贪婪解码。详见 [BENCHMARK.md](./BENCHMARK.md)。

## 训练信息

| 项目 | 值 |
|---|---|
| 数据 | 31 条身份/风格 SFT（alpaca 格式） |
| 模板 | ChatML（`<|im_start|>user … <|im_start|>assistant`，无 system） |
| 量化 | 4bit NF4 双量化（训练时） |
| LoRA | r=32, alpha=64, dropout=0.05, target=all |
| 轮数 | 15 epoch（60 优化步，等效 batch 8） |
| 序列长度 | 1536 |
| 学习率 | 1.5e-4，cosine |
| 硬件 | 单卡 NVIDIA A10 22.5GiB |
| 训练 loss | 末段 ≈ 0.0009 |

## 下载校验

```bash
modelscope download --model Novalyte/Novalyte-v1-27B --local_dir ./Novalyte-v1-27B
python -c "import json;d=json.load(open('Novalyte-v1-27B/model.safetensors.index.json'));print(d['metadata']['total_size'])"
# 期望 54713457120
```
