---
title: dsv4_flash_4layer_ascend_results
canonical_url: "https://www.modelscope.cn/datasets/XinyuanXie/dsv4_flash_4layer_ascend_results"
md_url: "https://www.modelscope.cn/datasets/XinyuanXie/dsv4_flash_4layer_ascend_results.md"
repository: XinyuanXie/dsv4_flash_4layer_ascend_results
last_updated: 2026-09-11
license: other
storage_size: "438 MB"
downloads: 862
stars: 0
---

# dsv4_flash_4layer_ascend_results

> dsv4_flash_4layer_ascend_results - XinyuanXie 在 ModelScope 开源的数据集。DS-V4-Flash-4Layer Ascend 实测结果

XinyuanXie/dsv4_flash_4layer_ascend_results 是 ModelScope 魔搭社区上的数据集，存储大小 438 MB，采用 other 许可。

- **Repository**: XinyuanXie/dsv4_flash_4layer_ascend_results
- **License**: other
- **Storage size**: 438 MB
- **Downloads**: 862
- **Stars**: 0
- **Last updated**: 2026-09-11

Source: https://www.modelscope.cn/datasets/XinyuanXie/dsv4_flash_4layer_ascend_results

---

# DS-V4-Flash-4Layer Ascend 实测结果

真实推理、SFT-LoRA 训练与重载产物，`synthetic=false`。设备为 2 张双芯片 Ascend 卡、4 个逻辑 NPU。

| 项目 | 实测结果 |
| --- | --- |
| Torch 推理 | 2 组 prompt 512 / continuation 128，保存完整词表 logits、logprob 和生成 token |
| vLLM-Ascend TP4 | 相同 2 组输入，保存目标 logprob 和生成 token |
| SFT-LoRA | 20 optimizer steps，320 次样本曝光，1,785,856 个可训练参数 |
| 保存与重载 | 独立进程重载通过，32 个 adapter 张量逐值一致 |
| val NLL | 基座 16.71776107，训练后 14.50745676；相同 500 条验证集 |
| Torch 基座 test NLL | 16.79549309；499 条有效样本，另 1 条截断后无 target |
| vLLM 基座完整 test NLL | 16.79157252；相同 499 条有效样本、438,225 个目标 token |
| 完整 test NLL 差（vLLM 减 Torch） | -0.00392057 |
| Torch/vLLM logprob 差（首轮诊断） | MAE 0.04987713，P99 0.25707560，MaxAbs 0.29671478 |

**跑通已确认；精度尚未验收。** 首轮 logprob 差异来自同一 Ascend 环境的 2 条 val fixture、256 个目标 token。生成完全一致率为 0/2。若采用 0.01 的 logprob 误差阈值，此次结果不满足。跨 A100/H100 指标等待 GPU 实测产物。

完整 test 的逐 token 对照另行汇总：MAE 0.05022421、P99 0.27159859、MaxAbs 2.45746994。NLL 接近不能代替逐 token 精度验收。

## 结果入口

- [整体状态](run_status.json)
- [SFT-LoRA 正式结果](runs/ascend_sft_torch210_eager_20steps/result.json)
- [最终 adapter](runs/ascend_sft_torch210_eager_20steps/adapter_step20)
- [初始 adapter](runs/ascend_sft_torch210_eager_20steps/adapter_initial)
- [首步完整梯度](runs/ascend_sft_torch210_eager_20steps/gradients_step01.safetensors)
- [Torch 基座推理](runs/ascend_torch210_evaluation/base_torch)
- [重载 adapter 推理](runs/ascend_torch210_evaluation/adapter_torch)
- [vLLM-Ascend 推理](runs/ascend_vllm_tp4_acl)
- [vLLM 完整 test 结果](runs/ascend_vllm_test500_fullvocab/test_summary.json)
- [完整 test 的 Torch/vLLM 对照](runs/ascend_vllm_test500_fullvocab/torch_comparison.json)
- [Torch/vLLM 数值对照](runs/ascend_torch_vs_vllm_verified/summary.json)
- [冻结输入及 batch plan](inputs)
- [完整实验说明](EXPERIMENT.md) / [实际启动命令](launch_commands.json)
- [逐文件 SHA256 清单](ARTIFACT_MANIFEST.json)

## 复现口径

基座：[XinyuanXie/DeepSeek-V4-Flash-4Layer](https://www.modelscope.cn/models/XinyuanXie/DeepSeek-V4-Flash-4Layer)，revision `5d28b07e79453886702d762f91896f54a4f83a5a`。完整基座分片从原模型仓库获取，本仓库保存模型元数据、权重清单和 LoRA adapter。

数据：[UltraChat train 5k / val 500 / test 500](https://www.modelscope.cn/datasets/XinyuanXie/ultrachat_200k_sft_5k)。`inputs/` 保存本轮实际使用的 token、mask、顺序和 hash，GPU 端应直接使用相同文件与初始 adapter。

LoRA：r=8、alpha=16、dropout=0；每层仅训练 `q_a_proj/q_b_proj/kv_proj/o_b_proj`，对应原始权重名 `wq_a/wq_b/wkv/wo_b`。FSDP FULL_SHARD，BF16 前向与梯度归约，FP32 adapter master/AdamW 状态。

脚本与日志保留执行时的绝对路径，具体环境及已有依赖补丁见 `EXPERIMENT.md`。`protocol_tools/compare.py` 是原推理协议校验器副本。迁移机器时需配置路径并安装相应环境；本轮源码和原始结果保持不变。

vLLM 的固定续写评分路径为 `engine_prompt_scoring`，Torch 为 `full_forward`。完整 test 补测为 `engine_prompt_and_next_token_scoring`：上下文上限仍为 2048，输入去掉最后一个 token，以 prompt logprob 和最后真实目标的完整词表 next-token 概率补齐全部计分位置。辅助采样 token 不参与 NLL。499 条请求的完整 next-token 分布均通过归一化检查，实际输入和逐目标 logprob 均保存。两次独立请求的提取预检有微小差异，见实验说明；正式结果统一使用完整词表提取。

vLLM 未导出完整 logits；fixture 与完整 test 指标分别记录。四层截断模型结果不代表完整模型能力，本轮覆盖文本推理和 SFT-LoRA。

模型、adapter、数据及第三方代码沿用各自来源约束；本结果库不另行授予基座或数据许可。