---
title: thor05-vllm032-sm101-deploy
canonical_url: "https://www.modelscope.cn/models/navyyang/thor05-vllm032-sm101-deploy"
md_url: "https://www.modelscope.cn/models/navyyang/thor05-vllm032-sm101-deploy.md"
repository: navyyang/thor05-vllm032-sm101-deploy
chinese_name: "vLLM 0.32 SM101 部署二进制"
last_updated: 2026-10-21
license: other
downloads: 0
stars: 0
---

# thor05-vllm032-sm101-deploy

> thor05-vllm032-sm101-deploy - navyyang 在 ModelScope 开源的模型。vLLM 0.32.0 aarch64 wheel + FA2 SM101 extension + qualified code/docs for NVIDIA DRIVE Thor (Tegra264, sm_101). Apache-2.0 / BSD-3-Clause.

navyyang/thor05-vllm032-sm101-deploy 是 ModelScope 魔搭社区上的机器学习模型，采用 other 许可。

- **Repository**: navyyang/thor05-vllm032-sm101-deploy
- **License**: other
- **Downloads**: 0
- **Stars**: 0
- **Last updated**: 2026-10-21

Source: https://www.modelscope.cn/models/navyyang/thor05-vllm032-sm101-deploy

---

# vLLM0.32 / DRIVE Thor SM101 软件二进制

待发布资料，仓库owner/name、revision、对应GitHub发布commit由发布负责人填入。不是模型权重仓库。vLLM代码Apache-2.0，FA2为BSD-3-Clause，许可证和归属分别见licenses；未将所有组件合并声明成单一许可证。

目标：Linux AArch64、Thor SM101、Python3.12、匹配PyTorch2.13及CUDA12.8/DriveOS依赖。基础wheel文件名+cu120为遗留元数据，不等于CUDA12.0已测试。

## 文件与安装顺序

1. binaries/vllm-0.32.0+cu120-cp312-cp312-linux_aarch64.whl：交叉编译基础wheel（6个ELF均AArch64），不是完整最终测试环境。
2. binaries/vllm-tested-site-overlay.tar.gz：以site-packages为根的5个实测Python文件，配套源码patch与来源见GitHub；解包前备份并核对目标版本。
3. binaries/_vllm_fa2_C.abi3.so：安装至site-packages/vllm/vllm_flash_attn/；SHA见manifest。
4. thor05-vllm032-qualified-code-docs.tar.gz：运行脚本、独立dense混合模型兼容和批量注意力插件、测试和维护文档。qualification-20261021相对固定运行根目录，模型与依赖另行准备。

先用SHA256SUMS核对所有文件。wheel安装依赖、overlay与FA2应使用匹配环境；不能仅pip install wheel就宣称复现全部结果。私有完整runtime固定前缀/zeekr_data/ai_workspace/vllm032-clean，仅内部模型库保存。公共wheel+overlay路径尚未独立重装端到端验收；实测证据对应保存的私有runtime+同SHA覆盖文件。

## 实测与限制

同混合NVFP4/FP8权重，MTP4、BF16 KV、ctx262144、chunk2048、默认并发2可配置最大4、temperature0.3/medium。8K输入512输出：prefill1441.73、decode28.04 tok/s；100K：prefill735.75、decode15.03 tok/s。2×100K322.03秒、4×64K338.70秒。短题16/150子集16/16、100K5字段5/5；不宣称完整150题或所有任务质量。完整方法/负结果见代码文档包及GitHub测量记录。

所有板端长期文件必须在/zeekr_data、/zeekr_map、/zeekr_hdmap；/home、/tmp断电重启后不可靠。不自动重启、改驱动或启动其他板GPU服务。生产端口与部署恢复机制由维护人员保留，实际端口必须重新过质量验收。