--- title: thor-cuda132-shared canonical_url: "https://www.modelscope.cn/models/navyyang/thor-cuda132-shared" md_url: "https://www.modelscope.cn/models/navyyang/thor-cuda132-shared.md" repository: navyyang/thor-cuda132-shared chinese_name: "Thor CUDA 13.2 共用底座" last_updated: 2026-10-22 license: other language: - en - zh downloads: 0 stars: 0 tags: - llama.cpp - NVIDIA-Drive-Thor - sm_110a - CUDA-13.2 - forward-compatibility - speculative-decoding - dflash - automotive --- # thor-cuda132-shared > thor-cuda132-shared - navyyang 在 ModelScope 开源的模型。NVIDIA DRIVE Thor CUDA 13.2 forward-compat 驱动 + runtime + llama.cpp sm_110a 二进制（LLM/H3/Image 三线共用底座，方法致谢 souyou233） navyyang/thor-cuda132-shared 是 ModelScope 魔搭社区上的机器学习模型，采用 other 许可。 - **Repository**: navyyang/thor-cuda132-shared - **License**: other - **Tags**: llama.cpp, NVIDIA-Drive-Thor, sm_110a, CUDA-13.2, forward-compatibility, speculative-decoding, dflash, automotive - **Downloads**: 0 - **Stars**: 0 - **Last updated**: 2026-10-22 Source: https://www.modelscope.cn/models/navyyang/thor-cuda132-shared --- # Thor CUDA 13.2 共用底座（compat 驱动 + runtime + llama.cpp 二进制） > NVIDIA DRIVE Thor（p3960 / Tegra264 / DriveOS 7.0.3）上 **CUDA 13.2 进程内栈**的共用底座： > forward-compat 驱动库 + CUDA 13.2 runtime + 原生 `sm_110a` 编译的 llama.cpp 二进制 + > 交叉编译工具链脚本。LLM（llama.cpp）、H3 视频、Qwen-Image 三条部署线共用本仓的 > compat + runtime 底座，各自只带自己的模型与启动脚本。 ## 方法来源（致谢） 本仓的 CUDA 13 forward-compat 方法来自网友 **souyou233 (EnkiMa)** 的公开工作， 在此致谢并给出链接： - [souyou233 (EnkiMa)](https://github.com/souyou233) - [Minimax-H3-on-thor-u](https://github.com/souyou233/Minimax-H3-on-thor-u) — H3 视频生成 + CUDA 13 前向兼容方法完整复盘 - [Qwen-Image-on-thor-u](https://github.com/souyou233/Qwen-Image-on-thor-u) — Qwen-Image 2.1 图像生成（共用同一 cu130 运行时） 核心思路：把 NVIDIA 官方 CUDA 13 forward-compat `libcuda.so.1` + JIT 伴侣库放在 `LD_LIBRARY_PATH` 最前面（系统 `libnvrm_*` 保留），让 CUDA 13 工具链/运行时在 CUDA 12 时代的内核驱动上跑起来。souyou233 用它解开了 `comfy_kitchen` 的 `cuda_version < (13,)` 版本门（H3/image 线，原生 int8/fp8）；本仓把它用于 llama.cpp 线（CUDA 13.2 原生 `sm_110a` 编译 + 13.2 runtime + 13.2 compat 驱动）。 ## 文件 | 路径 | 说明 | 大小 | |---|---|---| | `compat/compat-orin-13.2.tar.gz` | CUDA 13.2 forward-compat 驱动库（`libcuda.so.1.1` + 12 个 JIT 伴侣，解压得 `compat_orin/`） | 134 MB | | `runtime/cu132-runtime.tar` | CUDA 13.2.86 runtime + toolkit（`libcudart.so.13`、`libcublas.so.13`、`libcublasLt.so.13`、`libnvrtc.so.13`、include、nvcc 工具链，2298 件） | 1.17 GB | | `bin/llama-server-cu132-sm110a` | llama.cpp 服务端，CUDA 13.2 原生 `sm_110a` 编译（144 个 sm_110a cubin），含 DFlash2 投机解码 + mmproj 多模态 | 81 MB | | `src/llama-cpp-thor-t4ares-workingtree-20260928.tar.gz` | llama.cpp 完整工作树快照（基线 `72797e89` + 生产 T4/DFlash 补丁），源码复现用 | 38 MB | | `scripts/` | 交叉编译脚本与工具链（`build-thor01-cuda132.sh`、`toolchain-thor-cuda132*.cmake`、`nvcc-xc132*.sh`、`minimal_cuda.cu` 探针） | — | | `run-8080-cu132.sh` / `run-8082-cu132.sh` | 8080（27B+DFlash2）/ 8082（VL-8B）启动脚本（端口幂等，已监听则 SKIP） | — | | `systemd/` | 两个服务的 unit 母本（`Type=oneshot` + `RemainAfterExit=yes`，`active (exited)` 为正常态） | — | | `rollback-to-cu128.sh` | 一键回滚到 CUDA 12.8 生产（停 13.2 unit → 恢复 12.8 unit → 写回持久母本） | — | | `docs/` | 板端实测文档（三框架总表、掉电持久化核对、结论） | — | | `evidence/` | 验收证据（请求矩阵、进程/maps/内存、健康检查） | — | | `SHA256SUMS.txt` | 全部文件校验和 | — | ## 快速开始（板端部署） ```bash # 0) 下载本仓（modelscope CLI 或网页） # 1) 校验 sha256sum -c SHA256SUMS.txt # 2) 解压底座到持久层（示例 /zeekr_data/ai_workspace/thor01-cu132-20261022/） cd /zeekr_data/ai_workspace/thor01-cu132-20261022 tar xzf compat/compat-orin-13.2.tar.gz -C compat/ tar xf runtime/cu132-runtime.tar -C runtime/ # 3) 修 runtime/lib/libcuda.so 软链（指向本目录 compat，勿指向宿主机路径） ln -sf ../../compat/compat_orin/libcuda.so.1.1 runtime/lib/libcuda.so # 4) 模型自备（见下方模型清单），然后启动 bash run-8080-cu132.sh # 27B + DFlash2 + mmproj，端口 8080 bash run-8082-cu132.sh # Qwen3-VL-8B，端口 8082（等 8080 就绪后再起） # 5) 验证 python3 -c "import urllib.request;print(urllib.request.urlopen('http://127.0.0.1:8080/health',timeout=5).read().decode())" ``` 生产环境建议用 `systemd/` 里的 unit 母本（拷到 `/etc/systemd/system/` + `daemon-reload` + `enable` + `start`），并保证 unit 母本放在持久层、 掉电恢复脚本从持久母本重装（本仓 `docs/PERSISTENCE-20261022.md` 有完整核对）。 ## 模型清单（不随本仓分发） **8080 三件已在 ModelScope**（[navyyang/qwen38-27b-gguf-t4ares-thor01](https://modelscope.cn/models/navyyang/qwen38-27b-gguf-t4ares-thor01)，Apache 2.0，仓内 `SHA256SUMS.txt` 可校验）： | 件 | 大小 | ModelScope | HuggingFace（上游） | |---|---|---|---| | RadixArk-F8attn-v2.gguf（NVFP4 FFN + F8 注意力） | ~21 GB | [qwen38-27b-gguf-t4ares-thor01](https://modelscope.cn/models/navyyang/qwen38-27b-gguf-t4ares-thor01) | 内部量化件，上游 [Qwen/Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B)（Apache 2.0） | | Qwen3.8-27B-DFlash2-BF16.gguf（投机解码草稿） | ~3.8 GB | 同上 | [incoai/Qwen3.8-27B-DFlash2-GGUF](https://huggingface.co/incoai/Qwen3.8-27B-DFlash2-GGUF)（Apache 2.0） | | mmproj-Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-BF16.gguf | ~931 MB | 同上 | [HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF](https://huggingface.co/HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF)（Apache 2.0） | **8082 两件走 HuggingFace**（Apache 2.0）： | 件 | 大小 | 来源（HF） | |---|---|---| | Qwen3-VL-8B-Instruct-Q6_K.gguf | ~6.7 GB | [unsloth/Qwen3-VL-8B-Instruct-GGUF](https://huggingface.co/unsloth/Qwen3-VL-8B-Instruct-GGUF)（基座 [Qwen/Qwen3-VL-8B-Instruct](https://huggingface.co/Qwen/Qwen3-VL-8B-Instruct)） | | mmproj-Qwen3-VL-8B-Instruct-F16.gguf | ~1.1 GB | 同上 GGUF 仓（mmproj 件） | ## 许可声明 - **NVIDIA CUDA 13.2 compat 驱动库与 runtime**：NVIDIA 专有软件，按 NVIDIA CUDA Toolkit EULA 分发（EULA 允许以二进制形式随应用再分发）。详见 `NOTICE.md`。 本仓不修改这些库，仅原样打包。 - **llama.cpp 二进制与工作树**：上游 [ggml-org/llama.cpp](https://github.com/ggml-org/llama.cpp) MIT 许可 + 生产 T4/DFlash 补丁（补丁见工作树内 diff）。 - **模型**：全部 Apache 2.0 基座（见模型清单），不随本仓分发。 - 溯源链与上游链接见 `NOTICE.md`。 ## 实测数据（Thor01，2026-10-22） - 27B（RadixArk + DFlash2 + mmproj）加载 20.7 s，systemd 启动 21 s； 96-token 请求 decode 30.19 t/s，DFlash2 接受率 74.5%（79/106）。 - VL-8B 加载 6.1 s；纯文本 21.8 t/s decode；64×64 图片题正确返回。 - 期间 dmesg 无 Xid、无 OOM、无 timeout。 - 注意：13.2 compat 把 Thor 报成 `cc=11.0`（1100），T4-MMQ 守卫只接受 `10.1a`（1010），因此本二进制的 T4 快路未生效；速度为通用 CUDA 路径。 详见 `docs/THOR01-CU132-RESULT-AND-THREE-STACK-20261022.md` §6。 ## 相关仓库 - GitHub 部署文档（代码/文档线）：[isenlink/thor-fp8-llm](https://github.com/isenlink/thor-fp8-llm) - 旧 CUDA 12.8 生产二进制（T4/ARES 内核，回滚目标）： [navyyang/thor01-qwen38-27b-dflash2-t4ares-deploy](https://modelscope.cn/models/navyyang/thor01-qwen38-27b-dflash2-t4ares-deploy)