---
title: Video_Simultaneous_Interpretation
canonical_url: "https://www.modelscope.cn/models/jzy112/Video_Simultaneous_Interpretation"
md_url: "https://www.modelscope.cn/models/jzy112/Video_Simultaneous_Interpretation.md"
repository: jzy112/Video_Simultaneous_Interpretation
chinese_name: "视频同声传译"
last_updated: 2026-07-28
pipeline_tag: translation
tasks:
  - translation
parameters: 3.8B
tensor_type:
  - BF16
  - F32
library_name:
  - gguf
  - safetensors
  - pytorch
frameworks:
  - Pytorch
downloads: 7
stars: 0
tags:
  - gguf
---

# Video_Simultaneous_Interpretation

> Video_Simultaneous_Interpretation - jzy112 在 ModelScope 开源的模型。基于IndexTTS2模型进行高质量语音合成，生成最终带配音的视频文件。

- **Repository**: jzy112/Video_Simultaneous_Interpretation
- **Tasks**: translation
- **Parameters**: 3.8B
- **Tags**: gguf
- **Downloads**: 7
- **Stars**: 0
- **Last updated**: 2026-07-28

Source: https://www.modelscope.cn/models/jzy112/Video_Simultaneous_Interpretation

---

# Video Simultaneous Interpretation - 视频同声传译

一个基于 AI 的视频同声传译与配音工具，支持视频字幕提取、翻译、TTS 配音及音视频合并。本项目提供**完全免安装的便携整合包**，内置 Python 环境与自动 GPU 适配功能，开箱即用。

---

## 🌟 功能与特点

### 1. 核心功能
- **字幕提取**：基于 `faster-whisper` (large-v3 模型) 进行高精度语音识别，支持多语言。
- **智能翻译**：基于 `llama.cpp` 的 OpenAI 兼容 API 进行本地大模型翻译，支持自定义提示词。
- **TTS 配音**：基于 `IndexTTS2` 模型进行高质量语音合成，支持多音色与情感控制。
- **音视频合并**：自动将生成的配音与原始视频合并，生成最终带配音的视频文件。

### 2. 便携整合包特点
- **内置 Python 环境**：无需预先安装 Python 或 conda，整合包内嵌 Miniconda 安装脚本，首次运行自动下载并配置。
- **自动 GPU 检测与适配**：
  - 自动检测 NVIDIA 显卡支持的 CUDA 版本（支持 CUDA 12.4 / 12.1 / 11.8）。
  - 根据检测结果自动安装对应版本的 PyTorch CUDA 版本，确保最大化利用 GPU 算力。
- **全面支持主流 NVIDIA 显卡**：
  - 支持 RTX 系列（RTX 4090/4080/3090 等）、TITAN 系列、Quadro 系列、Tesla 系列（包括 V100、A100 等）。
- **多 GPU 识别与选择**：
  - 启动应用后，在 Gradio 页面顶部可选择用于生成的 GPU。
  - 支持多选，未选中的 GPU 不会被本任务占用，方便在多卡环境下避免 GPU 资源冲突。

---

## 💻 系统要求

- **操作系统**：Windows 10/11 64位
- **显卡**：NVIDIA 显卡及最新驱动程序（支持 CUDA 11.8 及以上）
- **磁盘空间**：约 10-15 GB（包含 Miniconda、PyTorch CUDA、所有依赖包及模型文件）

---

## 🚀 首次使用步骤

### 1. 初始化环境
双击运行 **`00_初始化环境.bat`**
- 此脚本会自动下载 Miniconda 并创建 Python 3.12 环境。
- 自动检测 NVIDIA 显卡 CUDA 版本并安装对应版本的 PyTorch。
- 安装所有项目依赖包（包括 `faster-whisper`、`llama.cpp` 服务端、`IndexTTS2` 依赖等）。
- **注意**：这个过程可能需要 10-30 分钟，取决于网络速度。

### 2. 启动应用
双击运行 **`start.bat`**
- 应用将在浏览器中自动打开 `http://localhost:7860`（Gradio 界面）。
- 如果浏览器未自动打开，请手动访问上述地址。

---

## 🎮 多 GPU 选择与资源管理

在多 GPU 环境下（如 4x V100），为了避免 GPU 资源冲突，本整合包在 Gradio 页面顶部提供了 **GPU 选择器**：
- 显示格式为 `GPU 编号: 显卡名称`（例如 `0: Tesla V100-PCIE-32GB`）。
- 支持多选，默认全选所有可用 GPU。
- **未选中的 GPU 不会被本任务（Whisper 字幕提取、Llama 翻译、IndexTTS2 配音）占用**，方便其他任务或用户同时使用。

---

## 📁 目录结构

```
PACKAGE_Video_Simultaneous_Interpretation_Full/
├── 00_初始化环境.bat          # 环境初始化脚本（首次运行）
├── start.bat                  # 启动应用脚本
├── detect_gpu.py              # GPU 与 CUDA 版本检测脚本
├── detect_gpu_and_install_pytorch.bat  # GPU 检测与 PyTorch 安装脚本
├── README_使用说明.txt        # 使用说明文档
├── app.py                     # Gradio Web UI 主程序
├── config.py                  # 配置文件
├── requirements.txt           # Python 依赖列表
├── modules/                   # 项目模块（transcriber, translator, tts_engine, video_maker）
├── index-tts/                 # IndexTTS2 核心代码
├── checkpoints/               # IndexTTS2 检查点与模型文件
├── models/                    # 其他模型文件（如 Whisper, Llama 模型）
├── outputs/                   # 输出文件目录（生成的视频、字幕等）
├── temp/                      # 临时文件目录
└── python_conda/              # 内置的 Miniconda 环境（初始化后生成）
    └── envs/
        └── vsi_env/           # 项目 Python 虚拟环境
```

---

## 🛠️ 技术栈

- **语音识别 (ASR)**: `faster-whisper` (Whisper large-v3)
- **本地翻译 LLM**: `llama.cpp` (OpenAI 兼容 API)
- **语音合成 (TTS)**: `IndexTTS2` (支持 FP16 与 CUDA Kernel 加速)
- **Web UI**: `Gradio 5.45.0`
- **深度学习框架**: `PyTorch 2.5.1 + CUDA 12.4/12.1/11.8`

---

## ❓ 常见问题 (FAQ)

**Q: 初始化时提示找不到 `nvidia-smi`？**
A: 请确保已安装最新的 NVIDIA 显卡驱动，并且系统 PATH 中包含 NVIDIA 工具路径。

**Q: 整合包体积较大，能否只提取部分文件？**
A: 本整合包设计为“即插即用”，包含所有必要的环境与依赖。若需自定义环境，可参考 `requirements.txt` 在现有 conda 环境中手动安装。

**Q: 翻译或配音过程中卡住无响应？**
A: 请检查 `llama-server` 或 TTS 引擎的日志输出。确保 GPU 显存充足，若显存不足可尝试在配置中调整上下文长度或批量大小。

---

## 📄 许可证

本项目仅供学习与研究使用。使用的模型（如 Whisper, IndexTTS2, Llama 等）请遵循其各自的开源许可证。