---
title: zhongyao-gradio_Agent_Challenge
canonical_url: "https://www.modelscope.cn/studios/zhouqyu666/zhongyao-gradio_Agent_Challenge"
md_url: "https://www.modelscope.cn/studios/zhouqyu666/zhongyao-gradio_Agent_Challenge.md"
repository: zhouqyu666/zhongyao-gradio_Agent_Challenge
chinese_name: "中医药科普短视频-MCP&Agent挑战赛"
last_updated: 2025-12-17
sdk_type: gradio
sdk_version: 5.34.1
downloads: 0
stars: 23
---

# zhongyao-gradio_Agent_Challenge

> zhongyao-gradio_Agent_Challenge - zhouqyu666 在 ModelScope 创建的在线 Demo。本项目是一个基于 AI 技术的自动化工具，旨在快速生成关于中医药知识的科普短视频。用户只需输入一种中草药的名称，系统便能自动完成信息检索、文案撰写、语音合成、视频素材生成以及最终的视频合成，整个过程一键完成。

zhouqyu666/zhongyao-gradio_Agent_Challenge 是 ModelScope 魔搭社区上的在线可交互 Demo（创空间），基于 gradio 5.34.1 构建，中文名为「中医药科普短视频-MCP&Agent挑战赛」。

- **Repository**: zhouqyu666/zhongyao-gradio_Agent_Challenge
- **SDK**: gradio
- **SDK version**: 5.34.1
- **Downloads**: 0
- **Stars**: 23
- **Last updated**: 2025-12-17

Source: https://www.modelscope.cn/studios/zhouqyu666/zhongyao-gradio_Agent_Challenge

---

# 中草药AI视频生成服务 (4分镜专业版)

一个基于AI的中草药科普短视频自动生成系统，支持**4分镜多场景**专业视频制作，集成了文本生成、图像生成、视频生成、语音合成等多种AI能力。

## 🌟 核心特性

- 🎬 **4分镜视频生成**: 自动生成包含4个不同分镜的完整科普视频
- 🖼️ **专业图像质量**: 使用即梦4.0 API生成高质量、写实风格的药材照片
- 🎵 **多分镜语音**: 为每个分镜生成独立的15-20字精准解说词和对应语音
- ⚡ **智能工作流**: 从药材信息→分镜脚本→图片生成→语音合成→视频制作→智能拼接的完整流程
- 🔧 **灵活配置**: 支持ModelScope、即梦API、EdgeTTS等多种AI服务的配置
- 📊 **实时监控**: 显示8步骤生成过程的详细状态和总耗时统计

## 🎯 技术架构

### AI服务集成
- **ModelScope**: 文本生成、药材信息分析、分镜脚本生成
- **即梦API (JiMeng)**: 
  - 高质量图像生成 (即梦4.0模型)
  - 图生视频转换
- **EdgeTTS**: 自然语音合成
- **腾讯云COS**: 媒体文件存储和CDN分发

### 媒体处理
- **MoviePy**: 视频合成、拼接、字幕添加
- **ImageMagick**: 图像处理和文字渲染
- **FFmpeg**: 视频编码和格式转换

## 🚀 新版本亮点

### 4分镜视频生成流程
```
📝 步骤1：获取中药详细信息
↓ (ModelScope AI深度分析药材特征)

🎬 步骤2：生成4分镜脚本设计  
↓ (基于药材信息设计4个连贯分镜场景)

🖼️ 步骤3：生成4张连续图片
↓ (即梦4.0 API：外观特写→细节纹理→生长环境→传统应用)

📝 步骤4：生成4个分镜解说词
↓ (为每个分镜生成15-20字精准解说词)

🎤 步骤5：生成4个分镜语音
↓ (EdgeTTS为每个分镜单独生成语音)

🎥 步骤6：图生4个分镜视频
↓ (4张图片分别转换为对应动态视频)

🎬 步骤7：智能拼接合成
↓ (4个视频+4个语音+字幕合成完整短视频)

✅ 完成：获得4分镜中药科普视频
```

### 专业图像生成
- **第1张**: 药材标本展示摄影 - 俯视角度平铺排列，类似中药材标本照片
- **第2张**: 解剖结构摄影 - 横切面或纵切面，展示内部结构和组织特征  
- **第3张**: 生态环境摄影 - 完整植株形态，纪实生态摄影风格
- **第4张**: 应用场景摄影 - 中医师操作过程，新闻摄影风格

## 🛠️ 快速开始

### 环境要求
- Python 3.8+
- FFmpeg (用于视频处理)
- ImageMagick (用于字幕生成)

### 安装依赖
```bash
pip install -r requirements.txt
```

### 配置设置

1. 复制配置模板：
```bash
cp config_modelscope_jimeng.ini.txt config_modelscope_jimeng.ini
```

2. 编辑 `config_modelscope_jimeng.ini` 文件，填入您的API密钥：

```ini
[api]
api_key = your_modelscope_api_key
base_url = https://api-inference.modelscope.cn/v1

[Models]
# 语言模型
chat_model = deepseek-ai/DeepSeek-V3
# 文生图模型
image_model = Qwen/Qwen-Image
# 文生视频模型
video_model = stabilityai/stable-video-diffusion-img2vid-xt

[jimengapi]
# 即梦API配置 (用于高质量图像和视频生成)
jimeng_api_key = your_jimeng_api_key
jimeng_base_url = https://api.jimeng.ai/v1

[edgetts]
tts_api_key = your_edgetts_api_key
tts_base_url = https://edgettsapi.duckcloud.fun/v1

[common]
cos_region = ap-nanjing
cos_secret_id = your_cos_secret_id
cos_secret_key = your_cos_secret_key
cos_bucket = your-bucket-name

# ImageMagick 和字体配置
imagemagick_binary = /usr/bin/convert
font_path = /usr/share/fonts/truetype/wqy/wqy-zenhei.ttc
```

### 运行应用

启动 4分镜版本 Gradio Web 界面：
```bash
python app.py
```

或启动 MCP 服务器：
```bash
python zhongyao_mcp_server_modelscope_jimeng.py
```

## 📖 使用指南

### Web 界面使用

#### 1. 一键生成4分镜完整视频
- 在主页面输入中草药名称（如"人参"、"当归"）
- 点击"✨ 生成4分镜视频"按钮
- 观察实时生成日志，了解当前8个步骤的进度：
  - [1/8] 获取中药详细信息
  - [2/8] 生成4分镜脚本设计
  - [3/8] 生成4张连续专业图片
  - [4/8] 生成4个分镜短解说词
  - [5/8] 生成4个分镜语音文件
  - [6/8] 基于4张图片生成4个视频
  - [7/8] 智能合成最终4分镜视频
  - [8/8] 完成并输出结果
- 查看生成统计和分镜解说词
- 预计用时：5-8分钟
- 下载16:9高清MP4格式的4分镜视频

#### 2. 分步功能测试
- **获取草药信息**: 查看结构化的药材数据（JSON格式）
- **生成草药图片**: 获取4张专业摄影风格图片
- **生成背景视频**: 创建无声的背景视频素材
- **文本转语音**: 将文案转换为语音文件

#### 3. 参数设置
- 使用管理员密码解锁设置页面
- 动态调整ModelScope、即梦API、EdgeTTS等配置
- 支持密码字段的显示/隐藏切换
- 实时应用配置更改，无需重启

### MCP 工具使用

系统提供以下增强的 MCP 工具：

#### 核心功能
- `get_chinese_herb_info(herb_name, model)`: 获取中草药详细信息
- `generate_herb_short_video_advanced(herb_name, use_multi_scene)`: **4分镜视频生成**
- `generate_herb_short_video(herb_name)`: 简化版单视频生成（兼容）

#### 图像和视频生成
- `get_chinese_herb_image(herb_name, size, model)`: 生成4张专业药材图片
- `generate_videos_from_existing_images(herb_name, image_urls, video_duration, video_ratio)`: 图生视频工作流
- `generate_text_to_image_to_videos_workflow(herb_name, ...)`: 完整文生图+图生视频工作流

#### 分镜相关
- `generate_storyboard(herb_name, herb_info_data)`: 生成4分镜脚本
- `generate_scene_short_scripts(herb_name, herb_info_data)`: 生成4个分镜解说词
- `generate_four_scene_audios(herb_name, scene_scripts)`: 生成4个分镜语音

#### 语音和合成
- `generate_audio_from_text(text, voice, speed)`: 文本转语音
- `_combine_four_videos_with_audios(video_urls, audio_urls, scripts_list, herb_name)`: 4分镜视频合成

## ⚙️ 配置说明

### 即梦API集成

即梦API用于高质量图像和视频生成：

```ini
[jimengapi]
jimeng_api_key = your_jimeng_api_key
jimeng_base_url = https://api.jimeng.ai/v1
```

#### 图像生成特性
- 使用即梦4.0模型生成专业写实风格图片
- 支持4张连续图片生成
- 避免卡通化，保持真实摄影效果
- 适合科普教育展示使用

#### 视频生成特性
- 支持图生视频转换
- 多种视频比例：16:9、9:16、1:1
- 视频时长：5-8秒
- 高质量动态效果

### 环境变量配置

```bash
export DOUBAO_API_KEY="your_modelscope_api_key"
export JIMENG_API_KEY="your_jimeng_api_key"
export TTS_API_KEY="your_tts_key"
export COS_SECRET_ID="your_cos_id"
export COS_SECRET_KEY="your_cos_key"
export ADMIN_PASSWORD="your_admin_password"
```

## 🐛 故障排除

### 常见问题

1. **4分镜视频生成失败**:
   - 确认即梦API密钥有效且有足够积分
   - 检查网络连接稳定性
   - 即梦免费账号每天约可生成2个完整4分镜视频

2. **图片质量不佳**:
   - 检查是否使用了最新的专业摄影提示词
   - 确认即梦API返回状态正常
   - 避免在提示词中使用可能导致卡通化的词汇

3. **视频合成失败**:
   - 确保MoviePy和ImageMagick正确安装
   - 检查字体路径配置
   - 确认临时文件有足够存储空间

4. **分镜解说词不匹配**:
   - 检查4个分镜脚本是否正确生成
   - 确认语音生成与脚本对应关系
   - 验证最终视频的字幕显示

### 性能优化

- **并发处理**: 4个语音可以并发生成，提高效率
- **缓存机制**: 图片和音频文件支持云存储缓存
- **分步执行**: 支持分步骤执行和错误恢复

## 💡 开发说明

### 项目结构
```
├── app.py                               # 4分镜版本 Gradio Web 应用
├── app_historical_figures.py            # 历史人物版本（参考实现）
├── zhongyao_mcp_server_modelscope_jimeng.py  # 增强版 MCP 服务器
├── config_modelscope_jimeng.ini         # 主配置文件
├── requirements.txt                     # Python 依赖
├── sample/                              # 示例视频文件
│   └── final_4scenes_*.mp4
└── logs/                               # 日志文件目录
```

### 核心算法

1. **分镜脚本生成**: 基于药材特性智能设计4个连贯场景
2. **图片序列生成**: 确保4张图片的视觉一致性和教育递进性
3. **语音时长匹配**: 15-20字解说词对应5秒视频分镜
4. **智能视频拼接**: 自动处理分镜间转场和字幕同步

### 扩展开发

1. **新增分镜模式**: 在`generate_storyboard`函数中定义新的分镜逻辑
2. **自定义提示词**: 修改`PROMPT_TEMPLATES`中的专业摄影提示词
3. **集成新API**: 参考即梦API的集成模式添加其他服务商
4. **UI增强**: 在`app.py`中添加新的Gradio组件和交互

## 📈 更新日志

### v0.1.0 (当前版本) - 4分镜专业版
- 🎬 **重大功能**: 新增4分镜多场景视频生成能力
- 🖼️ **图像升级**: 集成即梦4.0 API，生成专业写实风格图片
- 🎵 **多轨音频**: 支持4个分镜独立语音生成和智能合成
- 📝 **专业提示词**: 优化图片生成提示词，避免卡通化效果
- ⚡ **工作流优化**: 8步骤完整生成流程，支持实时状态监控
- 🔧 **配置增强**: 新增即梦API配置支持和错误处理机制
- 📊 **详细统计**: 显示分镜脚本、图片数量、视频数量等详细信息

### v0.0.2
- 🔄 切换到 ModelScope + 硅基流动 API
- 🎥 视频生成升级
- ⏱️ 新增总耗时显示功能

### v0.0.1
- 初始版本发布
- 支持基础的中草药视频生成流程

## 📄 许可证

Apache License 2.0

## 🤝 贡献

欢迎提交 Issue 和 Pull Request！

---

**预计生成时间**: 5-8分钟  
**输出规格**: 16:9高清MP4，4分镜各约5秒，含语音解说和字幕  
**适用场景**: 中医药科普教育、专业培训、知识传播