---
title: acestep15xlsft-vocals2music
canonical_url: "https://www.modelscope.cn/models/DiffSynth-Studio/acestep15xlsft-vocals2music"
md_url: "https://www.modelscope.cn/models/DiffSynth-Studio/acestep15xlsft-vocals2music.md"
repository: DiffSynth-Studio/acestep15xlsft-vocals2music
chinese_name: "伴奏生成（ACE-Step-v15-xl-sft）"
last_updated: 2026-06-16
license: "Apache License 2.0"
pipeline_tag: audio-generation
tasks:
  - audio-generation
base_model_relation: finetune
parameters: 210.5M
tensor_type:
  - BF16
library_name:
  - pytorch
  - safetensors
frameworks:
  - Pytorch
downloads: 85
stars: 3
---

# acestep15xlsft-vocals2music

> acestep15xlsft-vocals2music - DiffSynth-Studio 在 ModelScope 开源的模型。伴奏生成（ACE-Step-v1.5-XL-sft）

DiffSynth-Studio/acestep15xlsft-vocals2music 是 ModelScope 魔搭社区上的 210.5M 参数audio-generation模型，采用 Apache License 2.0 许可。

- **Repository**: DiffSynth-Studio/acestep15xlsft-vocals2music
- **License**: Apache License 2.0
- **Tasks**: audio-generation
- **Parameters**: 210.5M
- **Downloads**: 85
- **Stars**: 3
- **Last updated**: 2026-06-16

Source: https://www.modelscope.cn/models/DiffSynth-Studio/acestep15xlsft-vocals2music

---

# 伴奏生成（ACE-Step-v1.5-XL-sft）

本模型是基于模型 [ACE-Step-v1.5-XL-sft](https://modelscope.cn/models/ACE-Step/acestep-v15-xl-sft) 训练的 Template 模型，可为清唱人声生成伴奏音乐。当前版本仅支持为节拍稳定、节奏感强的音频生成伴奏音乐。

## 模型效果

<details>
<summary>歌词</summary>

```
[Verse 1]
深夜的屏幕，微光在闪烁
指尖敲击着，未知的脉络
不再是孤岛，独自去摸索
这里有一片海，等待你停泊

从零到一的距离，不再遥远
丰富的模型，静候被点燃
打破围墙的界限，推倒高墙
让智慧的火花，自由地碰撞

[Pre-Chorus]
听，算法在呼吸，心跳同频共振
看，开放的火炬，照亮前行路程
每一个 Commit，都是真诚的见证
每一次 Fork，都连接着可能

[Chorus]
魔搭社区，汇聚世界的目光
开放的力量，让技术不再隐藏
我们在云端，编织梦想的网
探索的尽头，是无限的远方

ModelScope，连接你我心房
共享的代码，是最美的乐章
不论来自何方，无论身在何处
在这里创造，让未来发光

[Verse 2]
CV 的眼眸，看清世间万象
NLP 的低语，读懂文字芬芳
音频的波动，捕捉灵魂声响
多模态的世界，由此刻启航

不需要重复造轮子的疲惫
站在巨人的肩膀，看得更远
开发者的心血，开放的精神
在这里传承，变得如此纯粹

[Bridge]
也许会有疑惑，也许会有迷茫
但社区的温暖，是坚实的后盾墙
讨论区的热帖，指引方向
协作的光芒，比星光更亮

打破壁垒！
拥抱开放！
探索未知！
就在此刻！

[Chorus]
魔搭社区，汇聚世界的目光
开放的力量，让技术不再隐藏
我们在云端，编织梦想的网
探索的尽头，是无限的远方

让未来发光！
```

</details>

输入：

<audio controls>
  <source src="assets/vocals_male.wav" type="audio/wav">
</audio>

输出：

<audio controls>
  <source src="assets/audio_output.wav" type="audio/wav">
</audio>

## 推理代码

安装 [DiffSynth-Studio](https://github.com/modelscope/DiffSynth-Studio)：

```shell
git clone https://github.com/modelscope/DiffSynth-Studio.git  
cd DiffSynth-Studio
pip install -e .
```

推理代码：

```python
from diffsynth.pipelines.ace_step import AceStepPipeline, ModelConfig
from diffsynth.diffusion.template import TemplatePipeline
from diffsynth.utils.data.audio import save_audio, read_audio
from modelscope import snapshot_download
import torch

pipe = AceStepPipeline.from_pretrained(
    torch_dtype=torch.bfloat16,
    device="cuda",
    model_configs=[
        ModelConfig(model_id="ACE-Step/acestep-v15-xl-sft", origin_file_pattern="model-*.safetensors"),
        ModelConfig(model_id="ACE-Step/Ace-Step1.5", origin_file_pattern="Qwen3-Embedding-0.6B/model.safetensors"),
        ModelConfig(model_id="ACE-Step/Ace-Step1.5", origin_file_pattern="vae/diffusion_pytorch_model.safetensors"),
    ],
    text_tokenizer_config=ModelConfig(model_id="ACE-Step/Ace-Step1.5", origin_file_pattern="Qwen3-Embedding-0.6B/"),
)
pipe.load_lora(
    pipe.dit,
    # This LoRA is recommended.
    ModelConfig(model_id="DiffSynth-Studio/acestep15xlsft-lora-music", origin_file_pattern="model.safetensors")
)
template = TemplatePipeline.from_pretrained(
    torch_dtype=torch.bfloat16,
    device="cuda",
    model_configs=[ModelConfig(model_id="DiffSynth-Studio/acestep15xlsft-vocals2music")],
)

snapshot_download("DiffSynth-Studio/acestep15xlsft-vocals2music", allow_file_pattern="assets/vocals_male.wav", local_dir="data")
vocals, sample_rate = read_audio("data/assets/vocals_male.wav", resample=True, resample_rate=pipe.vae.sampling_rate)
lyrics = """
[Verse 1]
深夜的屏幕，微光在闪烁
指尖敲击着，未知的脉络
不再是孤岛，独自去摸索
这里有一片海，等待你停泊

从零到一的距离，不再遥远
丰富的模型，静候被点燃
打破围墙的界限，推倒高墙
让智慧的火花，自由地碰撞

[Pre-Chorus]
听，算法在呼吸，心跳同频共振
看，开放的火炬，照亮前行路程
每一个 Commit，都是真诚的见证
每一次 Fork，都连接着可能

[Chorus]
魔搭社区，汇聚世界的目光
开放的力量，让技术不再隐藏
我们在云端，编织梦想的网
探索的尽头，是无限的远方

ModelScope，连接你我心房
共享的代码，是最美的乐章
不论来自何方，无论身在何处
在这里创造，让未来发光

[Verse 2]
CV 的眼眸，看清世间万象
NLP 的低语，读懂文字芬芳
音频的波动，捕捉灵魂声响
多模态的世界，由此刻启航

不需要重复造轮子的疲惫
站在巨人的肩膀，看得更远
开发者的心血，开放的精神
在这里传承，变得如此纯粹

[Bridge]
也许会有疑惑，也许会有迷茫
但社区的温暖，是坚实的后盾墙
讨论区的热帖，指引方向
协作的光芒，比星光更亮

打破壁垒！
拥抱开放！
探索未知！
就在此刻！

[Chorus]
魔搭社区，汇聚世界的目光
开放的力量，让技术不再隐藏
我们在云端，编织梦想的网
探索的尽头，是无限的远方

让未来发光！
"""
prompt = "Music with clear vocals"
audio = template(
    pipe,
    prompt=prompt,
    lyrics=lyrics,
    duration=160,
    bpm=100,
    keyscale="B minor",
    timesignature="4",
    vocal_language="zh",
    seed=42,
    num_inference_steps=100,
    cfg_scale=1.0,
    template_inputs = [{"audio": (vocals, sample_rate), "scale": 1}],
    shift=6,
)
save_audio(audio, pipe.vae.sampling_rate, "audio_output.wav")
```