---
title: ja-singing-phoneme-annotated
canonical_url: "https://www.modelscope.cn/datasets/syxppp/ja-singing-phoneme-annotated"
md_url: "https://www.modelscope.cn/datasets/syxppp/ja-singing-phoneme-annotated.md"
repository: syxppp/ja-singing-phoneme-annotated
chinese_name: "日语歌声音素级标注数据集"
last_updated: 2026-10-25
license: cc-by-nc-4.0
storage_size: "44 MB"
downloads: 283
stars: 0
---

# ja-singing-phoneme-annotated

> ja-singing-phoneme-annotated - syxppp 在 ModelScope 开源的数据集。日语歌声音素级标注数据集（Japanese Singing Voice — Phoneme-Level Annotated）

syxppp/ja-singing-phoneme-annotated 是 ModelScope 魔搭社区上的数据集，存储大小 44 MB，采用 cc-by-nc-4.0 许可。

- **Repository**: syxppp/ja-singing-phoneme-annotated
- **License**: cc-by-nc-4.0
- **Storage size**: 44 MB
- **Downloads**: 283
- **Stars**: 0
- **Last updated**: 2026-10-25

Source: https://www.modelscope.cn/datasets/syxppp/ja-singing-phoneme-annotated

---

# 日语歌声音素级标注数据集（Japanese Singing Voice — Phoneme-Level Annotated）

46 段**带音素级时间标注 + MIDI 音符**的日语歌声片段，面向歌声合成 / 歌声转换（SVS / SVC）模型的音素对齐训练与评测。

- **规模**：46 条片段 / 29 首歌 / 29 位歌手 / 15.7 分钟
- **音频**：24 kHz、单声道、16-bit PCM WAV，单段 20–25 s
- **标注**：词级边界 + 音素级边界（毫秒精度）+ MIDI 音高与时长
- **筛选条件**：P0 音素（p b z h ɸ ç）密度 ≥ 12%（实测交付语料 14.6%）

## 数据集结构

```
.
├── audio/               # 46 个 WAV（24kHz / mono / PCM16）
│   └── {utt_id}.wav
├── label/               # 46 个标注 JSON
│   └── {utt_id}.json
├── meta.csv             # utt_id, singer, song, language, duration_sec
├── phone_map.csv        # 源音素(ARPAbet) -> 目标音素(IPA) 映射
└── SCREENING_REPORT.md  # 完整筛选报告（漏斗/密度分布/符合性核对）
```

`utt_id` 形如 `0wcZPlA9MrU`（歌曲主窗口）或 `0wcZPlA9MrU_w3`（该歌第 3 个 20s 窗口）。
**同一首歌的多个窗口共享前缀**，切分 train/val 时请按前缀分组，避免跨集泄漏。

## 标注字段

`label/{utt_id}.json` 为词条数组，每个元素：

| 字段 | 类型 | 说明 |
|---|---|---|
| `word` | str | 日语词（pykakasi 分词结果） |
| `start_time` / `end_time` | float | 词在片段内的起止时间（秒，3 位小数 = 1 ms） |
| `ph` | list[str] | 音素序列（IPA） |
| `ph_start` / `ph_end` | list[float] | 音素起止时间，**相对该词起点**（秒，3 位小数） |
| `note` | list[int] | 与词重叠的音符 MIDI 音高（60 = C4） |
| `note_dur` | list[float] | 对应音符时长（秒） |

示例：

```json
{
  "word": "風",
  "start_time": 0.0,
  "end_time": 0.277,
  "ph": ["k", "a", "z", "e"],
  "ph_start": [0.0, 0.032, 0.149, 0.261],
  "ph_end": [0.032, 0.149, 0.261, 0.277],
  "note": [60, 60, 60],
  "note_dur": [0.027, 0.123, 0.123]
}
```

一致性保证：音素区间恒在 `[0, end_time - start_time]` 内；词按时间单调不重叠；所有时间不超出音频长度。

## 制作方法

1. **音源**：`tts-dataset/japanese-singing-voice`（HF）中 `dataset_score ≥ 90` 的 560 首，取能量最高窗口。
2. **歌词转写**：Qwen3-ASR-1.7B 日语识别（置信度 ≥ 0.60、3-gram 重复率 ≤ 0.35、假名占比 ≥ 0.25）。
3. **日语音素化**：pykakasi → 平假名 → mora → ARPAbet（映射到 STARS 123 音素集）。
4. **声学标注**：STARS（ACL 2025 Findings，浙大）bilingual 权重，输出音素/词边界、MIDI、演唱技巧。
5. **筛选**：窗口级 P0 音素密度 ≥ 12% 才交付；每首最多 12 个 20 s 窗口。
6. **后处理**：峰值归一至 −3 dBFS；>25 s 裁剪；词边界由音素时间反推（消除模型词/音素时长头漂移）。

处理链路见 [STARS 日语歌声标注流水线](https://gitcode.com/qq_50331623/stars-ja-pipeline)。

## 统计

| 项目 | 数值 |
|---|---|
| 片段 / 歌曲 / 歌手 | 46 / 29 / 29 |
| 总时长 | 15.7 min |
| 音素总数 | 3,690 |
| 音符总数 | 2,349 |
| P0 音素总量 | 319（b 122 / h 93 / z 47 / ç 34 / p 14 / ɸ 9） |
| 交付语料 P0 密度 | 14.6% |
| 单窗口最高密度 | 35.3% |

P0 音素指 `p b z h ɸ ç`（日语「ぱ行/ば行/ざ行/は行/ひ/ふ」），是音素均衡性与发音覆盖的关键指标。

## 使用方法

```python
import json, soundfile as sf

with open("meta.csv") as f:
    ...

wav, sr = sf.read("audio/0wcZPlA9MrU.wav")        # 24000 Hz, mono
words = json.load(open("label/0wcZPlA9MrU.json"))

for w in words:
    t0 = w["start_time"]
    for ph, ps, pe in zip(w["ph"], w["ph_start"], w["ph_end"]):
        print(f"{ph:>3}  {t0+ps:.3f}-{t0+pe:.3f}s  notes={w['note']}")
```

音素映射：本数据集使用 IPA；若目标模型使用 ARPAbet / 自有音素集，请用 `phone_map.csv` 转换。

## 已知限制

1. **近似音素级**：STARS 无日语权重，日语音素经中英双语音素集近似映射（促音→`q`、长音→元音延长），并非严格音系学标注。
2. **含伴奏**：音源为原曲混音（未做人声分离）。若训练需要干声，建议先用人声分离模型（UVR / Demucs）处理。
3. **规模有限**：29 首，未达大规模训练需求；P0 密度 ≥12% 是强筛选条件，自然分布下通过率仅约 5.7%。
4. **语言标签**：STARS 无日语分类头，`language` 字段统一标为 `ja`（人工指定），非模型预测。

## 许可与来源

- **许可**：CC BY-NC 4.0（**仅限非商业研究用途**）。
- **来源**：音源来自 YouTube，经 `tts-dataset/japanese-singing-voice` 分发；**版权归原视频作者/权利人所有**，本数据集仅提供标注派生结果，不主张音源版权。
- **引用**：

```bibtex
@inproceedings{stars2025,
  title     = {STARS: A Unified Framework for Singing Voice Transcription, Alignment and Refined Style Annotation},
  booktitle = {Findings of ACL},
  year      = {2025}
}
@misc{qwen3asr,
  title = {Qwen3-ASR},
  author = {Qwen Team},
  year = {2025}
}
```