--- title: anime_nl_caption canonical_url: "https://www.modelscope.cn/datasets/ChenkinNoob/anime_nl_caption" md_url: "https://www.modelscope.cn/datasets/ChenkinNoob/anime_nl_caption.md" repository: ChenkinNoob/anime_nl_caption last_updated: 2026-10-20 license: apache-2.0 downloads: 330 stars: 1 --- # anime_nl_caption > anime_nl_caption - ChenkinNoob 在 ModelScope 开源的数据集。Five source-specific final NL metadata SQLite databases with integer sample IDs ChenkinNoob/anime_nl_caption 是 ModelScope 魔搭社区上的数据集，采用 apache-2.0 许可。 - **Repository**: ChenkinNoob/anime_nl_caption - **License**: apache-2.0 - **Downloads**: 330 - **Stars**: 1 - **Last updated**: 2026-10-20 Source: https://www.modelscope.cn/datasets/ChenkinNoob/anime_nl_caption --- # Anime Natural Language Caption Dataset 面向动漫、二次元领域的大规模图像自然语言标注数据集，包含来自 Danbooru、Anime-Pictures、Bangumi、Konachan、Yande 和 Zerochan 的六个 SQLite 数据库。 本项目希望降低开源社区获取大规模垂直领域自然语言图文数据的门槛，为未来的模型微调、继续训练乃至预训练提供基础数据支持。 从 Neta、Newbie，到 Anima、Krea2、MOSS 等，显而易见模型对自然语言标注的需求正在不断提高：除了传统的关键词标签，人物外观、动作、服装、构图、场景和氛围等信息，也需要更加完整、自然的描述。 因此，我决定提前整理并发布这套数据。当前版本仍有一些处理较为粗糙的地方，希望它能为社区提供一个可继续清洗、筛选和改进的起点。 本仓库主要提供标注数据库，不包含图像文件。 如需图片与对应 JSON，请参阅下文的图文对仓库及 SakuraPool 工具。 需要注意的是，数据中没有进行任何的哈希去重，相似度去重等工作，我的配置想执行这部分实在需要太繁琐的周期，而其中的几个数据源和danbooru几乎可以肯定有大规模的重复。不过打标时也没有进行去重，对于大规模预训练，微调，我认为影响有限，但如果你要训练lora等小规模数据集的高效调参，请务必自己进行汉明去重，或仅使用danbooru数据源 ## 1. 数据规模 | 数据库 | 记录数 | 文件体积（GB） | ID 范围 | | --- | --- | --- | --- | | Anime-Pictures | 642,954 | 3.14 | 1–885,353 | | Bangumi | 4,179,501 | 19.98 | 1–4,583,152 | | Konachan | 318,765 | 1.41 | 1–391,069 | | Yande | 1,124,583 | 5.30 | 3–1,236,881 | | Zerochan | 3,864,907 | 18.98 | 2–4,420,106 | | Danbooru | 10,897,591 | 51.38 | 1–12,212,237 | 说明： - 文件体积使用十进制 GB，经过四舍五入。 - 记录数是各来源数据库中的条目数，不是跨来源去重后的图片数量。 - ID 范围不表示区间内所有 ID 均存在。 - 不同来源的相同数字 ID 不代表同一张图片。关联图片时，请同时保留来源名称与 ID。 ### Danbooru 数据截止范围 当前 Danbooru 数据库的最大 ID 为 12,212,237。 根据维护者记录，本次数据快照的截止时间约为 2026 年 9 月 18 日，此后的新增内容尚未同步。该日期用于说明本版本的数据范围，不代表对站点历史记录的完整收录保证。 ## 2. 数据来源 数据主要整理自 [deepghs 在 Hugging Face 发布的数据仓库](https://huggingface.co/deepghs)，并保留部分来源标签与元数据。 本项目不主张拥有原始图片、角色、作品或画师名称的相关权利。使用数据时，仍需遵守各上游仓库的许可、原始站点的适用条款，以及相关权利人的要求。 各来源的数据结构和元数据完整程度并不完全一致。某些记录可能缺少画师、角色、作品、年份或内容分级信息，这不应被理解为对应属性不存在。 ## 3. 标注模型与输出形式 自然语言标注使用 Gemma 4 26B A4B 生成，以 JSON 格式输出六种不同用途的英文自然语言标注： - `long_names` - `long_no_names` - `short` - `vibes` - `nl2` - `nl3` 这些字段并非简单的长短版本关系，而是分别面向身份描述、匿名视觉描述、主体动作叙述和氛围表达等需求。 ### 六种自然语言标注 | 字段 | 定位 | 主要内容 | 提示词目标长度 | | --- | --- | --- | --- | | long_names | 带名称的长描述 | 完整视觉细节，并按提供的元数据引入角色、作品或画师身份 | 1,100–1,700 字符 | | long_no_names | 匿名长描述 | 完整描述外观、服装、动作、道具、背景和构图，仅通过视觉特征指代主体 | 1,100–1,700 字符 | | short | 主体—动作叙述 | 以场景化的中等长度文字描述主体在做什么、如何互动，以及表情和肢体语言 | 400–800 字符 | | vibes | 氛围与风格短语 | 以逗号分隔的自然短语描述氛围、光照、配色、画风和情绪基调，而非逐项复述画面 | 100–240 字符 | | nl2 | 详细主描述 | 较完整的事实性描述，涵盖主体、外观、服装颜色与材质、姿势、道具、背景、视角和取景 | 400–900 字符 | | nl3 | nl2 的精简版本 | 保留核心主体与关键视觉特征 | 150–320 字符 | 上述长度是打标提示词的目标范围，不是对所有已有记录的长度保证。实际结果可能更短、更长，或包含缺失与不符合要求的输出。 ### 身份信息的使用边界 只有 long_names 被允许使用同步输入的 artist、character、copyright 信息。 具体规则为： - long_names 可以依据提供的元数据使用画师、角色和作品名称，不应凭空猜测身份。 - 未提供身份信息时，long_names 也应退回纯视觉描述。 - 其他五个字段按设计不应引入这些身份名称，而应描述可见内容。 - long_no_names 专门用于不依赖名称的详细视觉描述。 这是提示词的设计约束，而不是对全部历史输出的逐条认证。如果你的训练流程要求严格去除身份名称，仍建议进行额外检查和清洗。 ## 4. 数据库结构 当前六个数据库存在两种结构，读取时请注意区分。 ### 4.1 Anime-Pictures、Bangumi、Konachan、Yande、Zerochan 这五个数据库的主要数据表为： ```sql CREATE TABLE samples ( id INTEGER PRIMARY KEY, data_json TEXT NOT NULL ); ``` data_json 保存 JSON 文档。主要字段位置如下： ```text data_json ├── id ├── source ├── image ├── tags │ ├── general │ ├── artist │ ├── character │ └── copyright ├── captions │ ├── nl2 │ └── nl3 └── multicaptions ├── long_names ├── long_no_names ├── short └── vibes ``` 部分来源还保留 year、nsfw、rating 等字段。具体键名、字段是否存在及取值形式，以对应记录为准。 需要特别注意： - artist、character、copyright 位于 tags 对象内，不是独立的 SQL 列。 - multicaptions 包含四个字段，不只是 vibes。 - 键缺失、null、空字符串和空数组 [] 是不同状态，请勿直接混同。 ### 4.2 Danbooru Danbooru 使用平铺结构，samples 表包含以下 14 列： ```text id general artist copyright character nl2 nl3 short vibes long_names long_no_names year nsfw rating ``` 其中： - id 为整数主键。 - 四类标签以 JSON 数组形式存储在 TEXT 列中，读取后需要进行 JSON 解析。 - 六个自然语言字段直接存储文本，缺失内容可以为 SQL NULL。 - year 保留来源中的原始字符串，不根据数据库名称推断年份。 - 同一 ID 的跨版本记录经过合并和缺项补充；指定的标签修正已应用。 - 空标签或缺少自然语言标注的记录仍可能保留。 这意味着 Danbooru 的读取方式与其余五库不同，不应直接套用相同的字段路径。 ## 5. 使用建议 ### 面向自然语言训练 可以根据训练目标选择不同字段： - 需要名称与身份关联：优先考虑 long_names。 - 希望减少角色名、作品名或画师名依赖：优先考虑 long_no_names，并进一步检查名称残留。 - 强调主体动作和互动关系：考虑 short。 - 需要较完整的事实描述：考虑 nl2。 - 需要较短、信息集中的描述：考虑 nl3。 - 强调画风、光照、配色和情绪表达：考虑 vibes，但不建议将其视为完整的场景描述。 不建议在缺少实验验证的情况下，直接把六个字段全部拼接使用。它们存在信息重复，也可能重复同一个识别错误；具体使用方式应根据模型、训练目标和文本长度限制调整。 ### 关于 MOSS 考虑到本项目的数据形式及打标方式与 MOSS 的自然语言训练需求具有一定相似性，我认为它可能适合作为 MOSS 微调数据的候选来源，因此选择提前发布。 这一判断目前属于使用方向上的预期，并非经过系统对照实验验证的适配结论。欢迎社区分享实际训练效果、筛选方案和改进建议。 ## 6. 图片与 JSON 图文对 本仓库为便于使用和控制体积，主要提供自然语言标注及部分标签、元数据，不包含图片文件，也不是上游全部元数据的完整镜像。 如需图像文件及对应 JSON，可以使用： [leafmoone/webdataset_danbooru_v3](https://modelscope.cn/datasets/leafmoone/webdataset_danbooru_v3) 该仓库使用 TAR 格式打包图像与对应 JSON，适合构建实际训练所需的图文对。 请注意： - 图文对仓库与本标注数据库不是相同的存储形式。 - 访问权限以对应仓库当前设置为准。 - 不同版本、索引和数据库之间的覆盖范围可能存在差异，不能仅凭条目数推断所有 ID 都能直接取回图片。 ## 7. 已知问题与预处理注意事项 ### 7.1 部分 Danbooru 2024 图片为缩略图 维护者后续发现，Danbooru 2024 数据中约有 40 万张图片为缩略图，而非预期的原始分辨率版本。 这部分图片目前尚未重新拉取替换，计划在后续更新中处理。 该问题不会自动改变数据库中已有的标注文本，但较低分辨率可能影响细节识别。因此，不宜据此保证所有相关标注完全不受影响。对分辨率或细节准确性要求较高的使用场景，建议额外核查。 ### 7.2 透明图像在打标前进行了白底合成 打标时，带透明通道的图像会先合成到白色背景，再输入模型。 因此，标注可能描述的是白底合成后的视觉结果，而不是保留透明通道时的图像表现。 使用透明图片时，建议选择以下方式之一： - 与打标流程保持一致，先进行白底合成； - 对其他背景合成后的图像重新检查或生成标注； - 对不能保持图文一致性的样本，暂不使用对应自然语言标注。 请勿忽略透明通道，直接假定所有背景描述都适用于原始透明图像。 ### 7.3 自动标注不等于人工真值 本项目标注由模型自动生成，可能存在： - 人物数量、姿势、动作或物体关系识别错误； - 服装颜色、材质、道具等细节误判； - 将表情或氛围扩写为未经证实的心理与剧情； - 角色、作品或画师身份引用不准确； - 文本重复、异常用词、缺失或长度不符合提示词要求。 数据库结构、ID、合并规则和文件完整性校验，不能替代语义准确性校验。请根据实际用途进行筛选、去重、清洗和必要的复核。 ### 7.4 分级字段不能作为安全保证 不同来源的 nsfw、rating 可能缺失、为空，或存在不准确的取值。 - 缺失分级不代表内容安全。 - safe、general 或 sfw 不构成年龄、安全性或法律合规认证。 - 用于公开服务或特定受众时，应建立独立的内容审核与过滤流程。 ## 8. 按需获取图片：SakuraPool 大多数使用者并不需要为一次微调下载整个 Danbooru 图像集。 参考 [deepghs/cheesechaser](https://github.com/deepghs/cheesechaser) 的使用思路，我开发了 SakuraPool，用于通过索引查询并按需获取指定图像及对应 JSON。 - 工具项目：[leafmoone/SakuraPool](https://github.com/leafmoone/SakuraPool) - 索引仓库：[leafmoone/SakuraPool](https://modelscope.cn/datasets/leafmoone/SakuraPool) SakuraPool 支持按来源、ID、标签、分辨率等条件查询和筛选，再从对应 TAR 中获取所需记录，避免为了少量样本下载整套图像归档。 具体安装方式、支持的查询条件、索引版本和访问要求，请以工具仓库文档为准。 索引可访问不代表原始图像仓库必然可匿名访问，也不额外授予图片使用权。请确认你拥有原始仓库的访问权限及相应使用授权。 ## 9. 许可与使用规范 ### 数据来源与权利边界 本项目尊重各上游数据来源的许可及相关权利人的权益。 - 上游数据的使用与再分发，应遵守对应来源所附的许可和适用条款。 - 本仓库新增标注及整理内容的具体授权范围，以正式发布的 LICENSE 为准。 - 数据库、索引或标注文件的许可，不等于对原始图片、角色、商标及其他第三方内容的额外授权。 - 本项目不因引用某个模型或项目，而自动取得或重新授予其相关权利。 ### 使用规范 请勿将本数据集用于： - 违反适用法律法规或侵犯第三方合法权益的用途； - 剥削、伤害或侵害未成年人的行为； - 侵犯隐私、骚扰、欺诈或其他有害活动； - 未取得必要授权的商业使用、再分发或其他利用行为。 商业用途是否合法、是否获得充分授权，需要同时结合上游许可、本仓库许可及第三方权利判断，不能仅依据本 README 认定已获授权。 ### 免责声明 本数据集按现状提供，不保证标注准确性、完整性、安全性，或对特定模型与训练任务的适用性。 使用者应自行完成数据审核、权利核查和合规评估，并对数据使用、模型训练及后续生成内容承担相应责任。 本项目的使用规范不替代完整许可证文本，也不构成法律意见。 ## 10. 致谢 感谢 年糕特工队、deepghs 、 wa我我及相关开源社区成员在数据整理、工具开发和经验分享方面的工作。 也感谢原始作品的画师、创作者，以及为数据保存、维护和开放付出努力的各方。 欢迎反馈数据问题、分享清洗与筛选方案，以及实际训练中的使用经验。