---
title: "Do I look like a `cat.n.01` to you? A Taxonomy Image Generation Benchmark"
canonical_url: "https://www.modelscope.cn/papers/126535"
md_url: "https://www.modelscope.cn/papers/126535.md"
arxiv_id: 2503.10357
published: 2025-03-13
last_updated: 2025-03-13
authors:
  - "Viktor Moskvoretskii"
  - "Alina Lobanova"
  - "Ekaterina Neminova"
  - "Chris Biemann"
  - "Alexander Panchenko"
  - "Irina Nikishina"
model_name: "Taxonomy Image Generation Benchmark"
model_developer: "斯科尔科沃科学技术研究院, 高等经济大学, 汉堡大学, 自动化研究与创新研究所"
domain:
  - "计算机视觉"
  - "自然语言处理"
  - "深度学习"
type:
  - "计算机视觉"
  - "自然语言处理"
  - "深度学习"
  - "Computation and Language (cs.CL)"
  - "Computer Vision and Pattern Recognition (cs.CV)"
arxiv_url: "https://arxiv.org/abs/2503.10357"
pdf_url: "https://arxiv.org/pdf/2503.10357.pdf"
---

# Do I look like a `cat.n.01` to you? A Taxonomy Image Generation Benchmark

> This paper explores the feasibility of using text-to-image models in a zero-shot setup to generate images for taxonomy concepts. While text-based methods for taxonomy enrichment are well-established, the potential of the visual dimension remains unexplored.…

「Do I look like a `cat.n.01` to you? A Taxonomy Image Generation Benchmark」是 ModelScope 魔搭社区收录的论文，arXiv 2503.10357，作者为 Viktor Moskvoretskii, Alina Lobanova, Ekaterina Neminova et al.，发表于 2025-03-13，属于 计算机视觉、自然语言处理、深度学习 领域。

- **ArXiv**: 2503.10357
- **Published**: 2025-03-13
- **Authors**: Viktor Moskvoretskii, Alina Lobanova, Ekaterina Neminova, Chris Biemann, Alexander Panchenko, Irina Nikishina
- **Model**: Taxonomy Image Generation Benchmark
- **Developer**: 斯科尔科沃科学技术研究院, 高等经济大学, 汉堡大学, 自动化研究与创新研究所
- **Domain**: 计算机视觉, 自然语言处理, 深度学习
- **ArXiv URL**: https://arxiv.org/abs/2503.10357
- **PDF**: https://arxiv.org/pdf/2503.10357.pdf

Source: https://www.modelscope.cn/papers/126535

---

> 从‘cat.n.01’开始：探索分类法图像生成的新前沿

## 摘要

本文探讨了在零样本设置下使用文本到图像模型生成分类法概念图像的可行性。尽管基于文本的方法在分类法扩展方面已得到广泛应用，但视觉维度的潜力尚未被充分探索。为此，作者提出了一种全面的分类法图像生成基准测试方法，用于评估模型对分类法概念的理解能力和生成高质量相关图像的能力。该基准包括常识和随机采样的WordNet概念，以及由大型语言模型（LLM）生成的预测。12个模型通过9个新的与分类法相关的文本到图像指标和人类反馈进行了评估，并首次引入了使用GPT-4反馈进行成对评估的方法。

研究背景方面，近年来大型语言模型（LLMs）和视觉语言模型（VLMs）在单域和跨域任务中表现出色，其能力甚至扩展到了传统上依赖人工输入的任务，如标注和数据收集。然而，手动创建的数据集和数据库仍因其准确性和可靠性而受到重视，尽管它们的维护成本较高且耗时。本文聚焦于分类法——一种将词汇组织成‘IS-A’关系层次结构的词库。WordNet是最流行的英语分类法，为许多下游任务提供了图结构支持。此外，分类法还扩展到了视觉来源，例如ImageNet，它基于WordNet分类法关联了数千张人工整理的图像，但仅覆盖了WordNet分类法的一小部分。

提出的方法方面，作者设计了一个包含9个指标的基准测试方法，这些指标结合了理论依据，如KL散度和互信息。同时，他们在一个专门设计用于分类法图像生成任务的数据集上进行了测试，解决了之前文本到图像研究中未涉及的挑战。作者还首次评估了12个公开可用的文本到图像模型在生成WordNet概念图像方面的性能，并通过GPT-4进行了成对偏好评估，分析了其与人类偏好的一致性、偏差及整体表现。

取得的结果和价值贡献方面，实验结果表明，在分类法图像生成任务中，模型的排名与标准文本到图像任务中的排名显著不同，突显了该任务的重要性。现代文本到图像模型在覆盖更广泛的概念方面优于传统的检索方法，展示了其在可视化以往未充分探索领域中的潜力。最终，作者发布了完全覆盖WordNet-3.0的最佳文本到图像方法生成的图像数据集，扩展了ImageNet数据集。

## Abstract

This paper explores the feasibility of using text-to-image models in a zero-shot setup to generate images for taxonomy concepts. While text-based methods for taxonomy enrichment are well-established, the potential of the visual dimension remains unexplored. To address this, we propose a comprehensive benchmark for Taxonomy Image Generation that assesses models' abilities to understand taxonomy concepts and generate relevant, high-quality images. The benchmark includes common-sense and randomly sampled WordNet concepts, alongside the LLM generated predictions. The 12 models are evaluated using 9 novel taxonomy-related text-to-image metrics and human feedback. Moreover, we pioneer the use of pairwise evaluation with GPT-4 feedback for image generation. Experimental results show that the ranking of models differs significantly from standard T2I tasks. Playground-v2 and FLUX consistently outperform across metrics and subsets and the retrieval-based approach performs poorly. These findings highlight the potential for automating the curation of structured data resources.