---
title: MMBench-DEV-RU
canonical_url: "https://www.modelscope.cn/datasets/Vikhrmodels/MMBench-DEV-RU"
md_url: "https://www.modelscope.cn/datasets/Vikhrmodels/MMBench-DEV-RU.md"
repository: Vikhrmodels/MMBench-DEV-RU
last_updated: 2025-09-19
license: "[apache-2.0]"
storage_size: "36 MB"
downloads: 150
stars: 0
---

# MMBench-DEV-RU

> MMBench-DEV-RU - Vikhrmodels 在 ModelScope 开源的数据集。Это переведенный Dev сплит mmbench для оценки русскоязычных мультимодальных LLM. Перевод происходил при помощи gpt-4, часть вопросов была проверена ассесорами. В данной версии отсутствует малая часть вопросов…

Vikhrmodels/MMBench-DEV-RU 是 ModelScope 魔搭社区上的数据集，存储大小 36 MB，采用 [apache-2.0] 许可。

- **Repository**: Vikhrmodels/MMBench-DEV-RU
- **License**: [apache-2.0]
- **Storage size**: 36 MB
- **Downloads**: 150
- **Stars**: 0
- **Last updated**: 2025-09-19

Source: https://www.modelscope.cn/datasets/Vikhrmodels/MMBench-DEV-RU

---

# MMBench-DEV-RU

Это переведенный Dev сплит mmbench для оценки русскоязычных мультимодальных LLM.
Перевод происходил при помощи gpt-4, часть вопросов была проверена ассесорами.
В данной версии отсутствует малая часть вопросов оригинального бенчмарка. 

Ссылка на оригинальный бенчмарк: https://huggingface.co/spaces/opencompass/MMBench

## Скрипт для оценки качества

https://github.com/Natyren/mmbench-ru-eval

Файл, который вы собираетесь прогнать должен включать колонку gt ответа и предсказанного. Они должны называться соответсвенно "answer" и "predict"