---
title: multi-modal_hitea_video-question-answering_base_en
canonical_url: "https://www.modelscope.cn/models/damo/multi-modal_hitea_video-question-answering_base_en"
md_url: "https://www.modelscope.cn/models/damo/multi-modal_hitea_video-question-answering_base_en.md"
repository: damo/multi-modal_hitea_video-question-answering_base_en
chinese_name: "mPLUG-HiTeA-视频问答模型-英文-Base"
last_updated: 2023-01-04
license: "Apache License 2.0"
pipeline_tag: video-question-answering
tasks:
  - video-question-answering
model_type:
  - hitea
library_name:
  - pytorch
frameworks:
  - pytorch
language:
  - en
domain:
  - multi-modal
downloads: 8492
stars: 19
tags:
  - transformer
  - AliceMind
  - Alibaba
  - "arxiv:abs/2212.14546"
---

# multi-modal_hitea_video-question-answering_base_en

> multi-modal_hitea_video-question-answering_base_en - damo 在 ModelScope 开源的模型。根据用户上传的视频以及给定的问题，通过视频中的信息进行推断，从而给出答案。

damo/multi-modal_hitea_video-question-answering_base_en 是 ModelScope 魔搭社区上的video-question-answering模型，采用 Apache License 2.0 许可。

- **Repository**: damo/multi-modal_hitea_video-question-answering_base_en
- **License**: Apache License 2.0
- **Tasks**: video-question-answering
- **Tags**: transformer, AliceMind, Alibaba, arxiv:abs/2212.14546
- **Downloads**: 8492
- **Stars**: 19
- **Last updated**: 2023-01-04

Source: https://www.modelscope.cn/models/damo/multi-modal_hitea_video-question-answering_base_en

---

# 视频问答介绍
视频问答：给定一个视频与一个问题，模型根据视频信息来给出答案。该能力需要模型具备多模态视频理解的能力。你只需要输入任意一个视频与问题，很快你就能收获对于该问题的回答。

## 模型描述

本任务是mPLUG系列的HiTeA，在英文视频问答MSRVTT、MSVD与英文视觉问答VQAv2数据集进行finetune的模型。HiTeA模型是统一理解和生成的多模态视频基础模型，该模型提出了基于时间层级式的视频多模态预训练任务。其中，HiTeA论文公开时在MSRVTT、MSVD和TGIF等多个视频问答任务上达到SOTA，详见：[HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training](https://arxiv.org/abs/2212.14546)

![hitea](./resources/model.jpg)

## 期望模型使用方式以及适用范围
本模型主要用于给问题和对应视频生成答案。用户可以自行尝试各种输入文档。具体调用方式请参考代码示例。

### 如何使用
在安装完成MaaS-lib之后即可使用video-question-answering的能力

#### 推理代码范例
```python
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

model_id = 'damo/multi-modal_hitea_video-question-answering_base_en'
input_videoqa = {
    'video':'http://xke-repo.oss-cn-hangzhou.aliyuncs.com/models/release/vid_hitea_videoqa.avi',
    'question': 'what did the chef slice?'
}

pipeline_videoqa = pipeline(Tasks.video_question_answering, model=model_id)
result = pipeline_videoqa(input_videoqa)
print(result)

```

### 模型局限性以及可能的偏差
模型在数据集上训练，有可能产生一些偏差，请用户自行评测后决定如何使用。

## 训练数据介绍
本模型训练数据集是MSRVTT, MSVD与[VQAv2](https://visualqa.org/)。

## 数据评估及结果
HiTeA视频多模态预训练模型，在同等规模预训练数据的模型中取得Video QA的SOTA.

![hitea_videoqa_score](./resources/videoqa_exp.jpg)

### 相关论文以及引用信息
如果我们的模型对您有帮助，请您引入我们的文章：
```BibTeX
@inproceedings{ye2022hitea,
      title={HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training}, 
      author={Ye, Qinghao and Xu, Guohai and Yan, Ming and Xu, Haiyang and Qian, Qi and Zhang, Ji and Huang, Fei},
      year={2022},
      journal={arXiv}
}
```