---
title: cv_raft_video-frame-interpolation
canonical_url: "https://www.modelscope.cn/models/aojie1997/cv_raft_video-frame-interpolation"
md_url: "https://www.modelscope.cn/models/aojie1997/cv_raft_video-frame-interpolation.md"
repository: aojie1997/cv_raft_video-frame-interpolation
chinese_name: "视频插帧"
last_updated: 2022-12-21
pipeline_tag: video-frame-interpolation
tasks:
  - video-frame-interpolation
library_name:
  - pytorch
frameworks:
  - pytorch
downloads: 222
stars: 4
---

# cv_raft_video-frame-interpolation

> cv_raft_video-frame-interpolation - aojie1997 在 ModelScope 开源的模型。给定一段低帧率视频，模型通过对帧间的光流和运动估计生成任意时刻中间帧，最终输出一段用户指定帧率的视频，从而提升视频的流畅度。模型可同时支持视频和图片格式输入。

- **Repository**: aojie1997/cv_raft_video-frame-interpolation
- **Tasks**: video-frame-interpolation
- **Downloads**: 222
- **Stars**: 4
- **Last updated**: 2022-12-21

Source: https://www.modelscope.cn/models/aojie1997/cv_raft_video-frame-interpolation

---

# 视频插帧介绍
给定一段低帧率视频或连续4帧图片，模型会返回高帧率视频（默认为输入帧率两倍）或中间帧图像。

## 模型描述

全链路插帧模型包含光流计算模块和中间帧生成模块。其中光流计算模型复用了RAFT，详见：，中间帧生成模型包含了光流refine、backward warping以及中间帧融合模块。该模型适用于各类低帧率视频增强，用于提升视频的流畅度，消除卡顿现象。

模型效果如下：
![ofa-image-caption](./resources/ofa_image_captioning_en.png)

## 期望模型使用方式以及适用范围
本模型主要用于视频帧率转换，提升视频流畅度。用户可以自行尝试不同类型和不同分辨率视频的模型效果。具体调用方式请参考代码示例。 

### 如何使用
在ModelScope框架下，提供连续4帧输入图像，通过调用简单的Pipeline即可使用当前模型。具体代码示例如下：

#### 代码范例
```python
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

img_captioning = pipeline(
            Tasks.image_captioning,
            model='damo/ofa_image-caption_coco_large_en')
result = img_captioning('data/test/images/image_captioning.png')
print(result['caption'])
```

### 模型局限性以及可能的偏差
该模型在vimeo_septuplet数据集上训练，不同的训练数据增强方法以及光流gt会对模型训练结果产生影响，请用户自行评测后决定如何使用。 

## 训练数据介绍
vimeo_septuplet: 经典的视频插帧数据集，训练集包含64612组图片，验证集包含7824组图片，每组图片包含连续7帧448x256图像， 具体数据可以[下载](http://toflow.csail.mit.edu/index.html#triplet)

## 模型训练流程
### 预处理
主要预处理流程如下： 
1. 图像随机crop成256x256的patch
2. 按一定比例对图像进行通道数变换、水平和竖直翻转、时序交换
3. 训练过程以batch为单位按4:3:3的比例对原图进行1x、1.5x、2x上采样
### 训练
训练时以im1、im3、im5、im7作为输入，im4作为图像gt，光流gt由RAFT模型生成（用户也可自行选择由其它baseline模型生成）。冻结RAFT模型参数，训练光流refine和中间帧生成网络。
## 数据评估及结果
在MSCOCO上取得SOTA，登顶MSCOCO Leaderboard第一。

![ofa_caption_score](./resources/ofa_caption_score.png)

![leaderboard](./resources/leaderboard.png)

### 相关论文以及引用信息
该模型借鉴了以下论文的思路或代码：
```
@article{wang2022ofa,
  author    = {Peng Wang and
               An Yang and
               Rui Men and
               Junyang Lin and
               Shuai Bai and
               Zhikang Li and
               Jianxin Ma and
               Chang Zhou and
               Jingren Zhou and
               Hongxia Yang},
  title     = {OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence
               Learning Framework},
  journal   = {CoRR},
  volume    = {abs/2202.03052},
  year      = {2022}
}
```