[](https://research.nvidia.com/labs/par/lorweb) [](https://github.com/NVlabs/LoRWeB) [](https://modelscope.cn/models/hf/hilamanor-lorweb/summary)
比赛介绍
视觉类比学习（Visual Analogy Learning）是图像编辑领域的前沿方向。它让模型通过"示例"而非"文字"来理解用户想要的变换：给定一对参考图像（原图 a 和变换后的 a′），对一张新图像 b 施加同样的视觉变换，生成结果 b′，使其满足类比关系 a : a′ :: b : b′。
如上图所示，图片顺序为a图，a'图，b图，b'图，以及数据提示词。该数据集中有100个文件夹，每个文件夹中都包含了这5个内容，其中b'是训练的目标，也是最终测试模型时的输出。
这种"照葫芦画瓢"的能力能够表达许多难以用文字描述的复杂变换，例如特定的色彩搭配、独特的纹理效果、融合多种视觉元素的复合编辑等。
本比赛由云想万物（南京）科技有限公司主办，**旨在推动魔搭开源社区在 LoRA 训练、视觉类比学习与图像编辑方向的技术探索**。参赛者需基于魔搭社区提供的基座模型与训练框架，使用官方所给的数据集以及LoRA预训练模型LoRWeb（大家可去GitHub上下载）的基础上自行训练一个（或一组）LoRA 模型，使其能够根据输入的图像三元组以及提示词完成视觉类比编辑任务，并在未见任务上具备良好的泛化能力。
## 🔨 Setup
```bash
conda env create -f environment.yml
conda activate lorweb
```
## 🚀 Usage
### 💻 Training
Train a LoRWeB model on your visual analogy dataset:
```bash
python run.py config/your_config.yaml
```
You can override the main options with arguments to the `run.py` script, e.g. `python run.py LoRWeB_default_PROMPTS.yaml --name "lorweb_model" --linear 4 --linear_alpha 4 --loras_num 32 --lora_softmax true --query_mode "cat-aa'b"`
### 🎨 Inference
You can test a reproduced model using `inference.py`.
```bash
python inference.py -w "lorweb_model/lorweb_model.safetensors" -c "config.yaml" -a "data/original/unsplash_animals/alvan-nee-brFsZ7qszSY-unsplash.jpg" -t "data/decoded_random_inference_set/db_not_in_trainset/animals/Give_this_animal_a_fantastical_set_of_armor/alvan-nee-brFsZ7qszSY-unsplash_2.png" -b "data/original/unsplash_animals/ryan-walton-AbNO2iejoXA-unsplash.jpg" -o "samples/armor_doggy.jpg" -p "Give this animal a fantastical set of armor"
```
