基于DP_GAN的风景生成器

简介

​ 图像生成任务一直以来都是十分具有应用场景的计算机视觉任务，从语义分割图生成有意义、高质量的图片仍然存在诸多挑战，如保证生成图片的真实性、清晰程度、多样性、美观性等。

​ 其中，条件图像合成，即输入图片数据，合成真实感图片，在内容生成与图片编辑领域有广泛应用。一种条件图像合成的方式是，用两张图片作为输入，经过处理转换后生成一张新的图片，其中一张输入为语义分割图片（称为mask图），指示生成图片（称为gen图）的语义信息；另一张输入为参考风格图片（称为ref图），从色调等方面指示gen图的风格信息：

​ 清华大学计算机系图形学实验室从Flickr官网收集了12000张高清（宽512、高384）的风景图片，并制作了它们的语义分割图。其中，10000对图片被用来训练。采用1000张图像进行测试。

配置环境

运行环境

• Ubuntu 20.04.6 LTS
• python>=3.7.0
• jittor>=1.3.8

在单张3090上训练了4天。

安装依赖

执行下面命令安装python等依赖

pip install -r requirements.txt

训练数据集

训练数据一共使用10000张图片

训练数据集

测试数据集测

测试数据集使用A和B榜两种数据集1000张图片

A榜数据集

B榜数据集

训练

• 下载好训练数据集并保存在项目文件夹下

​ —DP_GAN_jittor/train_resized

​ ——imgs

​ ——labels

• 预训练模型采用的是 Jittor 框架自带的 vgg19 模型，无需额外下载，在代码运行的过程中会载入到内存里。

• 在终端执行下列命令训练代码

  • –name:保存训练时的modal、loss和figure相关模型内容到checkpoints/name文件夹下
  • –input_path:{训练数据集路径（即train_resized文件夹所在路径）}
  • –batch_size: 训练时的批大小

CUDA_VISIBLE_DEVICES="2" python3 train.py --name jittor_train --input_path ./train_resized --batch_size 4

• 训练之前会进行数据划分，将训练集和验证集保存在datasets文件夹下。

测试

• 下载A榜或者B榜的数据保存在项目文件夹下

​ —DP_GAN_jittor/A(or B)

​ ——val_B_labels_resized

​ ——label_to_img.json

• 在终端执行下行命令测试代码，并将生成的结果保存到output_dir中
  • name表示之前训练好的模型保存的一个文件夹的名字；
  • input_path表示label的路径，也可以直接放在项目文件夹下；
  • json_path表示label_to_img的一个对应关系的路径，和input_path放在同一个路径下；
  • img_path训练数据集的图片路径（即train_resized/imgs文件夹所在路径，它提供ref图）；
  • output_path表示测试结果存放的路径。

CUDA_VISIBLE_DEVICES="2" python3 test.py --name jittor_train4 --input_path ./B/val_B_labels_resized  --json_path ./B/label_to_img.json --img_path ./train_resized/imgs --output_path ./results