基于openKylin的生成式AI Agent

项目功能说明书和原创承诺书见docs文件夹

PPT网盘链接：https://pan.quark.cn/s/60cdf2806463

演示视频网盘链接：https://pan.quark.cn/s/1127cce65287

该模型旨在通过布局图，实现对生成图像中对象位置的控制。它不仅能够理解文本描述中的语义信息，还能够根据用户的定制需求，将对象生成在图像中的指定位置。这种位置定制化的图像生成方式，为用户提供了更加灵活和个性化的视觉表达手段。

运行条件

torch==1.13.1
torchvision==0.14.1
omegaconf==2.2.3
opencv-python
imageio==2.9.0
transformers==4.26.1
diffusers==0.13.1
accelerate==0.20.0
scipy==1.9.1
hydra-core==1.2.0
tqdm
gradio==3.23.0
pillow
packaging
numpy

目录介绍

1. pics文件夹中存放的是布局图示例
2. residuals文件夹中存放的是训练后的残差对象
3. results文件夹中存放的是生成结果及其对应的布局图

运行说明

1. 依赖安装：

   pip install -r requirements.txt

2. 配置accelerate环境：

   (1) 手动配置命令（可根据本机配置灵活选择对应的环境）:

   accelerate config

   (2) 也可以通过以下命令直接配置默认的环境：

   accelerate config default

3. 下载stable-diffusion-2-1模型：

   (1) 如果可以翻墙：直接点击此链接stable-diffusion-2-1访问下载即可。

   (2) 如果不能翻墙：需要通过脚本下载。教程如下：

   • 将model_download.py下载到服务器中的模型路径里

   wget https://aliendao.cn/model_download.py

   • 运行下列命令，下载stable-diffusion-2-1模型

   pip install huggingface_hub
   python model_download.py --repo_id stabilityai/stable-diffusion-2-1

4. 提供位置坐标，绘制以bounding box生成布局图（layout_example.png），布局图可以控制生成对象生成到绘制的bounding box内：

   python generate.py

5. 使用以下脚本生成目标图像。其中guidance_config_example.json文件中包含有关推理设置的详细信息。--pretrained_model_name_or_path 后面需要指定刚刚下载的stable-diffusion-2-1模型的位置。

   python inference.py --pretrained_model_name_or_path ./models/stable-diffusion-2-1 --inference_config guidance_config_example.json