【Stable Diffusion】图生图 超详细使用方法和参数设置诀窍

AI小王子
11 Jun 202321:40

TLDR本期课程由AI小王子主讲,详细介绍了Stable Diffusion图生图的使用方法和技巧。包括图生图的核心功能——重绘强度的调整,以及缩放模式、涂鸦绘制、局部重绘等高级技巧。课程还涵盖了如何使用插件如all-in-one-prompt和canvaszoom提升体验,以及批量处理和CLIP反推关键词的技巧。

Takeaways

  • 🖼️ 图生图是Stable Diffusion中使用现有图片生成新图片的功能。
  • 🎨 重绘强度是图生图中最关键的参数,控制新旧图片之间的相似度。
  • 🖌️ 涂鸦绘制允许用户通过涂抹图片的特定区域来引导AI生成内容。
  • 🖱️ 缩放模式影响图片生成时的尺寸和比例处理方式。
  • 📐 裁剪和填充是两种不同的图片处理方式,前者移除图片部分区域,后者用邻近像素填充。
  • 🔍 局部重绘功能可以用于AI变脸,通过涂抹特定区域并调整参数来改变细节。
  • 🖥️ 插件如canvaszoom可以增强图生图的编辑体验。
  • 🌐 批量处理允许用户对多个图片进行相同的图生图操作。
  • 🔧 参数设置如CFG scale和种子数可以微调图生图的结果。
  • 🔗 插件如all-in-one-prompt和Trigger可以提升图生图的效率和精确度。

Q & A

  • 什么是图生图?

    -图生图是一种利用现有图片作为基础,通过AI技术转换成另一种风格或特征的图片的方法。

  • 在Stable Diffusion中,重绘强度是什么?

    -重绘强度是图生图中一个关键参数,它决定了新生成的图片与原图的相似程度,取值范围从0到1,值越高,新图与原图的区别越大。

  • Stable Diffusion中有哪些缩放模式?

    -Stable Diffusion中包含拉伸、裁剪、填充和直接缩放四种缩放模式,每种模式对图片的处理方式不同,适用于不同的场景需求。

  • 涂鸦绘制在Stable Diffusion中的作用是什么?

    -涂鸦绘制允许用户在图片上直接进行标记,AI会根据这些标记来生成新的图片内容,例如改变特定区域的颜色或添加元素。

  • 如何使用局部重绘功能?

    -局部重绘功能允许用户通过上传蒙版来指定图片的哪些部分需要改变,通过调整重绘强度和蒙版模糊度等参数来控制变化的程度。

  • 在Stable Diffusion中,'填充原图潜在噪声'和'无潜在噪声'之间有什么区别?

    -'填充原图潜在噪声'模式下,AI在生成图片时会考虑原图的元素,而'无潜在噪声'模式下则不考虑原图元素,后者会产生更多随机噪点和细节。

  • 局部绘制涂鸦蒙版和局部绘制上传蒙版在Stable Diffusion中有什么不同?

    -局部绘制涂鸦蒙版允许用户手绘蒙版并添加颜色,而局部绘制上传蒙版则允许用户上传已经制作好的蒙版图片,两者在操作上有所不同,适用于不同的使用场景。

  • 批量处理在Stable Diffusion中是如何工作的?

    -批量处理允许用户对整个文件夹中的图片进行统一的处理,需要设置输入目录、输出目录和蒙版目录,确保文件夹路径和名称都是英文。

  • 如何使用Stable Diffusion的CLIP反推功能?

    -CLIP反推功能可以根据上传的图片反向推导出可能的关键词或提示词,帮助用户理解图片可能的描述或用于生成相似图片。

  • 为什么在Stable Diffusion中进行图生图时,要保持文件夹路径和名称为英文?

    -保持文件夹路径和名称为英文是为了避免编码问题和潜在的错误,确保Stable Diffusion可以正确识别和处理文件。

Outlines

00:00

🖼️ Introduction to Image-to-Image Techniques

The speaker, AI Xiao Wangzi, introduces the topic of image-to-image techniques using Stable Diffusion. They recommend viewers to like and save the video for future reference, as it promises to be the most comprehensive guide available. The speaker clarifies the functions of various features like partial redraw, graffiti redraw, local painting, and batch processing within the tool. They begin by navigating through the web interface, highlighting the differences between text-to-image and image-to-image processes, emphasizing the importance of having an initial image to transform into a desired style. The speaker also introduces a plugin called 'all-in-one-prompt' and provides its installation link. They explain the interface, focusing on the unique aspects of image-to-image, such as the image placement box and the涂鸦绘制 feature. The concept of denoising strength, which dictates the level of transformation from the original image, is introduced with examples showing how it affects the final output.

05:01

🎨 Exploring Image Transformation and Sketching Features

The speaker demonstrates how to adjust the background and maintain the character's likeness by manipulating the CFG scale and redraw strength. They showcase the transformation of an image into a beach background while keeping the character's features largely unchanged. The video then delves into the sketching feature, explaining the similarities and differences between sketching and image-to-image processes. The speaker guides viewers on how to use the sketching tools, including the color palette, brush size, and eraser. They also highlight the utility of the canvas zoom plugin for detailed work and provide a link for its installation. The power of sketching is exemplified by turning simple doodles into fully rendered images, showcasing the potential for creating scenes from basic drawings.

10:01

🖌️ Understanding Local Redraw and Masking Techniques

The speaker explains the concept of local redraw, which is crucial for tasks like AI face swapping. They discuss the parameters involved in local redraw, such as scale mode and mask blur, which adds a Gaussian blur effect to the mask. The video illustrates how mask blur can soften the edges of the redraw area for a more natural transition. The speaker also differentiates between mask modes, which determine whether the redraw affects the masked area or the unmasked area. They discuss the 'fill original potential noise' and 'no potential noise' options, explaining how they influence the rendering process by either disregarding or considering the original image elements. The video also touches on the differences between 'latent noise' and 'latent nothing' modes, which affect the level of detail and randomness in the output image.

15:02

🔍 Advanced Masking and Inpainting Techniques

The speaker continues the tutorial by discussing advanced masking techniques, including the use of 'inpaint sketch' and 'inpaint upload' for localized image manipulation. They explain the concept of 'reference radius' in local redraws and its impact on how closely the output adheres to the original image. The video clarifies the differences between sketching, local painting, and local painting with a graffiti mask, emphasizing when and how to use each technique. The speaker also covers the use of mask transparency and its effect on the rendering process. They provide a practical demonstration of using Photoshop to create a mask for uploading into the image-to-image tool for precise control over image manipulation, particularly useful for tasks like model dressing or face swapping.

20:03

📁 Batch Processing and CLIP Inversion

The final part of the tutorial covers batch processing, where the speaker instructs viewers on how to set up folders for input images, output directories, and local redraw masks, emphasizing the need for English naming to avoid errors. They explain the process of ensuring that image and mask names match for successful batch processing. The video concludes with a discussion on CLIP inversion, a feature that can deduce keywords from an image when the original prompt is unknown. The speaker differentiates between two types of CLIP inversion and mentions a plugin called 'Trigger' for more accurate results. They wrap up the tutorial by encouraging viewers to like and subscribe for more AI-related content and tutorials.

Mindmap

Keywords

💡图生图

图生图是一种利用现有图像生成新图像的技术,通常用于图像编辑和增强。在视频脚本中,图生图是主题,涉及到使用Stable Diffusion技术来根据现有图像生成新的风格化图像。例如,可以通过图生图技术改变图片的背景或者人物特征。

💡重绘强度

重绘强度是图生图中一个重要的参数,它决定了新生成的图像与原图的相似程度。强度值从0到1,值越低,新图像与原图越相似;值越高,新图像的变化越大。在视频中,通过调整重绘强度来展示不同效果,如从0.1逐步增加到0.9,图像从轻微变化到完全变成另一个风格。

💡缩放模式

缩放模式是图生图中用于调整图像尺寸和比例的功能。它包括拉伸、裁剪、填充和直接缩放等选项。在视频中,通过选择不同的缩放模式,可以控制图像输出的尺寸和比例,例如,拉伸模式会强制图像达到指定的尺寸比例。

💡涂鸦绘制

涂鸦绘制是图生图中的一个功能,允许用户在图像上直接绘制,以此来指导图像的生成。用户可以通过选择颜色和笔刷大小,在图像上进行涂鸦,然后通过图生图技术将涂鸦转化为具有特定风格的图像元素。在视频中,涂鸦绘制被用来在人物头上添加花朵,或者改变衣服的颜色和风格。

💡蒙版

蒙版在图生图中用于指定图像的哪些部分应该被改变或保留。通过创建蒙版,用户可以精确控制图像的修改区域。例如,在视频中,通过使用蒙版模糊度调整,可以使蒙版的边缘更加柔和,从而在改变图像的特定部分时,获得更自然的过渡效果。

💡局部重绘

局部重绘是一种图生图技术,专注于修改图像的特定部分,而保持其他部分不变。在视频中,通过局部重绘可以进行AI变脸,即改变人物的面部特征,同时保持其他部分不变。局部重绘通过使用蒙版和特定的参数设置来实现。

💡批量处理

批量处理是指同时对多个图像进行图生图操作的过程。在视频中,批量处理需要设置输入目录、输出目录和蒙版目录,确保所有路径都是英文,并且图像文件名与蒙版文件名相对应。批量处理可以大幅提高图像编辑的效率。

💡CFG引导

CFG引导是图生图中的一个参数,用于控制生成图像的清晰度。CFG值越高,生成的图像细节越清晰。在视频中,通过调整CFG scale的值,可以影响图像的细节表现,如在改变背景时保持人物的清晰度。

💡种子

种子在图生图中用于生成具有特定随机性的图像。每个种子值对应一个独特的图像结果,允许用户通过改变种子值来探索不同的图像变体。在视频中,通过保留种子值,可以在进行图像编辑时保持某些特征的一致性。

💡插件

插件是为图生图工具增加额外功能的程序。在视频中提到了多个插件,如all-in-one-prompt和canvaszoom,这些插件可以增强图生图的编辑能力,提供更多的自定义选项和便利性。例如,canvaszoom插件允许用户在编辑图像时进行放大和缩小,提高操作的精确度。

Highlights

Stable Diffusion图生图的使用方法和技巧

图生图功能介绍,包括正向提示词和反向提示词

提词器插件all-in-one-prompt的介绍

图生图页面与文生图页面的不同之处

重绘强度是图生图的核心参数

重绘强度从0到1的变化示例

如何根据需求调整重绘强度

图生图的缩放模式和重绘强度设置

拉伸、裁剪、填充和直接缩放模式的比较

调整人物风格、场景和特征的方法

涂鸦绘制功能和参数设置

使用涂鸦绘制进行局部重绘的技巧

局部重绘的参数设置和效果展示

蒙版模糊度对局部重绘效果的影响

填充原图潜在噪声和无潜在噪声的区别

全图和仅蒙版渲染精度的比较

局部绘制涂鸦蒙版Inpaint Sketch的介绍

批量处理功能的使用和注意事项

CLIP反推功能介绍

推荐下载的插件Trigger的预告