StableDiffusion基本原理介绍导师介绍刘远johanyliu10年+互联网从业经验，精通云原生，拥有丰富的微服务、大数据、机器学习开发和架构经验腾讯云泛互联网行业技术专家目录Menu·Diffusionmodel运行机制·StableDiffusionmodel模块分析什么是StableDiffusion文生图：根据文本提示作为输入来图生图：对图像根据文字描述进行修改（输生成的图像（输入为文本）入为文本+图像）StableDiffusion系统架构图•每张图片都满足一定的规律分布，利用文本中包含的分布信息作为指导，将纯噪声的图片逐步去噪，生成一张跟文本信息匹配的图片•StableDiffusion是一个组合系统，包含了多个模型子模块，组成扩散Pipeline我们需要什么·一种生成图片的神经网络训练方法——寻找分布的方法·一种连接文字和图片的方法——多模态连接的方法·一种压缩和解压缩图片的方法——加速训练的方法Diffusionmodel运行机制扩散模型——Diffusion1.寻找分布的方法•前向扩散过程（ForwardDiffusionProcess）向图片中逐渐引入噪声来破坏图像，直到图像变成完全随机的噪声•后向扩散过程（BackwardDiffusionProcess）使用一系列马尔可夫链逐步去除预测噪声，从高斯噪声中生成图片•扩散过程由Unet网络和采样器（scheduler算法）共同完成，在Unet网络中一步步执行生成过程，其中采样器控制去噪方法和强度数据集生成不断地向图片中添加不同强度的噪音（强度由采样器timestep控制），为数据集中每一个图片都生成N个训练示例模型训练使用上一步的数据集，对Unet模型进行训练，使用真实噪声标签作比较来反向传播更新，训练出“噪声预测器”加入文本条件将文本信息作为附...
发表评论取消回复