Diffusion相关二
创始人
2025-05-31 20:38:52
0

Diffusers了解

https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/diffusers_intro.ipynb#scrollTo=3xl4aBa3eEcr

Diffusers是hugging face发起的用于专门用来收集扩散模型的模型库,就是包含了很多开源的扩散模型。
除了模型库之外,还提供了更多的目标功能
1、复制具高影响力的机器学习系统,例如 dALLE 和 Imagen,使其可供公众使用。
2、创建一个易于使用的 API,使人们能够用现有模型进行推理和训练自己的模型。

管道:
就是指生成图像的整个流程,流程图吧,比如stable diffusion的vae编码+unet+循环扩散+vae解码编码+结果
调度器:
就是指 用于控制噪声产生方法,去噪方法,即从UNet输出恢复更清晰图像的方法,去噪循环,即多次采样去噪循环生成最终结果的那个算法。调度器是无参数的(没有可训练的权重)。
在Diffuser中,与模型一样,调度程序可以保存并用 save _ config ()和 from _ config ()加载。
调度器典型用户

import tqdm
# 初始噪声
sample = noisy_sample
# timesteps代表去噪时间步变量
for i, t in enumerate(tqdm.tqdm(scheduler.timesteps)):# 预测噪声残差(噪声较小图像与输入图像的某种差)with torch.no_grad():residual = model(sample, t).sample# 去噪sample = scheduler.step(residual, t, sample).prev_sample# 显示中间结果if (i + 1) % 50 == 0:display_sample(sample, i + 1)

使用不同调度器: 扩散模型库的一个令人兴奋的前景是,不同的调度协议可以与不同的模型工作,但没有一个一刀切的解决方案!当前,DDIM 作为 DDPM 的交换工作,但这并不普遍(并且代表了一个有趣的研究问题)。
DDIM 可以将 DDPM 调度程序运行1000个去噪步骤,显著减少到 50个推理步骤。
阅读模型卡片以了解哪些模型检查点可以与哪些调度程序一起使用,这一点很重要。https://github.com/huggingface/diffusers/tree/main/src/diffusers/schedulers

相关内容

热门资讯

核心药停摆、预亏难扭!益佰制药... 本报(chinatimes.net.cn)记者张斯文 于娜 北京报道1月13日,贵州益佰制药股份有限...
证监会两年内处罚会计所80家次... 中经记者 孙汝祥 夏欣 北京报道2025年最后两天,黑龙江、厦门、北京3地证监局分别对3家会计师事务...
广汽自主板块改革再落一子,传祺... 广汽集团持续推进“番禺行动”改革,自主板块组织变革再落重要一子。继昊铂埃安BU(Business U...
资本市场不相信快运业?又一巨头... 本报(chinatimes.net.cn)记者王潇雨 北京报道如果说十年前中国快递企业“扎堆”搭上资...
光伏行业头部大洗牌正式开始,T... 光伏行业的头部大洗牌,正式开始。拉开序幕的,是硅片龙头TCL中环(002129.SZ)整合全球组件前...
美联储主席,人选生变!特朗普,... 下一任美联储主席人选突生变数。美东时间1月16日,美国总统特朗普在白宫活动中称赞其经济顾问凯文·哈塞...
125天后,贾国龙还是败了 九月份的一条微博,闹到现在我估计罗永浩也没想到,那条微博里的西贝甚至不是重点,“我刚下飞机”,老罗能...
贾国龙、罗永浩均被禁言,微博C... 西贝贾国龙与罗永浩线上之争持续受到关注。1月16日晚间,贾国龙启用久未更新的个人微博号宣布,在今晚1...
余承东:鸿蒙6.0系统计划将于... 6月11日消息,在今日的华为Pura80系列及全场景新品发布会上,余承东称,鸿蒙6.0系统计划将于2...
多协会联合发布倡议书,反对商品... 6月11日消息,近日,中国消费者协会联合中国包装联合会、中国循环经济协会、中国食品工业协会、中国快递...