TendiffPure：一种用于纯化的卷积张量链去噪扩散模型

2024年第25卷第1期

摘要

关键词

相关研究

回顶部

《信息与电子工程前沿（英文）》 >> 2024年第25卷第1期 doi: 10.1631/FITEE.2300392

TendiffPure：一种用于纯化的卷积张量链去噪扩散模型

1理化学研究所革新知能统合研究项目组，日本东京市，1030027；2东京工业大学環境社会理工学院，日本东京市，1528550

收稿日期： 2023-05-31 录用日期： 2024-02-19 发布日期： 2024-02-19

HTML0 PDF 5 收藏 0

摘要

扩散模型是有效的纯化方法，在现有分类器执行分类任务之前，使用生成方法去除噪声或对抗性攻击。然而，扩散模型的效率仍然是一个问题，现有的解决方案基于知识蒸馏，由于生成步骤较少，可能会危及生成质量。因此，我们提出TendiffPure，一种用于纯化的张量化和压缩的扩散模型。与知识蒸馏方法不同，我们直接使用张量链分解压缩扩散模型的U-Net骨干网络，减少参数数量，并在多维数据（如图像）中捕获更多的空间信息。空间复杂度从O(N2)减少到O(NR2)，其中R≤4为张量序列秩，N为通道数。实验结果表明，基于CIFAR-10、Fashion-MNIST和MNIST数据集，TendiffPure可以更有效地生成高质量的净化结果，并在两种噪声和一次对抗性攻击下优于基线纯化方法。

关键词

扩散模型 ; 张量分解 ; 图像去噪