2025深度学习发论文&模型涨点之——小波卷积

小波卷积(Wavelet Convolutions)是一种在卷积神经网络(CNNs)中用于增加感受野(Receptive Field)同时避免过度参数化的方法。它通过将小波变换(Wavelet Transform, WT)应用于卷积操作中,使得卷积层能够在保持参数效率的同时显著扩展感受野。

          • 小波变换(WT):对输入数据进行小波变换,将其分解为不同频率的子带。例如,使用Haar小波变换,将输入图像分解为低频子带(LL)和三个高频子带(LH、HL、HH)。

          • 卷积操作:在小波变换后的各个子带上进行卷积操作。每个子带使用独立的卷积核,这样可以针对不同频率的特征进行独立处理。

          • 逆小波变换(IWT):将卷积后的各个子带通过逆小波变换重新组合,得到最终的输出特征图。

          小编整理了一些小波卷积论文】合集,以下放出部分,全部论文PDF版皆可领取。

          需要的同学扫码添加我

          回复“小波卷积”即可全部领取

          图片

          论文精选

          论文1:

          Graph Wavelet Neural Network

          图小波神经网络

          方法

            • 图小波变换:使用图小波变换将图信号从顶点域转换到谱域,这种方法比图傅里叶变换更高效,且图小波是稀疏的、在顶点域局部化,为图卷积提供了高效率和良好的可解释性。 

            • 图卷积:通过图小波变换和卷积定理定义图卷积,这种方法在顶点域是局部化的。 

            • 特征变换分离:将特征变换与图卷积分离,以减少参数数量,特别是在图半监督学习任务中。 

            • 参数复杂度降低:通过将特征变换与图卷积分离,将参数复杂度从O(n×p×q)降低到O(n+p×q),其中n是节点数,p是每个顶点的特征数,q是下一个层中每个顶点的特征数。

              图片

            创新点

                      • 图小波变换的应用:使用图小波变换而不是图傅里叶变换,显著提高了图卷积的效率和可解释性。 

                      • 高效的图卷积:通过图小波变换实现的图卷积在计算上更高效,且在顶点域局部化。 

                      • 参数复杂度的降低:通过分离特征变换和图卷积,显著减少了参数数量,特别是在节点数和特征数较大的情况下。 

                      • 性能提升:在三个基准数据集(Cora、Citeseer和Pubmed)上的实验结果表明,GWNN在半监督节点分类任务上显著优于之前的谱图CNN方法。例如,在Cora数据集上,GWNN的准确率比Spectral CNN高10%,在Citeseer上高5%,在Pubmed上高5%。

                        图片

                      论文2:

                      Wavelet Convolutions for Large Receptive Fields

                      用于大感受野的小波卷积

                      方法

                          • 小波变换:利用小波变换的多尺度分析能力,将输入信号分解为不同频率带的子带信号。 

                          • 多尺度卷积:在不同尺度的小波分解特征上进行卷积操作,每个卷积核专注于输入的不同频率带,从而在更大的感受野中强调低频信息。 

                          • 参数高效扩展:对于k×k感受野,可训练参数的数量仅随k对数增长,解决了参数冗余问题。

                          •  快速小波变换:使用快速小波变换高效近似小波基,计算复杂度为O(m×|E|),其中m是切比雪夫多项式的阶数,|E|是边数。

                            图片

                          创新点

                                  • 大感受野实现:通过小波变换和多尺度卷积,实现了非常大的感受野,同时避免了参数冗余。 

                                  • 计算效率:参数数量随感受野大小对数增长,显著提高了计算效率。 

                                  • 性能提升:在ImageNet-1K分类任务中,使用WTConv的ConvNeXt模型在准确率上优于使用大核卷积的RepLK方法。例如,在120-epoch训练计划下,WTConv的Top-1准确率为81.7%,而RepLK为81.2%。在300-epoch训练计划下,WTConv的Top-1准确率为82.5%,而RepLK为82.0%。 

                                  • 鲁棒性和形状偏置:WTConv提高了CNN对图像损坏的鲁棒性和对形状的响应,与ConvNeXt相比,WTConvNeXt在ImageNet-C上的平均错误率更低,在形状偏置方面也表现更好。

                                    图片


                                  论文3:

                                  Wavelet-Packets for Deepfake Image Analysis and Detection

                                  基于小波包的深度伪造图像分析与检测

                                  方法

                                  • 小波包变换:将图像分解为多尺度的小波包系数,捕捉空间和频率信息。 

                                  • 多尺度分析:通过递归分解低频和高频部分,获得更精细的频率块。 

                                  • 边界小波处理:采用特殊边界滤波器处理图像边界,避免边界效应。 

                                  • 分类器设计:基于小波包系数构建分类器,同时融合像素和小波包特征,提高检测性能。

                                    图片

                                  创新点

                                            • 多尺度特征提取:小波包变换能够捕捉图像的多尺度特征,包括高频和低频信息,有助于识别深度伪造图像中的细微差异。 

                                            • 空间和频率信息保留:与傅里叶变换相比,小波包变换保留了空间信息,有助于精确定位图像中的异常区域。 

                                            • 性能提升:在FFHQ和StyleGAN生成图像的分类实验中,使用小波包的CNN分类器在准确率上显著优于像素分类器。例如,在FFHQ和StyleGAN的二分类任务中,小波包分类器的准确率达到99.75±0.07%,而像素分类器为83.06±2.5%。 

                                            • 泛化能力:小波包方法在不同数据集和生成模型上表现出良好的泛化能力,包括FFHQ、CelebA、LSUN和FaceForensics++等数据集。

                                              图片


                                            论文4:

                                            WFTNet Exploiting Global and Local Periodicity in Long-term Time Series Forecasting

                                            WFTNet:利用全局和局部周期性的长期时间序列预测

                                            方法

                                              • 傅里叶和小波变换结合:利用傅里叶变换捕捉全局周期模式,利用小波变换捕捉局部周期模式。 

                                              • 周期加权系数(PWC):引入PWC自适应平衡全局和局部周期模式的重要性。 

                                              • WFTBlock:将一维时间序列为二维表示,利用FFT和CWT提取时间和频率特征。 

                                              • 特征融合:将傅里叶和小波变换的输出通过PWC结合,生成最终的时间序列预测。

                                                图片

                                              创新点

                                                  • 全局和局部周期捕捉:同时利用傅里叶和小波变换,全面捕捉时间序列的全局和局部周期性。 

                                                  • 自适应特征平衡:PWC能够根据信号的内在周期性,自适应调整全局和局部周期特征的权重。 

                                                  • 性能提升:在多个时间序列数据集上,WFTNet的预测性能优于其他先进方法。例如,在ECL数据集上,WFTNet的MSE为0.164,MAE为0.267,优于TimesNet的0.167和0.271,以及其他方法如ETSformer、DLinear、FEDformer和Autoformer。 

                                                  • 计算效率:通过FFT和CWT的高效实现,WFTNet在计算上具有较高的效率,适用于大规模时间序列数据的预测任务。

                                                    图片

                                                  小编整理了小波卷积文代码合集

                                                  需要的同学扫码添加我

                                                  回复“ 小波卷积”即可全部领取

                                                  图片

                                                  Logo

                                                  一站式 AI 云服务平台

                                                  更多推荐