LION优化器的收敛速度分析

  

LION（evoLedv sIng mOmeNumt）是Google公司通过启发式程序搜索的方式发现的优化器,是一种独特的基于学习的优化算法。LION算法通过在上步动量和本步梯度之间维持两个不同的插值,并有效结合了解耦的权重衰减技术,实现了超越传统符号梯度下降类算法的性能。LION算法在许多大规模深度学习问题中展现了较强的优势,得到了广泛的应用。然而,尽管已有工作已经证明了LION的收敛性,但尚未有研究给出一个全面的收敛速度分析。已有研究证明,LION能够解决一类特定的盒约束优化问题,本文着重证明了,在?₁范数度量下,LION收敛到这类问题的Karush-Kuhn-Tucker （KKT）点的速度为■,其中d为问题维度,K为算法的迭代步数。更进一步,我们移除了约束条件,证明LION在一般无约束问题上以相同的速度收敛至目标函数的驻点。与已有研究工作相比,本文证明的收敛速度达到了关于问题维度d的最优依赖关系;关于迭代步数K,这一速度还达到了非凸优化问题中随机梯度类算法能实现的最优理论下界。此外,这一理论下界以梯度的?₂范数度量,而LION所属的符号梯度下降类算法通常度量的是更大的?₁范数。由于在不同的梯度范数度量下关于问题维度d得到的收敛速度结果会有所差异,为了验证本文证明的收敛速度关于维度d同样是最优的,我们在多种深度学习任务上设计了全面的实验,不仅证明了LION与同样匹配理论下界的随机梯度下降法相比具有更低的训练损失和更强的性能,而且还验证了LION算法在迭代过程中梯度的?₁/?₂范数比始终处于■的量级,从而在经验上说明了本文证明的收敛速度同样匹配关于d的最优下界。… …   相似文献

董一鸣;李欢;林宙辰 《计算机学报》2025,(9):2008-2029

基于ViT语义指导与结构感知增强的艺术风格迁移

  

艺术风格迁移是计算机视觉领域一个长期的研究热点,该任务旨在将参考风格图像的艺术风格迁移到内容图像中,同时保持内容图像的语义结构不变。目前基于深度学习的艺术风格迁移方法依然面临一项主要挑战:现有方法在迁移过程中无法很好地保持内容域到风格域的语义结构跨域一致性,从而导致风格化结果的内… …   相似文献

潘书煜;赵征鹏;阳秋霞;普园媛;谷金晶;徐丹 《计算机学报》2025,(9):2131-2158

基于药物子结构与蛋白质三维图信息的化合物-蛋白质相互作用预测

  

药物通过与蛋白质相互作用来抑制或激活特定蛋白质的功能,从而发挥治疗作用。近年来,深度学习方法在化合物蛋白质相互作用预测中取得显著进展。然而,现有的大多数研究仍然侧重于从药物和蛋白质的整体特征进行提取,对于药物和靶点的信息探索不足,忽视了蛋白质结构的三维空间信息以及药物关键子结构在… …   相似文献

李亚茹;王倩倩;车超;朱德恒 《计算机科学》2025,52(9):71-79

机器学习在食管癌诊疗中的研究进展

  

食管癌(Esophageal Cancer,EC)是一种全球范围内高致死率的恶性肿瘤,尤其是在我国,由于早期诊断率低、预后不良,食管癌已成为临床诊疗中面临的重大挑战。近年来,机器学习(Machine Learning,ML)技术凭借多模态数据融合的智能分析方法,在推动食管癌诊疗精… …   相似文献

王泳荃;苏梦琦;石清磊;马艺宁;孙扬帆;王昌淼;汪国有;袭肖明;尹义龙;万翔 《计算机科学》2025,52(9):4-15

基于局部增强傅里叶神经算子的偏微分方程求解方法

  

偏微分方程(PDE)是描述现实系统的重要数学工具,对其进行求解可以预测和分析系统的行为。PDE的解析解通常难以获取,一般通过数值法进行近似解算,但数值法求解参数化PDE时效率较低。近年来,利用深度学习求解PDE的方法在应对上述问题时展现出了优势,特别是傅里叶神经算子FNO(Fou… …   相似文献

罗驰;陆凌云;刘飞 《计算机科学》2025,52(9):144-151

面向长尾异构数据的个性化联邦学习框架

  

针对数据长尾分布和异构性引起的联邦学习模型性能下降的问题,提出了一种新的个性化联邦学习框架——平衡的个性化联邦学习(Balanced Personalized Federated Learning,BPFed),将整个联邦学习过程分为基于个性化联邦学习的表示学习和基于全局特征增强… …   相似文献

吴家皋;易婧;周泽辉;刘林峰 《计算机科学》2025,52(9):232-240

自我引导和特征引导增强的小样本分割网络

下载全文  

小样本分割的一个关键要素是有效利用支持集中的信息.以往的方法大都通过掩码平均池化获取全局特征向量,这种方式获取的特征向量比较粗糙.设计了一种基于高层特征的自我引导模块（HSGM）来增强特征向量的质量;为了充分利用支持图像中的信息以及查询特征和支持特征间的相关性,设计了一种特征引导增强模块（FGEM）,利用高层特征来引导低层特征得到强化的查询特征.这两个模块能够有效地挖掘支持图像中的上下文信息以及支持特征与查询特征之间的潜在相关性.针对以往k-shot分割大都是对特征向量进行平均融合,设计一种类注意力机制的分割策略来融合不同样本的信息.提出的自我引导和特征引导增强的小样本分割网络在PASCAL-5ⁱ和COCO-20ⁱ两个公共数据集上与近年来部分优秀方法进行实验对比,均取得较为先进的效果.实验结果表明所提出方法对挖掘支持样本中的信息以及提高小样本分割性能有较大帮助.… …   相似文献

吴杰;瞿绍军 《小型微型计算机系统》2025,(9):2183-2192

DeT+:基于Mamba的多模态融合色彩美学评价算法

下载全文  

图像色彩美学评价是评估图像是否符合用户色彩美学偏好的关键标准,在评估智能手机和相机性能方面起着重要作用.传统的图像色彩美学评价方法通常依赖于像素统计或色轮理论,仅能量化色彩特征,而基于深度学习的方法目前提取隐式的色彩特征进行最终分数回归,缺乏捕捉色彩与图像内容和语义互动的能力.为… …   相似文献

倪雯倩;郝煦泽;姜旭浩;谭伟敏;颜波 《小型微型计算机系统》2025,(9):2137-2144

基于ARIMA和LSTM的高性能计算平台资源使用的预测研究

  

随着科学研究和工程模拟中数据规模和实验复杂度的不断提升,对高性能计算资源的需求日益增长。然而由于资源有限,如何高效利用现有计算资源成为亟待解决的问题。基于2022年1月至2023年11月期间华东师范大学高性能计算中心集群收集的40万条作业数据,整理得到集群每日运行作业数和CPU资… …   相似文献

李思琪;俞琨;陈宇皓 《计算机科学》2025,52(9):178-185

基于动态字典学习的含噪高光谱图像空谱融合

  

针对传统高光谱图像（HSI）空谱融合算法通常采用静态光谱字典;而字典学习与图像融合过程相分离;对含有噪声的空谱融合任务处理效果不佳的问题;提出一种基于动态字典学习（DDL）的含噪HSI空谱融合算法。该算法采用迭代思想;在融合过程中动态更新字典原子;从而协作完成空谱融合及噪声去除任… …   相似文献

杨静;赵建斌;陈路;池浩田;闫涛;陈斌 《计算机应用》2025,45(9):2941-2948