新闻与活动 工学院 新闻动态

人工智能顶会CVPR 2021收录西湖大学王东林课题组最新成果
学术研究
王东林课题组,工学院 2021年04月23日
媒体联系 张弛邮箱: zhangchi@westlake.edu.cn
电话: +86-(0)571-86886861
公共事务部

近日,人工智能顶级会议CVPR 2021(第34届)公布了论文的收录结果,西湖大学工学院王东林课题组的成果入选。CVPR是全球计算机视觉与模式识别国际顶级会议,指引着计算机视觉领域未来的研究方向,被中国计算机学会(CCF)列为A类会议。微软、谷歌、苹果、腾讯、阿里等百余企业赞助或参展,往年参会人数超过一万人。根据当前非常流行的Google Scholar Citation统计,CVPR的H5 index为299,排在所有学科目录5位(Nature第1位,Science第3位,Cell第8位),排在电信学科所有期刊和会议的第1位。本届大会共接收投稿7015篇,录用1663篇。

西湖大学工学院王东林课题组于CVPR 2021上发表了题为Pareto Self-Supervised Training for Few-Shot Learning 的最新成果。论文第一作者是2019 级博士生陈政聿,指导老师王东林博士为通讯作者。该研究工作提出了一种全新的少样本学习的训练范式 - Pareto自监督训练(PSST, Pareto Self-Supervised Training,解决了少样本辅助学习问题中的权重探索问题,并有效缓解辅助学习中固有的任务冲突问题。文章的主要贡献如下:

1)指出现有的少样本辅助学习采用的线性组合方法面临着目标冲突问题,并提出了一种多目标优化解决方案。

2)提出了一种新的帕累托自监督训练(PSST, Pareto Self-Supervised Training)方法,用于少样本辅助学习。为了更好地完成主任务,同时提高探索的效率和准确性,PSST提出了一种偏好Pareto探索方法,即在确定的偏好区域进行探索,并缓解了Pareto探索固有的残差累积。

3) 进行了大量的实验,证明PSST能够更好地模拟任务之间的权衡,从而在几个基准数据集上获得最优的性能。

论文链接:https://arxiv.org/pdf/2104.07841.pdf

近年来,自监督学习(Self-Supervised Learning)由于可直接从未得人工标记的数据中构造监督信号并提高网络的泛化能力,吸引了众多研究者的关注。最近的一些研究工作将自监督学习作为少样本学习(Few-Shot Learning)的辅助任务。为了鼓励少样本任务从辅助任务中受益,部分参数在任务间共享以诱导知识转移。然而,由于不同任务的目标不同,目标之间的关系复杂而未知,优化每一项任务虽可相互促进但同时也会产生冲突。抑制这种冲突的典型解决方案是通过最小化每个任务的经验风险的加权和来优化共享参数,其中经验风险的每个权重都可以被视为权衡。在以前的工作中,这些权衡通常是根据实际情况中的经验来确定的,很难找到最佳的折衷方案。此外,部分工作试图为所有目标找到一个单一的解决方案,这很可能会牺牲主任务的性能,与少样本辅助学习的目标不一致。

为了选择一个合适的权重来同时平衡任务和减少任务冲突,王东林课题组提出了一种新的少样本学习训练范式:Pareto自监督训练(PSST,Pareto Self-Supervised TrainingPSST将少样本辅助学习作为多目标优化问题,其总体目标是找到网络参数的Pareto最优解。通过Pareto自监督训练,少样本辅助问题被显式分解为多个具有不同权衡偏好的约束多目标子问题,从而确定了主任务达到最佳性能的偏好区域。在此基础上,研究者提出了一种有效的偏好Pareto搜索方法,在该偏好区域内寻找一组最优解。研究者使用该方法在多个公共基准数据集上进行了大量实验,均实现最先进的性能,从而验证了该方法的有效性。

根据少样本辅助学习的通用算法框架(图1),对于少样本任务(Few-shot Task),辅助学习设定了两个经典的辅助任务:角度旋转预测任务(rotation task)和区域预测任务(location task),以帮助提高少样本算法在少样本任务上的性能。然而,辅助学习存在着任务冲突的问题,之前的研究方法难以有效建模任务之间的权衡,从而难以减轻任务冲突。

 图1. 少样本辅助学习的通用算法框架


    为了克服这一问题,研究者提出了一种针对少样本问题的全新训练范式:Pareto自监督训练(PSST, Pareto Self-Supervised Training。图2展示了PSST的研究动机与效果。在辅助学习中,研究者更关注主任务的性能,因此希望对主任务达到最佳性能的偏好区域进行识别。对比之前的工作(图2a),PSST可以进行局部偏好空间的探索(图2b)。

 图2. 在(a)以前的工作和(b)PSST中Pareto探索的示例


那如何实现局部空间探索的目标呢?研究者先找出可以划分探索空间的U0点,利用U0点确定了探索空间,并基于此空间划分进行局部空间探索(图3)。

图3. 偏好区域的说明性示例,其中空白区域为不被探索的区域


根据图4的两种情况对比结果,研究者提出的PSST方法可以有效确定探索空间。图4所示的 U0点落在了空间的中心位置,说明此方法可以划分探索空间。因此,研究者可以设定算法以U0点为起点,只探索某一侧(图2b),而不需要探索全部空间(图2a)。同时,为了进一步提高算法性能,研究者将探索进行了探索空间约束。先前的Pareto探索存在残余误差累积问题(图5a)。为了避免这种残留误差累积,研究者选择了探索局部子区域而不是整个区域(图5b)。

图4. Pareto前沿可视化在(a)以前的工作和(b)PSST的PSST中


    同时,为了进一步提高算法性能,研究者将探索进行了探索空间约束。先前的Pareto探索存在残余误差累积问题(图5a)。为了避免这种残留误差累积,研究者选择了探索局部子区域而不是整个区域(图5b)。


图5. 先前的Pareto探索中存在残差累积问题的说明性示例, PSST通过限制探索空间缓解了这一问题


总结来说,王东林课题组提出的算法效率来自两个方面:在局部子空间上的探索(图2b)和对探索空间的约束(图5b)。与以往在全局空间中探索的工作不同,PSST使用了一种针对少样本问题的Pareto探索方法。PSST将少样本辅助问题分解为多目标约束子问题,并对主任务达到最佳性能的偏好区域进行识别。实验表明,该改进方法的探索空间更明确,因此在提高运算效率、降低运算耗的同时;并通过抑制残差的累积,从而有效地找到更精确的Pareto解。